AIエージェント設計の前に勝負を分ける「思想設計」──権限分掌と責任

AIエージェントを設計するとき、最初に問うべきは「この業務はどれくらい複雑か」ではありません。「失敗したとき、誰が責任を負うか」です。

エージェント設計には大きく二つの方向性があります。一つは「ワークフロー型」——あらかじめ決められた手順と分岐をコードで定義し、エージェントは各ステップを実行するだけの設計です。もう一つは「自律型」——目的だけを与え、エージェントが自ら考え、ツールを選び、手順を組み立てて実行する形をとります。後者の代表的なアーキテクチャはReActフレームワーク（Shunyu Yao ら、Princeton・Google、ICLR 2023）に示されており、「思考（Thought）→ 行動（Action）→ 観察（Observation）」のサイクルを繰り返します。

この二つの使い分けについて、「業務が複雑なら自律型、単純ならワークフロー型」という説明を耳にすることがあります。これは不正確です。業務の複雑さで決まるのではなく、「失敗したときに誰が責任を負うか」「どの操作に人間の承認を挟むか」によって決まります。

自律型エージェントは、モデルが手順を自分で決めるため、想定外のルートで目的に到達することがあります。強みでもあり、リスクでもある側面です。承認なしに外部サービスへのリクエストを送る、意図しない形式でファイルを書き換える——こうした事態が起きたとき、「AIが勝手にやった」では説明責任を果たせません。逆にワークフロー型は、手順が明示されているため監査しやすく、失敗の原因を特定しやすくなります。

設計の前に「権限の三段階」を整理することを推奨します。第一は「読む（参照）」——システムやデータに対して読み取りのみを行う操作。第二は「書く（更新・削除）」——データや設定を変更する操作。第三は「外へ送る（外部送信）」——メール送信、API呼び出し、外部サービスへのデータ送出など、自社の境界を越える操作です。この三段階のうち、どこまでエージェントが単独で実行し、どこから人間の承認を必要とするかを、業務設計の段階で明示します。

「読む」のみであれば、自律型エージェントにフル権限を渡してもリスクは低いです。「書く」操作を含む場合は、対象範囲と復元可能性の確認が必要です。「外へ送る」操作は、誤送信が取り消せない場合がほとんどであるため、原則として人間の承認を挟む設計にします。この判断は業務の複雑さではなく、操作の不可逆性と影響範囲によって決まります。

自律型か、ワークフロー型かという二択は、実際には連続体です。ほとんどの企業向けエージェントは、主要なフローはワークフローとして固定しながら、判断が必要な部分だけをLLMに委ねるハイブリッド構成を取ります。この構成にすると、監査・デバッグ・改善の対象が明確になり、段階的な自律化が可能になります。

思想設計とは、アーキテクチャの選択よりも前に行う意思決定です。「この操作を機械に任せていいか」「失敗時の説明責任はどこに置くか」「承認のコストと、自動化のメリットをどう天秤にかけるか」——これらを設計の起点に据えることで、エージェントは「実験」から「業務インフラ」になります。

参考

• Shunyu Yao et al., "ReAct: Synergizing Reasoning and Acting in Language Models," ICLR 2023. https://github.com/ysymyth/ReAct
• Anthropic: Building Effective Agents https://www.anthropic.com/research/building-effective-agents