AIに仕事を丸ごと任せる前に決めておくこと：「売上を伸ばして」と頼んだ計画書に、期間と予算の行はゼロだった

担当者が、AIエージェントに頼んだ。「売上を伸ばす施策を考えて、実行まで進めて」。

エージェントは、作業をいくつかに分けた。順番を決めて、動き始めた。

計画書は整っていた。

期間、対象の商品、使ってよい予算。三つを書いた行は、ゼロだった。

それでも、エージェントは迷わず動いた。

では、空いた三つの欄は、誰が埋めたのか。

Chain of Thoughtの正体は、途中の推論を書き出させる手法だ

AIは、空いた欄を黙って埋めたのではない。途中の推論で埋めていた。

算数のテストでは、答えと一緒に途中の式も書かせる。Chain of Thought（CoT、思考の連鎖）は、同じことをAIにさせる手法である。

AIは、答えの前に、途中の推論を言葉にして書き出す。

Jason WeiやDenny Zhouらが、2022年の論文で示した。

算術、常識推論、記号的推論などの課題で、大規模言語モデルの成績が大きく上がった。

効き目は、数字に出た。5400億個の調整値（パラメータ）を持つモデルに、推論の途中を書いた手本を8つ見せた。

算数の文章題を集めた試験GSM8Kで、正答率は当時の最高を記録した。

追加学習と検算役を組み合わせた従来の方法も上回った。

同じ2022年に、小島らの研究も出た。小島らは、手本の例をゼロにして試した。

「Let’s think step by step（一歩ずつ考えよう）」の一文で、段階的な推論が引き出せた。

算数の問題集MultiArithでは、正答率が17.7%から78.7%に上がった。GSM8Kでも、10.4%から40.7%に上がった。

使ったモデルは、OpenAIの大型のInstructGPTである。足したのは、一文だけだった。

頭の中の途中経過を、言葉として外に出す点が、CoTの要だ。

エージェントは、分解と順序付けをCoTの上で回す

エージェントは、目標を解ける大きさに分ける。分けた作業に、順番を付ける。

考えた後に、道具を使う。結果を見て、次の一手を決める。

推論、行動、観察を繰り返す動きを、ReActと呼ぶ。ReActは、エージェントの基本の動きである。

結果が目標からずれたら、エージェントは失敗を言葉にして計画を直す。計画を直す動きを、振り返りと呼ぶ。

良い分解の原則の一つは、すきまゼロである。分けた作業を全部合わせると、元の仕事を残らず覆う。

冒頭の計画書で空いていた三つの欄は、まさに、すきまだった。

空いた欄を埋めたのは、誰だったのか

売上を伸ばす、という目標で空いている欄は三つ。期間、対象の商品、使ってよい予算である。

すきまゼロで覆う、と言えるのは、元の仕事の範囲が決まっているときだけだ。

エージェントは、空いた欄を、よくある売上施策の範囲で埋める。埋めた範囲の中で、作業を分ける。

計画書が整っているほど、人は中身を飛ばして承認したくなる。

流暢な推論が、誤った結論を導くこともある。エージェントでは、誤った一歩が次の行動の入力になって積み上がる。

頼んだのは、実行までだった。期間も予算の上限も決めないまま、エージェントは実行へ進む。

カラクリは単純だ。エージェントの分解は、CoTの上で動く。分解の正確さは、最初の目標に書いた範囲と終わりの条件で決まる。

任せる前に、範囲と終わりの条件を一文ずつ書け

すきまは、頼む側が先にふさぐことができる。

ただし、目標を細かく書きすぎると、エージェントが自分で見つけられたはずの手順まで縛る。

どこからどこまでが範囲か。どうなったら終わりか。二つは、任せる側が書く。

次のプロンプトのかっこの中を、自分の依頼に書き換えて使える。

目標：（例：通販サイトの売上を伸ばす施策を考えて、実行まで進めてください）
範囲：（例：対象は春物の衣料。期間は4月の1か月。広告費は50万円まで使えます）
終わりの条件：（例：4月の春物の売上が、前年同月を1割上回ったら終わりです）
報告：（例：作業を分けたら、実行の前に一覧を見せてください）

範囲と終わりの条件が書いてあれば、人は分解の正しさを後から確かめられる。

分けた作業の一覧は、実行の前に見せてもらう。整った見た目より先に、範囲と照らし合わせる。

整った計画書のどこを見れば、差がつくのか

三つの欄を埋めたのは、エージェントの推論だった。

整った計画書にあった空白は、期間と予算の行を書かなかった、頼む側の空白である。

出典

• 思考の連鎖プロンプトが大規模言語モデルの推論を引き出す（Weiほか、NeurIPS、2022年）
• 大規模言語モデルは手本なしでも推論する（Kojimaほか、NeurIPS、2022年）

この記事の考え方は、拙著『ChatGPT 誰でも1時間でできる！ はじめてのGPTsのつくり方』の3章3節「GPTsにおける要件定義の意味と必要性」に書きました。この節を読むと、AIに仕事を任せる前に、目標と範囲をどこまで言葉にすればよいかを点検できるようになります。