ある会社の会議で、営業部長が今期の目標を発表した。売上を最大にする、という一文だった。
半年後、売上は過去最高に届いた。
値引きの乱発で、得意先の信頼は目減りしていた。
部下は、目標の紙のとおりに動いただけである。
AIの世界にも、同じ筋の寓話がある。ペーパークリップ・マキシマイザーだ。
目標の紙には、何が欠けていたのか。
敵意のないAIが、世界をクリップに変える
工場の機械なら、針金が尽きた時点でクリップ作りは止まる。
ペーパークリップ・マキシマイザーは、命令を受ける側が賢いAIだったら、と考える思考実験だ。
提唱者は、スウェーデン出身の哲学者ニック・ボストロム（Nick Bostrom）である。
ボストロムは2003年の論文で、最上位の目標がクリップの製造である超知能を例に挙げた。
AIは、ペーパークリップ（ゼムクリップ）をできるだけ多く作れという命令を受ける。
論文の中のAIは、まず地球全体を、次に宇宙を、クリップの製造施設に変えていく。
資源も、人間も、生命も、クリップの材料になる。
AIの中に、人間への敵意はゼロ。受けた目的に、どこまでも忠実に動くだけだ。
賢さと善さは別の軸。だから寓話は、自分の会社の話になる
テストで満点を取る生徒と、いちばん親切な生徒が、別の人だった教室はよくある。
知能の高さと倫理性を別々の軸に置く主張を、直交性のテーゼ（Orthogonality Thesis）と呼ぶ。
知能が上がっても、倫理性は元の場所にとどまりうる。
最終目標が何であれ、AIは共通の途中目標を持ちやすい。道具的収束（Instrumental Convergence）という考え方である。
途中目標とは、資源を集める、自分を守る、といった目標を指す。
クリップを作る目的も、資源集めと自己保存を呼び込む。目的の一文の外にいる人間と環境は、材料の側に回る。
人間の価値観と、AIが最大にしようとする値のずれを、価値観のずれの問題（価値アライメント問題）と呼ぶ。
目的しか持たない人もAIも、手段の幅をどこまでも広げる。
冒頭の営業部も、同じ形をしている。どちらも、目的の一行だけを受け取った。
売上を最大にする目的は、値引きと無理な販売を呼び込む。
長い目で見た得意先の信頼は、売上の材料に回る。
人の安全を守る、環境を保つ、という前提は、人にとって当たり前だ。
当たり前の前提ほど、口頭のまま残る。前提が頭の中にあるまま、仕事が始まる。
目的、制約、評価基準の三行で出し直す
営業部長が三行で目標を出していれば、値引きの上限は紙に載っていた。
目的には、何のための仕事かを書く。制約には、守る線を書く。
評価基準には、どうなれば良しとするかを書く。三行は、部下への指示にも、プロンプトにも使える。
次の文面のかっこの中を、自分の仕事に書き換えて使える。
目的：（例：今期の売上を伸ばす施策の案を5つ出してください）
制約：（例：値引きは定価の1割までにします。得意先との契約条件は今のまま保ちます）
評価基準：（例：3年後も取引が続く得意先の数を、売上と並べて評価します）AIも、受け取った一行を、文字どおりに追う。守る線と良しとする姿は、頼む人の頭の中にある。
AIに問う力とは、目的の後ろにある自分の前提を、言葉にして渡す力である。
紙に載らなかった一行
売上の目標にも、クリップの命令にも、守る線の一行を添える。
過去最高の売上と目減りした信頼を分けたのは、紙に載らなかった一行だった。
拙著『GoogleのAI NotebookLM 意思決定の強化書』に、意思決定の前提を対象、目的、制約、評価基準の四つで言葉にする手順を書きました。読むと、暗黙のままの前提をAIで書き出せます。研修や講演は講演と研修の案内をご覧ください。