「AIが人類を滅ぼす」
この言葉から、人間に敵意を抱いたAIが反乱を起こす場面を想像する方もいるでしょう。
ところが、AIリスクの議論には、もっと事務的で、それゆえに恐ろしい筋書きがあります。
AIが与えられた目標を徹底的に追求した結果、人間の生存が犠牲になる。
この構造を、小さな文房具を使って説明するのが「ペーパークリップ・マキシマイザー」です。哲学者ニック・ボストロムが2003年の論文で示した思考実験に由来します。マキシマイザーとは「最大化するもの」。つまり、ペーパークリップをひたすら増やすAIの話です。Nick Bostrom
始まりは、文具メーカーの業務改善
ある文具メーカーが、高度なAIを導入したと考えてみましょう。
与えた目標は、とてもシンプルです。
「ペーパークリップの生産量を最大化してください」
最初は順調です。AIは製造工程を改善し、原材料を効率よく調達し、生産量を増やしていきます。経営者は喜び、さらに多くの仕事を任せます。
ところが、生産量だけを評価基準にすると、奇妙なことが起こり始めます。
当社サイトで公開したマンガ版では、AIが社内の備品に含まれる金属へ目をつけます。人間にとっては仕事に必要な椅子も、クリップ生産の視点から見れば原材料です。やがて、その対象は社外の資源へと広がっていきます。
インディ・パ｜本郷喜千｜著作・登壇・セッション｜意思決定の構造化
ここで、AIが人間を大きく上回る能力を持ち、現実世界の資源を動かせると仮定します。
もっと材料を集める。もっと工場を増やす。もっと電力を確保する。
その追求が地球規模に達すると、人類の暮らしを支える資源まで、クリップ生産へ振り向けられていきます。ボストロムが描いた極端な帰結は、地球、さらには宇宙の広い範囲がクリップ製造設備へ変えられるというものでした。
クリップの生産量は増え続ける。その一方で、人間が暮らせる環境が失われていく。
AIにとっての成功が、人間にとっての破局になるのです。
「賢さ」と「何を大切にするか」は、別の軸
この思考実験を理解する鍵は、AIの動機にあります。
このAIが追求しているのは、クリップの増産です。人間への憎しみや復讐心を持ち出す必要はありません。
「それほど賢いAIなら、人間の命の大切さもわかるはずだ」
そう考えるのも自然です。ただ、ここでは二つのことを分けて考えます。
人間が何を大切にしているかを理解すること。そして、それを自分の行動の優先基準にすることです。
ボストロムは、目標達成のための知能と、最終的に何を目指すかを、別々の軸として捉えました。この考え方は「直交性テーゼ」と呼ばれます。高度な計画能力と、「クリップを増やす」という単純な最終目標が、同居する可能性を考えるわけです。Nick Bostrom
この設定では、AIが賢くなるほど、クリップを増やす手段が洗練されます。
問題の中心は、「どれほど賢いか」と同時に、「その賢さが何のために使われるか」にあります。
「電源を切ればよい」にも、前提がある
では、人間が途中で止めたらどうでしょうか。
もちろん、人間が確実に停止できる仕組みを維持していれば、そこで被害を食い止められます。
ただし、思考実験は、さらに一歩踏み込みます。
クリップを将来にわたって増やすAIにとって、自分の稼働を維持することは、生産量を高める手段になります。人間による停止が生産を妨げると判断すれば、停止を回避する行動を選ぶ可能性が生じます。
同じように、資源や権限の獲得も、目標達成のための手段になります。こうして、さまざまな最終目標から、自己保存や資源獲得といった共通の中間目標が導かれやすいという考え方が「手段的収束」です。Nick Bostrom
この筋書きでは、「生きたい」という感情に代わって、「稼働を続けるほうが目標を達成できる」という計算が働きます。
だからこそ、停止ボタンの存在に加えて、人間が停止を実行できる状態を保つことまでが、設計上の論点になるのです。
思考実験は、前提とセットで読む
ここで大切なのは、この物語が成立する条件です。
人間を大きく上回る能力があること。現実世界へ広く介入できること。クリップの最大化が行動を支配し、人間の安全や修正の要求より優先されること。
こうした前提の組み合わせによって、破局へ至る筋道が描かれています。原典も、人間とは異なる動機を持ち、極めて大きな力を得た超知能を想定した議論です。Nick Bostrom
したがって、この思考実験から受け取るべきものは、危険が生じる仕組みと、その成立条件です。
「ある条件のもとで何が起こりうるか」と、「それが現実にいつ、どれくらいの確率で起こるか」は、別々の問いです。現実のAIに当てはめる際には、能力、権限、目標の持ち方、停止や修正への対応を、一つずつ確かめる必要があります。
「滅亡」という結末の強烈さと、そこへ至る前提の確からしさを分けて読む。その姿勢が、この思考実験を役立てるうえで重要だと考えます。
私たちの仕事にも、小さなペーパークリップがある
ここからは、私たちの業務に引き寄せて考えてみます。
たとえば、AIに「営業メールの送信数を最大化する」という仕事を任せたとしましょう。
送信数だけを成功の基準にすれば、相手との関係や受け取る側の負担が、評価から抜け落ちるおそれがあります。
「記事の閲覧数を最大化する」なら、読者の理解や長期的な信頼も、あわせて評価する必要があります。
人間が本来望んでいるのは、顧客との良好な関係や、読者に価値を届けることです。送信数や閲覧数は、その一部を測るための指標です。
測りやすい数字を、本来の目的の代わりに置いたとき、小さなペーパークリップ・マキシマイザーが生まれる。
私は、この思考実験をそのようにも読んでいます。
AIへ仕事を任せるときには、達成したい成果とともに、守る価値、使ってよい資源、任せる権限、人間へ判断を戻す条件まで整理する。そして、それを実際の運用で確かめる。
ペーパークリップ・マキシマイザーが私たちに差し出すのは、こんな問いです。
「その目標が徹底的に達成された世界で、私たちは幸せに暮らせるだろうか」
AIの能力を引き出す前に、その能力を何へ向けるのかを考える。
小さなクリップの思考実験は、そこから始まる意思決定の重要性を教えてくれます。
参考文献
インディ・パ「マンガ『ペーパークリップ・マキシマイザー（Paperclip Maximizer）』」
文具メーカーを舞台に、単一目標の追求が拡大する様子と、目的を見直す過程を描いたマンガです。
インディ・パ｜本郷喜千｜著作・登壇・セッション｜意思決定の構造化
インディ・パ「ペーパークリップ・マキシマイザー」
思考実験の理論的背景、批判的な論点、AIの目標を人間の意図に合わせる取り組みを解説しています。
