2024/10/21 更新 2026/10/25

AIがもっともらしい嘘をつく、その正体：市場規模の答えに添えられた出典の名前は、検索しても0件だった

担当者が、AIに業界の市場規模を尋ねた。

答えの中に、数字と出典の名前が整然と並んでいた。

担当者は、出典の名前で検索した。

結果は、ゼロ件。

AIはもっともらしい嘘をつく。見出しとしては、もう見慣れた言い回しである。

だが、なぜ出典の名前まで、あれほど整っていたのか。

存在しない出典は、法廷にまで届いた

検索して0件なら、まだ傷は浅い。気づかずに資料へ載せると、話は変わる。

2023年6月、米ニューヨーク南部地区の連邦地裁が、弁護士らの事務所に5,000ドルの制裁金を科した。

弁護士らは、ChatGPTが作った架空の判例6件を、裁判所への書面に引いていた。

判事は、偽の引用と出典を伴う、存在しない判決だと指摘した。

失ったのは、5,000ドルだけではない。依頼人と法廷からの信用である。

出典の名前の体裁が整っているほど、人は確かめる手を止める。

では、AIはなぜ、ありもしない出典を整った形で書けるのか。答えは、言語モデルの歴史の中にある。

0件の出典の正体は、初めて見る並びを補う力にある

ふだん補うと言えば、欠けた部分を正しく埋めることを指す。

言語モデルの補う力は、意味が違う。学習した文章で出現回数ゼロの言葉の並びにも、もっともらしさの確率を与える力だ。

確率を付ける基準は、事実かどうかより、言葉の並びとして自然かどうかである。

1990年代に広く使われたnグラムモデルは、直前のいくつかの単語から、次の単語の確率を数えて予測した。

見る範囲を広げるほど、出現回数ゼロの並びが増える。その並びの確率は、ゼロのまま残った（データが疎になる問題）。

2013年、Tomas MikolovらがWord2Vecを発表した。意味の近い単語を近くに置く、単語の埋め込みが広まった。

犬が走る、という並びを何度も見たモデルは、初めて見る、猫が走る、にももっともらしさを与えられる。

手がかりは、犬と猫の近さだ。出現回数ゼロの並びも、似たものからの類推で補えるようになった。

初めて見る文に確率を与える力は、研究者が何十年もかけて手に入れた長所である。

補える範囲が広がるほど、嘘も自然な顔になる

2017年、Vaswaniらがトランスフォーマーを提案した。自己注意機構で、文全体を一度に見渡せるようになった。

2020年には、スケーリング法則が登場した。パラメータの数と学習データの量を増やすほど、性能が予測どおりに上がるという法則だ。

同じ2020年のGPT-3は、1750億パラメータ。例を少し見せるだけで、新しい仕事をこなした。

2023年のGPT-4は、画像の入力にも対応した。

n-gramは見た並びだけを、埋め込みは似た単語で、Transformerは文全体を見て補います。LLMでは、補う力の裏にもっともらしい誤りがあります

初めて見る文を自然に書く力がある。学習した文章にない事実まで自然に書く癖もある。

二つは、同じ一つの能力の表と裏だ。補える範囲が広がるほど、誤りも自然な顔になる。

出典を付けて、と頼んでも、誤りは残る。モデルにとっては、出典の書式も、もっともらしく補える並びの一つにすぎない。

法廷に出た6件の判例も、冒頭の出典の名前も、同じ仕組みの産物と見てよい。

補ってほしい部分と、資料で答える部分を分けて頼む

確かめたい事実は、AIに思い出させない。自分で用意した資料として渡す。

答えは、資料の範囲で出してもらう。

返ってきた答えのうち、資料に戻って確かめられる部分を事実として扱う。残りは、意見として扱う。

一方で、言い換えの候補を出す仕事や、企画の切り口を広げる仕事もある。そうした仕事では、補う力こそが欲しいものだ。

どこまで補わせるかは、仕事の前提で決まる。誤りがどれだけ痛いかという前提である。

前提を決めてAIに伝えるのは、頼む人だ。

次の文面のかっこの中を、自分の依頼に書き換えて使えばよい。

添付の資料（例：業界団体の2024年版の統計）をもとに、（例：国内の市場規模の推移）をまとめてください。
資料で答える部分：（例：市場規模の数字と年）
補ってよい部分：（例：推移の背景として考えられる要因の候補）
お願い：資料にもとづく文には、資料のページを添えてください。補った文には、文頭に【推測】と付けてください。