整ったAIの文章ほど危ない本当の理由：滑らかな報告書の下書き、三つ目の段落の数値は桁が一つ違っていた

担当者が、AIに業界動向の報告書の下書きを書かせた。

文章は滑らかだった。前後の辻褄も合っていた。

担当者は、読み終えてすぐに上司へ回した。

三つ目の段落の数値は、元の資料と桁が一つ違っていた。

読み終えたのに、なぜ桁の違いに気づかなかったのか。

AIの誤りは、整った姿でやって来る

カラクリは単純だ。文章が整っていると、中身まで正しく見える。

スーツを着た人の話ほど信じてしまう。あの錯覚と同じである。

整っていることと、事実であることは、別の性質だ。

誤りと聞くと、どこかが乱れた文章を思い浮かべる。

AIの誤りは、違う。文章として整った形で出てくる。

AIは、事実と違う内容を、正しい答えと同じ自信と体裁で出すことがある。この現象を、ハルシネーションと呼ぶ。

全文を見直すAIは、誤りまで整えてしまうのか

拡散型大規模言語モデル（dLLM）という新しい型がある。全文を並列に作り、途中の結果を全体から見直して、何度も直す。

従来の自己回帰型は、一語ずつ前から書く。

全文を見直す仕組みは、前後の辻褄を合わせる。

誤りを含んだ文も、例外ではない。前後と辻褄の合う形に整う。

品質の物差しも、助けにならない。パープレキシティやBLEU、ROUGEといった自動評価が測るのは、流暢さと表面の一致だ。

内容が事実かどうか。どの物差しも、そこを測っていない。

dLLMも、大量の文章から学ぶ言語モデルである。事実と違う内容をもっともらしく生成するリスクは、dLLMにも残る。

整える力が上がるほど、誤りも整った姿で届く。

誤字だらけの報告書なら、誰もが疑った

誤字だらけの報告書は、誰もが疑って読む。体裁の整った報告書では、出典を開く人が減る。

読み手は、誤りを見つける手がかりを、文章の乱れに求めてきた。

見やすさが、正しさの印象を変えるという実験もある。

1999年、心理学者のレーバーとシュワルツは、文の色の見やすさを変えて学生に正誤を問うた。見やすい色で示した文ほど、正しいと答える割合が上がった。

一貫性の高いモデルは、乱れという手がかりを消す。

前後の辻褄が合った誤りは、読み手の確認をすり抜ける。冒頭の下書きも、すり抜けて上司の机に届いた。

ただし、dLLMが事実の誤りを出す頻度は、2025年3月時点で未検証だ。

ここで述べるのは、誤りがあったときに見抜く手がかりが減る、という向きの話である。

確かめる箇所は、読む前に決める

答えは、読む前に決めておくことだ。AIの文章が整うほど、確かめる箇所を先に決める。

元の資料と突き合わせる箇所は、三つ。数値、固有名詞、意外な結論である。

コードのように、コンパイル（プログラムの変換）が通るかで機械的に確かめられる課題もある。

機械で確かめられる課題では、一貫性の高さが、ほぼ品質の高さを意味する。

事実を扱う仕事では、突き合わせる手間を人が受け持つ。

AIに頼むときも、答えの根拠をどの資料に置くかを先に言葉にする。どの一文に出典を付けてほしいかも、言葉にして渡す。

確かめる箇所は、問う人が決める。次の文面のかっこの中を、自分の資料に書き換えて使える。

根拠にする資料：（例：2025年度の業界統計と、取引先の公式発表）
お願い：答えの数値、固有名詞、結論の一文ずつに、根拠にした資料の箇所を添えてください。資料の外から補った内容には、補足と書き添えてください。

三つ目の段落に、印が一つあれば

三つ目の段落の数値に印が一つあれば、桁の違いは上司の机に届く前に止まっていた。

滑らかな文章ほど、読む前に印を付ける箇所を決めておく。

拙著『GoogleのAI NotebookLM 意思決定の強化書』の1章2節に、回答の一文一文を元の資料と突き合わせる方法を書きました。読むと、限られた時間で、どの一文を優先して元の資料と突き合わせるかを、自分の仕事に合わせて決められます。

出典

• Large Language Diffusion Models（arXiv 2502.09992）
• Discrete Diffusion Modeling by Estimating the Ratios of the Data Distribution（arXiv 2310.16834）
• What Is a Diffusion LLM and Why Does It Matter? | HackerNoon
• What Are Diffusion-Based LLMs? Mercury’s AI Speed Explained、Geeky Gadgets
• Mercury Coder: New scaled up language diffusion model achieves #2 in Copilot Arena and runs at 1,000 tokens per second on H100s… : r/singularity
• Effects of perceptual fluency on judgments of truth（Reber, Schwarz、Consciousness and Cognition、1999年）