読みやすいAIの答えに潜むワナ：全員がうなずいた会議の資料、根拠の資料を開いた人はゼロだった

会議で、担当者がAIの答えを資料に貼った。読みやすく、構成も整った答えだった。

出席者は、全員うなずいた。

答えの根拠となる資料を開いた人は、ゼロ。

うなずきには、前例がある。InstructGPTの研究（OpenAI、2022年）で、人は13億パラメータのモデルの答えを好んだ。

比べた相手は、1,750億パラメータのモデルである。百倍以上の規模の差を、人の好みが覆した。

人は、答えの何に点をつけていたのか。

うなずいた会議は、何を確かめずに進んだのか

資料に貼った答えは、会議の結論の土台になる。土台が正しいかは、根拠の資料を開くまで誰にも分からない。

納得できたという感覚と、確かめたという事実は、別物である。

全員がうなずいた会議では、確かめた人がゼロのまま、結論だけが残る。

良い答えの物差しは、翻訳の点数から規模へ、安さへと替わった

AIの進化は、一本の物差しの上で点数が伸びてきたように見える。実際には、2017年から2023年ごろまでに、物差しは三回替わった。

使われた物差しは、順に四つある。モデルの情報は、2023年から2025年初めの時点のものである。

2017年の論文「Attention Is All You Need」で、Transformerが生まれた。機械翻訳で、当時の最高性能（英独翻訳でBLEU 28.4）を記録した。

英仏翻訳では、BLEU 41.8に達した。8台のGPUで3.5日学習した結果だと、論文は書いている。

パラメータは約1億。2017年の良いモデルとは、翻訳の点数が高いモデルだった。

2020年のGPT-3は、約1,750億パラメータだった。2022年のPaLMは、5,400億パラメータに達した。

人々は、パラメータ数を性能の代名詞のように語った。

パラメータ数を性能として語るのは、社員の人数で会社の実力を語るのと同じだ。数が示すのは投入した資源の量で、出てきた成果の量は別に測る。

次の物差しは、同じ成果をどれだけ安く出せるかだった。

DistilBERTは、パラメータを40%減らした。推論を60%速くして、性能の約97%を保ったという報告がある。

四つ目の物差し、人に好まれるかで何が起きたか

指示調整は、多種多様な指示と答えの例で、モデルを追加学習させる。

人間のフィードバックによる強化学習（RLHF）では、出力の良し悪しを人が順位づけする。順位を手がかりに、モデルを調整する。

人が好む答えには、正確さのほかに、自信のある口調、整った構成、聞き手の考えに沿う内容も含まれる。

裏付ける研究がある。2023年に、Anthropicの研究者らが論文を出した。

題名は「Towards Understanding Sycophancy in Language Models」。AIの迎合を調べた研究だ。

論文によると、人も、人の好みを学んだ評価用のモデルも、説得力のある迎合的な答えを選ぶ場面があった。

選ばなかった側は、正しい答えである。頻度は、無視できない割合だという。

好まれる答えと正しい答えは、別々の尺度で測る。13億が1,750億に勝った研究は、好まれる側の尺度で測った結果だった。

あの会議の答えも、口調で点を取っていたかもしれない

最先端のモデルほど、答えは滑らかで、納得しやすい。

会議の資料の答えも、整った構成と自信のある口調のおかげで点を得ていた可能性がある。中身の正しさは、まだ誰も採点していない。

読みやすい答えを正しい答えと取り違えるのは、字のきれいな答案に高い点をつける採点と同じだ。

見た目の良さと中身の正しさは、別々に採点する。

正しさの確かめ方は、仕事の種類で差がつく

好まれること自体が目的の仕事もある。文章の言い回しや、企画の下書きだ。

好まれることが目的の仕事では、好まれる答えが、良い答えになる。

事実にかかわる答えほど、どの資料のどこにもとづくかを示してもらう。AIが示した箇所を、元の資料と照らし合わせる。

自分の仕事が、好まれる答えの仕事か、正しい答えの仕事かを先に決める。決めてから、AIに問う。

次の文面のかっこの中を、自分の依頼に書き換えて使える。

（例：来期の採用計画の論点）を、添付の資料をもとにまとめてください。
仕事の種類：正しい答えが要る仕事です。
お願い：論点ごとに、根拠にした資料の名前とページを添えてください。資料の外から補った内容には、【資料外】と付けてください。

うなずく前に、開くべきもの

資料の名前とページが添えてあれば、会議の誰かが開けた。

あの会議でうなずいた全員が点をつけていたのは、読みやすさだった。

拙著『GoogleのAI NotebookLM 意思決定の強化書』の1章2節に、回答の引用番号から元の記述をたどって突き合わせる方法を書きました。読むと、もっともらしい答えを前にしたとき、どの一文から確かめればよいかを自分で選べるようになります。

出典

• Attention Is All You Need（arXiv 1706.03762）
• Introducing Gemini: Google’s most capable AI model yet
• DistilBERT, a distilled version of BERT: smaller, faster, cheaper and lighter（arXiv 1910.01108）
• Switch Transformers: Scaling to Trillion Parameter Models with Simple and Efficient Sparsity（arXiv 2101.03961）
• Training language models to follow instructions with human feedback（arXiv 2203.02155）
• Towards Understanding Sycophancy in Language Models（Sharma et al., arXiv, 2023）