本郷喜千

更新

AIの調査レポートで、いちばん見抜きにくい誤り：Xの利益の出典を開くと、USスチールの決算ページだった

AIのリサーチ機能が、イーロン・マスク氏の率いる6社の調査レポートを作った。2025年2月のことだ。

表の一行に、Xの利益の数字が載っていた。

出典を開くと、USスチールの決算ページだった。USスチールの株の略号（ティッカー記号）も、Xだった。

数字は本物。別の会社の、本物の数字である。

表を眺めているあいだ、この行はどこも光らなかった。桁も、書きぶりも、ほかの行と変わらない。

疑うきっかけは、出典を開いた瞬間に初めて現れた。なぜ、表の上では見抜けないのか。

確かめないまま表を会議に出すと、別の会社の本物の数字が通る

出典を開かずに、この表を会議の資料に貼ったとする。

Xの利益の欄には、USスチールの数字が居座る。誰かが気づくまで、その数字が議論の土台になる。

取り違えは、珍しい事故ではない。米コロンビア大学のデジタルジャーナリズム研究所（Tow Center）は2025年3月、AI検索8種を調べた結果を公表した。

ニュース記事の一節を渡し、記事の題名、日付、媒体、URLを答えさせる。試した1,600件のうち、6割を超える回答が誤りだった。

誤りがいちばん少ないPerplexityでも、回答の37%が誤りだった。Grok 3では94%が誤りだった。

いちばん優秀な道具でも、3件に1件は出どころを取り違える。会議の資料に混ざる確率は、決して低くない。

AIの「幻覚」の正体は、作り話より取り違えだった

同じレポートでは、xAIの企業文化の説明にも、取り違えがあった。出典は、説明可能なAI（XAI）という研究分野の論文だった。

USスチールの決算ページも、XAIの論文も、本物である。どちらも、別のものについての本物だった。

AIが事実と違う内容を、正しい答えと同じ口調で出す現象を、ハルシネーションと呼ぶ。日本語では幻覚と訳す。

幻覚という訳からは、話をこしらえる姿が浮かぶ。企業調査で目立つのは、本物の数字や文章を、別のものの答えとして出す取り違えだ。

冒頭の謎は、ここで解ける。取り違えた数字は本物なので、表の上ではどこも光らない。

作り話なら、桁や言い回しのどこかに不自然さが出る。本物の数字には、その手がかりがない。

同名、推計、時点、単位。誤りは四つの型に集まる

AIの企業調査で確かめる四つは、名前の取り違え、推計か実績か、いつの数字か、単位で、6社の調査では四つとも見つかりました

一つ目の同名は、名前や略号が同じ別のものを拾う型だ。X、xAI、XAIと似た名前が並ぶマスク氏の企業群は、同名の見本である。

略号の持ち主の状態も、時とともに動く。日本製鉄は2025年6月、USスチールの買収を終えた。

USスチール株は、ニューヨーク証券取引所での取引を終えた。同じXを調べても、2025年2月と7月では、指す会社の状態が違う。

二つ目の推計は、調査会社や報道の見積もりを、決算の実績と同じ調子で書く型だ。

6社のうち上場しているのは、Teslaだけ。ほかの5社の売上や企業価値は、推計である。

三つ目は時点。同じ表に、Xだけ2023年の数字が並び、ほかの5社は2024年の数字だった。

四つ目は単位。ドルと円が、同じ表に混ざっていた。

一つのレポートの中に、四つの型がすべてそろっていた。

出典を閉じたまま読むのは、領収書の束を受け取り、合計金額だけを見る経理と同じだ。

他社宛ての領収書は、合計の中に混ざったまま残る。

確かめる仕事は頼む側にある。差がつくのは数字に添えるラベルだ

救いは、四つの型がどれも出典を開けばすぐに分かることだ。時点と単位の混在なら、表の列を縦に見るだけで見つかる。

AIの調査レポートは、速く広く資料を集める。集めた数字の出どころを確かめる工程は、頼む側の仕事である。

頼む側は、確かめる項目を先に決めて渡す。数字の一つずつに、会社、時点、単位、実績か推計かを添えさせる。

6社の相乗効果のような構想は、説のラベルで受け取る。確かめられなかった数字には、未確認と書かせる。

先の研究所の調査で、ChatGPTは134件の誤った引用を返した。ためらいの言葉を添えた回答は、15件だった。

未確認の札は、頼む側が求めて初めて付く。次の文面のかっこの中を書き換えれば、そのまま使える。

（例：イーロン・マスク氏が率いる6社）の売上と企業価値を調べ、表にしてください。
数字ごとに、次の列を埋めてください。
会社名（正式名称）、時点、単位、実績か推計か、出典のURL
構想や見通しは、説と書いて別の表に分けてください。
確かめられなかった数字は、未確認と書いてください。

どの列を足すかは、自分が何を確かめたいかで決まる。列を決める作業は、自分の問いを言葉にしてAIに渡す作業でもある。

表のXの行に、ラベルが一つあれば

表が返ってきたら、まずラベルの列を縦に見る。次に、出典を一つずつ開く。

冒頭の表に会社名の列があれば、Xの行にはUSスチールの名前が出ていたはずだ。

出典を開く前に、一目で弾けた。光らない取り違えも、ラベルを一つ添えれば光り出す。

この記事の考え方は、拙著『ChatGPTではじめるAI株式投資』の1章5節「AIの「知ったかぶり」を見抜く」に書きました。この節を読むと、AIが出した数字を前にしたとき、固有名詞、日付、単位のどこから疑えばよいかを自分で決められるようになります。

情報を集めるほど、判断がぶれるのはなぜか。

ChatGPTではじめるAI株式投資 表紙

『ChatGPTではじめるAI株式投資』

成果を分けるのは、投資の軸の有無。AIを予言者ではなく壁打ち相手にして、自分の価値観を芯、軸、ルールの三段で言葉にする本です。

読み終えたとき、手元に残るもの

  • やらないことまで書いた、自分の投資の軸
  • スクリーニング、売買、ポートフォリオの三つのルール
  • AIの知ったかぶりを見抜く1分チェック
  • 失敗を次の判断に変える感想戦

本書は投資助言を行いません。特定の銘柄を勧める本ではありません。

Amazonで見る

出典

著者プロフィール・お問い合わせ