AIを「同じ答えを返す道具」と思ってはいけない:同じ請求書、月曜は合計を正しいとし、火曜は端数の扱いに問題があると指摘した

経理の担当者が、請求書の点検をAIに任せた。月曜と火曜に、同じ請求書を同じ文面で渡した。

月曜の答えは、合計金額を正しいとした。

火曜の答えは、端数の扱いに問題があると指摘した。

同じ入力に、別々の答え。

担当者は、AIを関数のような道具だと考えていた。同じ入力には同じ出力が返る、という期待である。

同じ請求書に、なぜ別の答えが返ったのか。

写像を写像たらしめる、二つの条件

社員番号の集合と、氏名の集合を考える。どの社員番号にも、氏名が一つずつ決まる。

集合Aのすべての元に、集合Bの元をただ一つ対応させる規則fを、写像と呼ぶ。f:A→Bと書く。

Aを始域(定義域)、Bを終域と呼ぶ。

写像には二つの条件がある。すべての元に行き先がある全域性と、行き先がただ一つに決まる一意性だ。

社員番号を引くたびに別の氏名が出る名簿は、名簿の役に立たない。

月曜と火曜の答えは、一意性の条件を破っている。どちらの日の答えを採るかで、請求書の扱いが変わってしまう。

関数は、終域が数の集合である写像を指すのが慣習である。

1837年、ディリクレは関数を定義し直した。式で書けるかを問わず、xの各値にyの値が一つ定まれば、yはxの関数だ。

写像は最も一般的な概念で、終域が実数や複素数などの数である写像を関数と呼ぶ。関数は写像の一部にあたる

担当者が期待したのは、写像としてのAIだった。では、生成AIは写像なのか。

1,000回の同じ質問で、何が起きたか

多くの対話型の生成AIは、次に来る語を確率で選んで文章を作る。一字一句同じ質問にも、別の答えが返る場合がある。

ばらつきを最も抑える設定でも、答えは揺れる。

米国のAI企業Thinking Machines Labは2025年9月、ある実験の結果を公表した。

Qwen3-235Bというモデルに、同じ質問を1,000回投げた。質問は、物理学者ファインマンについて教えて、という一文。

設定は温度0。確率の最も高い語を選び続ける、ばらつきの最も小さい設定である。

返ってきた答えは、80通り。最も多い答えでも、78回にとどまった。

数学の写像は、同じ入力にただ一つの出力を対応させる。対話型の生成AIの答えは、同じ入力でも変わる。

生成AIの答えは、ここで一意性の条件から外れる。

答えが毎回返るから、境目が見えない

全域性の側でも、ずれが起きる。

写像では、始域を先に決める。始域の外から来た入力を、写像は扱わない。

生成AIは、想定外の入力にも、もっともらしい答えを返す。答えが毎回返るため、AIが扱う範囲の境目は、利用者の目から隠れる。

範囲の外の請求書を渡しても、AIは点検らしい答えを返す。利用者は、答えが返った事実を点検が済んだ証拠と取り違えかねない。

始域を人が書くのは、境目を見える形にするためだ。

出力を、ありうる文章の確率の分布と見る立場もある。入力から分布への対応と見れば、生成AIも写像とみなせる。

終域の取り方で、見方は入れ替わる。毎回同じ一つの答えが要る仕事では、生成AIを写像の外に置いて扱う。

人の手に残るのは、受け付ける入力と返す形だ

対応の規則は、AIの開発元が作る。利用者が決めるのは、規則の両端である。

始域は、何を受け付けるか。受け付ける入力の種類を書く。

種類の外の入力が来たら、断るよう指示する。

終域は、どんな形で返すか。表や項目の並びで返す形を固定すると、答えのばらつきが小さくなる。

一意性が要る工程は、AIの外に置く。金額の計算は、プログラムに任せる。

規程との照合は、原文で行う。AIには、候補を出す役を割り当てる。

生成AIの対応の規則は開発元が決めます。人が決めるのは、受け付ける入力の範囲と返す形です。一意性が要る計算や照合はAIの外に置きます

今日から使える手順は二つ。受け付ける入力の種類と、返す形を書き出す。

金額の計算と原文との照合を、AIの外に置く。

次の文面のかっこの中を、自分の仕事に書き換えて使える。

あなたは(例:請求書の記載項目を読み取る)担当です。
受け付ける入力:(例:PDFの請求書。1回に1枚)
範囲の外の入力:(例:「受け付ける入力の外です」と返して、処理を止めます)
返す形:(例:請求元、請求日、品目、金額の4列の表)
金額の合計と規程との照合は、こちらで行います。表の作成までを担当してください。

月曜と火曜で答えが割れた請求書。割れて困る工程は、最初からAIの外に置く仕事だった。

拙著『ChatGPT 誰でも1時間でできる! はじめてのGPTsのつくり方』の3章3節に、目的、役割、入力、出力といった項目に分けて要件を書く形を示しました。読むと、自分の仕事の入力と出力のうち、まだ言葉になっていない部分を項目ごとに確かめられます。

自分の仕事に効くAIは、誰が作るべきか。

ChatGPT 誰でも1時間でできる! はじめてのGPTsのつくり方 表紙

『ChatGPT 誰でも1時間でできる! はじめてのGPTsのつくり方』

要件を日本語で書き出せば、それがそのままAIを動かす。現場の知識を持つ人が自分で作り、育てる、内製化のための本です。

読み終えたとき、手元に残るもの

  • 目的、役割、入力、出力をそろえる要件定義の型
  • 評価基準と判断基準を持たせる考えるGPTの作り方
  • テスト用のダミーデータで直していく手順
  • 複数のGPTを分業と協業でつなぐ設計

画面や機能の記述は2024年時点のものです。仕事を分解し、基準を言葉にする考え方は今も変わりません。

Amazonで見る

出典

著者プロフィール・お問い合わせ