AIに作らせたデータを、会議に出してはいけない：顧客1,000件を集計したら「30代女性に人気」と出た

担当者が、AIに顧客データを1,000件作らせた。

集計すると、結果は一行。30代女性に人気。

担当者は、集計の結果を会議の資料に載せかけた。

ところが、データの中に自社の顧客は一人もいない。

では、30代女性に人気、は誰の姿だったのか。

会議の資料に載せる、一歩手前で起きていたこと

資料に載った数字を、出席者は事実として読む。出どころまで尋ねる人は少ない。

一行が資料に載れば、話は30代女性をどう狙うかへ進みかねない。土台の傾向は、架空のままである。

架空のデータで練習した分析を、会議の資料に載せる。模型の風洞実験の結果で、実機の燃費を報告するのと同じだ。

模型の風洞実験は、機体の形を確かめる道具である。実機の燃費は、実機を飛ばして測る。

資料に載った瞬間、架空の傾向が事実の棚に紛れ込む。

本物らしい合成データの正体

生成AIに、実際の顧客に近い分布で、と頼んで顧客データを作らせる。返ってくるデータは、中身が架空だ。

年代の偏りや購入額のばらつきは、本物に似ている。

よく比べる二つの言葉と並べると、位置がはっきりする。

ダミーデータは、架空に作ったデータだ。システムの動作確認やテストに使う。

英語圏では、John Doe という仮の氏名をよく使う。

サンプルデータは、実際のデータセットから取り出した本物の一部である。分析や検証に使う。

合成データは、二つの箱の間にある三つ目のものだ。中身は、ダミーデータと同じく架空。

見た目だけなら、サンプルデータと同じく分析の材料に使えそうだ。担当者が会議の資料に載せかけたのも、見た目のせいだった。

30代女性に人気、の出どころはどこか

傾向の出どころは二つ。AIが学習した一般的な知識と、頼んだ人が書いた条件だ。

自社の顧客から来た材料は、ゼロ。

集計に映ったのは、AIが顧客をどう想像したかである。架空のデータに見える傾向は、作った側の前提を映す。

しかも、AIの知識そのものに偏りがある。

米スタンフォード大学の研究チームは2023年、国際会議ICMLで一本の論文を発表した。言語モデルの意見を、世論調査と突き合わせた研究である。

比べた相手は、米国の60の属性別の集団。

モデルの意見は、多くの集団から大きくずれていた。

ずれの大きさは、気候変動をめぐる民主党支持者と共和党支持者の溝に並ぶ水準だった。

特定の集団の考え方をまねるよう指示しても、ずれは残った。

AIは、知識の偏りを抱えたまま顧客を想像する。

資料を事実、意見、噂、ゴミに仕分けるなら、合成データの傾向は事実の棚の外に置く。

会議に出す数字は、どこから持ってくるか

今日から使える手順は三つ。

一つ目に、手順の練習か、結論を出すのかを決める。

二つ目に、練習なら、AIに合成データを作らせる。頼むときは、列と分布の条件を書き添える。

三つ目に、結論を出すなら、本物のデータから抜き出したサンプルを使う。実データは、匿名化してからAIに渡す。

次の文面のかっこの中を、自分のデータに書き換えて使える。

（例：顧客データ1,000件）を、分析の練習用に作ってください。
使い道：（例：集計の手順の練習だけに使います）
列：（例：年代、地域、購入額）
分布の条件：（例：実際の顧客に近い分布で）

練習で組んだ集計の手順は、本物のサンプルに当て直す。会議の資料に載せる数字は、本物のサンプルから出た数字だ。

30代女性に人気。あの一行の主語は、顧客ではなくAIだった。

出典

• Santurkar ほか「Whose Opinions Do Language Models Reflect?」（ICML 2023、PMLR 202巻、2023年） https://proceedings.mlr.press/v202/santurkar23a.html

この記事の考え方は、拙著『GoogleのAI NotebookLM 意思決定の強化書』の2章4節「ソースを仕分ける」に書きました。この節を読むと、AIが作ったデータや抜き方の分からないサンプルの傾向を、どの種類の情報として扱うかを分析の前に決められるようになります。