データの「傾向が見えました」の正体：合格率の差の正体は、応募した学部の差だった

月次の報告会で、担当者が一枚のクロス集計表を映した。行は年齢層、列は購入の有無。

担当者は言った。「若い層ほど、購入率が高い傾向が見えました」。

表に使った軸は、年齢層と購入の二本だけ。三本目の軸を足して作り直した表は、ゼロ枚だった。

大学入試の合格率では、男女の差に見えた数字が、軸を一本足しただけで別の差に入れ替わった例がある。

では、「傾向が見えました」は何を見ていたのか。

クロス集計表の正体

冒頭の報告会の表では、行に年齢層、列に購入の有無が並んでいた。

クロス集計（Cross Tabulation）とは、カテゴリで表す変数どうしの関係を見る表だ。カテゴリで表す変数を、質的変数と呼ぶ。

行には、一方の変数を並べる。列には、もう一方の変数を並べる。

交わるセルに、組み合わせの件数を入れる。クロス表、分割表とも呼ぶ。

1900年、統計学者カール・ピアソンがカイ二乗検定を作った。論文は、英国の学術誌『Philosophical Magazine』に載った。

表に見える関連を、統計で確かめる土台がここでできた。

ただし、表は切った軸の分しか語らない。切らなかった軸は、表のどこにも映らない。

軸を一本足すと、何が起きたか

全体の表で見えた関係が、層に分けると逆転する。シンプソンのパラドックスと呼ぶ現象だ。

有名なのが、米カリフォルニア大学バークレー校の大学院入試である。

1975年、統計学者ビッケルらが科学誌『Science』に分析を載せた。対象は1973年秋の志願者で、男性8,442人、女性4,321人。

全体の表では、男性の約44％、女性の約35％が合格していた。差だけを見れば、選考が女性に不利だったように映る。

ところが、学部の軸を足すと景色が変わる。女性は、合格しにくい学部に多く応募していた。

学部ごとに比べ直した論文の結論は、女性への差別はなかった、というものだった。むしろ、統計上わずかに女性に有利な偏りが出た。

全体の表だけなら、差は選考の差に見える。学部の軸を足した表では、差は応募先の差に入れ替わる。

カラクリはこうだ。クロス集計表の結論は、どの軸で切るかという選択で決まる。軸を一本足すと、結論が逆向きになる場合さえある。

どの軸で分けるか。決めるのは、何が何に影響するかという仮定だ。

結果の影響を受けて決まった変数で分けると、関係がゆがむ。

では、軸を足せば足すほどよいのか。そうではない。

層を細かく分けるほど、一つのセルの件数は減る。件数が減るほど、偶然の偏りが増える。

偏りが偶然かは、ここで確かめる

件数の不安には、表の作り方と検定で答える。

原因と考える側を、独立変数と呼ぶ。結果の側を、従属変数と呼ぶ。

セルには、独立変数のカテゴリごとに、従属変数の分布を比べられる割合を入れる。

年齢層ごとの購入率を比べるなら、年齢層を行に置いて行パーセントを使う。

偏りの強さは、期待度数と比べて測る。期待度数とは、二つの変数の関係をゼロと仮定したときの件数だ。

期待度数は、行合計×列合計÷総計で求める。

偏りが偶然の範囲かは、カイ二乗検定で確かめる。件数の小さい表では、フィッシャーの正確確率検定を使う。

報告会の表を作り直す手順

報告会の表なら、年齢層と購入の表に三本目の軸を足して作り直す。

足す軸は、何が何に影響するかという仮定から選ぶ。偏りを見つけたら、件数と検定で偶然の範囲かを確かめる。

同じ切り方は、自分の売買記録にも使える。行に買った理由を置き、列に買った後の上昇と下落を置く。

印象で見えていた偏りが、表の数字に出る。三本目の軸には、買った月の相場全体の騰落を足す。

買った時期が、相場全体が上がった時期と重なっていれば、偏りの正体は買った理由ではないかもしれない。

AIに表を頼むときは、次の文面のかっこの中を書き換えれば使える。

添付したデータは（例：過去2年の自分の売買記録。銘柄、買った日、買った理由、1か月後の騰落）です。
1. 行に買った理由、列に1か月後の上昇と下落を置いたクロス集計表を作ってください。セルには行パーセントと件数を入れてください。
2. （例：買った月の市場全体の騰落）の軸を足して、層ごとに同じ表を作り直してください。
3. 偏りが偶然の範囲かを、件数に合った検定で確かめてください。

「傾向が見えました」の次の一枚

バークレー校の差は、学部の軸を足した一枚で入れ替わった。

あの報告会に足りなかったのは、二本の軸の表ではない。三本目の軸を足した、次の一枚だった。

出典

• Sex Bias in Graduate Admissions: Data from Berkeley（P. J. Bickel、E. A. Hammel、J. W. O’Connell、Science 187巻、1975年）https://homepage.stat.uiowa.edu/~mbognar/1030/Bickel-Berkeley.pdf
• On the criterion that a given system of deviations from the probable in the case of a correlated system of variables is such that it can be reasonably supposed to have arisen from random sampling（Karl Pearson、Philosophical Magazine、1900年）https://jhanley.biostat.mcgill.ca/bios601/Proportion/Pearson1900.pdf

この記事の考え方は、拙著『ChatGPTではじめるAI株式投資』の5章6節、AIと取引を振り返る節に書きました。この節を読むと、自分の記録をどの軸で切れば自分の得意な土俵が見えるのかを、確かめる問いを立てられるようになります。