メタ解析の数字も、どの研究を入れたかという前提から出てくる

メタ解析は客観的で、サーベイ論文には書き手の主観が入る。この二分法は、半分だけ正しい答えです。メタ解析の数字も、どの研究を集め、どれを外したかという選択の上に立っているからです。この記事では、二つの論文の違いを押さえたうえで、根拠の強さを論文の種類だけで決めてはいけない理由と、読むときに確かめる点を整理します。

サーベイは全体像を描き、メタ解析は効果を数字で統合します

サーベイ論文（レビュー論文）の目的は、分野全体の研究動向を把握し、分類し、俯瞰することです。理論や方法論の論文群を対象に、比較、分類、傾向分析といった記述的な分析を行い、研究分類表、系譜図、技術比較表を成果物にします。コンピュータ科学、社会学、教育学など幅広い分野で書かれ、題名には survey、review、overview といった語がよく入ります。「大規模言語モデルの安全性に関するサーベイ」のような論文は、誰がどんなアプローチを取り、分類すると何通りあり、未解決の課題は何かという問いに答えます。

メタ解析論文の目的は、複数の定量研究の結果を統計的に統合することです。効果量や平均差を持つ研究群を集め、統合された効果量、信頼区間、フォレストプロット、バイアス分析のグラフを示します。医学、心理学、教育研究など統計データの多い分野で多く書かれ、題名には meta-analysis や systematic review といった語が入ります。各研究の効果量（Cohen's d など）を集めて平均をとり、ある介入に本当に効果があるのかを評価します。どんな研究があるかを俯瞰したいならサーベイ、ある手法や介入が有効かを確かめたいならメタ解析、というのが基本の使い分けです。

似た語を一つ分けておきます。システマティックレビューは、文献を探す手順と選ぶ基準をあらかじめ決めて、網羅的に集めるレビューの方法です。その結果を統計的に統合する段階がメタ解析です。研究の条件がばらばらで、数字を統合しないシステマティックレビューもあります。

メタ解析の数字は、集め方という前提から出てきます

メタ解析は統計の手続きを通るので、客観的に見えます。けれど、その数字は、どの研究を対象に含め、どれを外すかという選択基準の上に立っています。基準が違えば、同じテーマのメタ解析が違う結論を出すことがあります。精密なのは計算の部分で、何を計算に入れるかを決めているのは人です。

よく知られた落とし穴が二つあります。一つは出版バイアスです。効果が見られた研究ほど論文になりやすく、効果が見られなかった研究は世に出にくい傾向があります。公開された論文だけを集めると、統合された効果は実際より大きく出るおそれがあります。もう一つは異質性です。対象者も条件も違う研究を一つの平均にまとめると、平均は計算できても、それが誰に当てはまる数字なのかがぼやけます。ゴミを入れればゴミが出る、という格言は、統計の手続きを通しても変わりません。統計の衣を着たゴミは、見た目が立派なぶん、ただのゴミより始末が悪いだけです。

逆に言えば、選択基準が事前に公開され、除外した研究とその理由が示され、研究どうしのばらつきが小さいメタ解析は、根拠として相当に強いと考えてよいでしょう。メタ解析が強いのは、メタ解析という名前のおかげではなく、その手続きが外から点検できるからです。

ベンチマークの横断比較は、さらに前提が見えにくい

AIや情報科学の分野では、サーベイ論文が主流です。近年は、多くのLLMの性能指標を集めて比べる、ベンチマークの横断解析も登場しています。メタ解析に近い発想ですが、医学や心理学のメタ解析のような厳密な統計的統合より、傾向を見える形にすることが中心です。どのベンチマークを選び、どのモデルのどの版を比べたかで順位は変わります。その選び方が本文のどこに書かれているかを、読む側が探す必要があります。同じまとめ論文でも、何をどこまで確かめたものかを見分けなければなりません。

種類より先に、集め方を読みます

論文を判断の根拠にするとき、種類を確かめたら、次の四点を読むと、根拠の重さが見えてきます。

• 何を含め、何を外したか: 選択基準と、除外した研究の扱い
• 見えていない研究はないか: 出版バイアスをどう点検したか
• 何を一つにまとめたか: 研究どうしの条件のばらつきと、その扱い
• どこまで言えるか: 限界の節に何が書かれているか

サーベイ論文にも同じ問いが当てはまります。分類の軸を誰がどう決めたかで、見える全体像は変わります。

あなたが最近、根拠として引いた研究の数字は、どの研究を集めた結果だったでしょうか。集める基準が違っていたら、その数字はどちらに動いたと思いますか。

この記事の背景にある、論文は結論より手法と限界を読むという考え方は、拙著『GoogleのAI NotebookLM 意思決定の強化書』の3章のコラム「論文は見落とされがちな知見の宝庫」に書きました。手法、限界、利益相反を論文の強みとして挙げ、論文を探すプロンプトの一つとして、悪影響や限界を論じた査読論文を集める「批判的検索（不都合な真実を探す）」を紹介しています。このコラムを読むと、自分の結論に都合のよい論文だけで判断していないかを、自分で点検できるようになります。