Word2Vecの最初の論文は、2013年の国際会議ICLRで不採録になったとされます。のちに自然言語処理の流れを変えたと語られる技術が、発表の時点では査読を通らなかったわけです。
この記事の中心命題は、Word2Vecが革命的だったかどうかの答えは、何と比べ、どの条件で測るかという前提で変わる、ということです。不採録、公開後の急速な普及、GloVeとの性能論争、時代遅れという評価。評価が大きく割れた四つの場面をたどり、割れた理由が技術そのものより比較の前提にあったことを示します。
以前の手法が抱えていた壁
コンピュータに単語を扱わせるには、単語を数字に置き換える必要があります。Word2Vec以前の代表的な方法には、それぞれ限界がありました。
- ワンホット表現：語彙の数だけ長さのあるベクトルで、その単語の位置だけを1にする。どの単語同士の距離も同じで、猫と犬の近さも、猫とテーブルの近さも区別できない
- 潜在的意味解析（LSA）：文書と単語の出現頻度の行列を特異値分解し、低い次元の意味空間に写す。語順や文脈を無視するため多義語を扱いにくく、大規模なデータでは分解が重い
- 確率的潜在的意味解析（PLSA）：LSAを確率モデルに広げたが、過適合を起こしやすく、新しい文書のたびに学び直しが要るとされた
- nグラム：隣り合う単語の並びを数える。nを大きくすると組み合わせが爆発し、ほとんどの並びが一度も観測されない
Word2Vecは、数百次元ほどの密なベクトルで単語を表し、似た文脈で使われる単語を近くに並べました。ベクトルの差が単語の関係を表し、kingからmanを引いてwomanを足すとqueenに近づく、という計算ができます。周りから真ん中の単語を当てるCBOWと、真ん中から周りを当てるSkip-gramという浅い構造で、大量の文章でも速く学べました。学習済みのベクトルは、類義語の検索、感情分析、機械翻訳などに使い回せました。
評価が割れた四つの場面
一つ目は、発表の時点です。最初の論文はICLRで不採録となり、コードをオープンソースにする承認にも数か月かかったとされます。査読の場では、新しさや評価の仕方が十分とはみなされなかったことになります。
二つ目は、コードの公開後です。誰でも手元の文章で動かせるようになると、有用性は一気に広まりました。論文の審査で問われる基準と、現場で使ってみて役立つかという基準は、別のものでした。
三つ目は、後続技術との比較です。スタンフォード大学が2014年に提案したGloVeの論文は、Word2Vecより良い結果を報告しました。これに対しミコロフ氏は、比較に使ったデータ量が違うと反論し、のちのfastTextの実験で、同じデータ量ならWord2Vec系が優れると示しました。どちらが上かは、何をそろえて比べるかで変わったわけです。
四つ目は、時間がたってからです。単純なWord2Vecは、2022年の時点で時代遅れとも評されています。今の主流は、単語の埋め込みの上に注意機構を持つ深い層を重ねたトランスフォーマー系のモデルです。一方で、単語を意味のベクトルとして扱う発想そのものは、最新の言語モデルにも受け継がれています。性能で測れば過去の技術、発想で測れば今も土台、という二つの評価が同時に成り立ちます。
割れていたのは、技術ではなく比較の前提
四つの場面で、Word2Vecの中身は変わっていません。変わったのは、何を革新とみなすか、という評価の前提です。
| 場面 | 暗に置かれていた評価基準 |
| 査読 | 論文としての新しさと、評価実験の厳密さ |
| コード公開後 | 手元で動き、別の仕事に使い回せるか |
| GloVeとの比較 | 同じ条件、特に同じデータ量での精度 |
| 2022年の時点 | その時点の最高性能との差 |
新しい技術の性能比較で、比べた条件が書かれていない表は、試合会場も競技も書かれていない勝敗表と同じです。勝ったことしか分かりません。どの条件で勝ったのかが書かれていなければ、自分の現場で勝てるかは判断できません。
ここで、どの評価が正しいかを決める必要はありません。目的が違えば、正しい評価基準も違います。研究の最前線にいる人には時代遅れの技術が、計算資源の限られた現場では今も第一候補になりえます。どちらの評価も、前提を書けば両立します。
AIの新モデルの話題を読むときにも使える
この見方は、今の生成AIのニュースを読むときにも使えます。新しいモデルが従来より優れている、という報告を見たら、何と比べたのか、どのデータで測ったのか、自分の使い道でもその基準が効くのかを確かめます。革命的、という言葉は評価基準を書かずに済ませられる便利な言葉で、便利なぶん、読み手の判断には役立ちません。
考えてみてください。あなたが最近、画期的だと感じた技術やサービスについて、何と比べて画期的だと判断したのかを一文で書けるでしょうか。そして、比べる相手や条件を変えたら、その評価は残るでしょうか。
この記事の背景にある考え方は、拙著『GoogleのAI NotebookLM 意思決定の強化書』の1章3節「前提と定義が結論を決める」に書きました。同じ買収案件でも、シナジーという言葉の定義を変えると結論が見送りから積極推奨に入れ替わる事例を扱った節で、「重要な用語をどう定義するかによって、AIが出す結論は180度変わります。」と書いています。読むと、評価が割れている議論を前にしたとき、まずどの言葉の定義が割れているのかを探せるようになります。
同じ資料を見ているのに、なぜ結論が割れるのか。
『GoogleのAI NotebookLM 意思決定の強化書』
前提が結論を決める。意思決定を根拠、前提、結論の三層に分け、前提を対象、目的、制約、評価基準の四つで言葉にする本です。
読み終えたとき、手元に残るもの
- 意思決定の設計図になる前提リスト
- 資料を事実、意見、噂、ゴミに仕分けるFORT
- 同じ物差しで比べる選択肢表と採点表
- 始める条件と止める条件を書いた決定書
NotebookLMは2026年7月にGemini Notebookへ名称が変わりました。本の手法は、使うAIの種類を問いません。