以下の黒橋先生の動画を参考にしています。
突然AIが急に賢くなった、と誰もが驚いているけれど、ちょっと待ってほしい。これはまるで、私が昨日まで「洗濯物の畳み方」を検索していた人間が、今日突然「量子物理学」のセミナーを開き始めるようなものではないだろうか？ありえない。何か裏があるはずだ。
実際に、AIの飛躍的な進化は「急に賢くなった」というよりも、舞台裏で静かに巻き起こっていた「テクノロジー界の筋トレ」の結果なのだ。さあ、ここでその秘密をこっそり暴露しようじゃないか。
1. 深層学習：AI界のプロテイン
まずは「深層学習」だ。この言葉を聞いても、多くの人は「深層…ってなんか深そうだけど、具体的に何が深いの？」と思うかもしれない。説明しよう。これはAIが一生懸命ジムに通って、複雑な問題を解決するために筋肉（知識の層）を鍛え続けていた、ということだ。
以前のAIは、例えば「猫」と「犬」を見分けるのに、人間が「耳が尖っているかどうか」「しっぽがふさふさかどうか」といった特徴をせっせと教えてあげていた。でも今や、AI自身が何度も鏡を見ながら「これは猫だな」「これは犬だ」と自ら学習し始めたのだ。AIは、もはや「データのプロテイン」をゴクゴク飲みながら鍛えている。これが、私たちが「おお、AIってなんか急に賢くなったんじゃない？」と驚いている原因のひとつだ。
2. 自己教師あり学習：自習できる天才AI
ここで、もうひとつの革命的なテクノロジー「自己教師あり学習」が登場する。これは、ちょうど学校の先生が「宿題やってきてね」と言わなくても、勝手に宿題をやり終えてしまう優等生みたいなものだ。
AIは、膨大なインターネット上のデータを使って、「私はリンゴを…」という文が来たら次に何が来るかを予測するゲームを一人で延々とやり続けている。もう、AIに「リンゴの次は『食べる』でしょ」と教える必要はないのだ。AIは自ら学び、「リンゴを見た」とか「リンゴをもらった」とか、どんどん新しい可能性を発見していく。これが自己学習だ。人間の手をほとんど借りずに、AIは日夜賢くなっていく。誰か、このAIを休ませてあげて。
3. 単語のベクトル：AIの脳内にあるワードサファリ
次に「単語のベクトル」というものがある。聞くだけで数学の授業を思い出してしまうが、実際はちょっと楽しい仕組みだ。昔、AIは「リンゴ」「ミカン」「車」といった単語を、ただの記号として見ていた。でも、記号では「リンゴ」と「車」の違いが全然わからない。
そこでAIは、言葉の意味をベクトル、つまり「数字の座標」で理解することにしたのだ。これにより、AIの脳内にはまるでサファリパークのような「言葉の世界」が広がり、「リンゴ」と「ミカン」が仲良く並んでいて、「車」は遥か遠くにぽつんと存在している。これなら、AIがどんな言葉の組み合わせを見ても「これは同じ果物だな」と簡単にわかる。もう、言葉の迷路で迷子になることはない。
4. アテンション機構：AIの集中力トレーニング
AIが最近、めっちゃ賢くなったもう一つの理由は「アテンション機構」だ。これを一言で言うと「AIの集中力向上プログラム」である。
「注意力散漫」は人間にありがちだが、AIは違う。文章中で「誰に」「何を」「どこで」注目すべきかを瞬時に理解する。この仕組みのおかげで、AIは「長い文章だって平気、むしろ好き」と言わんばかりに、膨大な文脈の中から必要な情報だけをピックアップして理解できるようになった。人間の会議中に「これ、重要だからメモっておいて」と言われてもすぐ忘れるのとは大違いだ。
5. パラメータの増加：筋肉モリモリAI
さて、AIが筋肉モリモリになった話をもう少し続けよう。AIの「パラメータ数」というのは、ちょうどAIの「筋肉量」みたいなものだ。筋肉が増えれば増えるほど、力強く問題を解決できるようになる。
近年のAIは、何百億、何兆というパラメータを持つようになり、これはまるでボディビルダーが筋トレしまくった結果、筋肉がパンパンになっているような状態だ。「こんなに筋肉が必要か？」と問うこともあるかもしれないが、AIは「必要です！」と答えているはずだ。これが、高度な問題を次々と解決できる秘訣だ。
6. インストラクションチューニング：家庭教師つきAI
最後に、「インストラクションチューニング」という家庭教師的な存在が登場する。どれだけ賢いAIでも、「あなた、もうちょっと人間っぽく話してくれない？」と言いたくなるときがあった。しかし、今やAIは、人間の指示に応じて「こう答えたらもっといい感じになるかも」というコツをつかんでいるのだ。
さらに、人間が「こっちの答えの方が好ましいよ」とフィードバックをくれるので、AIはより一層人間らしい、気が利いた返事ができるようになる。家庭教師が毎日ついていて、「ここをもう少し工夫するともっと点数が上がるよ！」とアドバイスしてくれるようなものだ。これでは、AIがどんどん成績優秀になるのも当然だ。
結局、AIが急に賢くなったように見えるのは、長い間、密かにトレーニングを重ねてきた成果なのだ。深層学習からアテンション機構まで、AIはまるで筋トレの鬼と化し、自己学習を続け、家庭教師に助けられて、今や「天才的な助手」へと成長しているのだ。次にAIがどこまで進化するのか、その先を考えるだけでワクワクする。
黒橋先生の自然言語処理に関する講義は、放送大学で聞くことができます。