自社の回答例でAIを鍛え直した部署の末路：口調は社内の文体にそろい、一般的な質問への答えは落ちた

ある部署が、問い合わせ対応のAIを、自社の回答例で追加学習させた。

回答の口調は、社内の文体にそろった。

翌月、担当者は一般的な質問への答えを確かめた。

答えの質は、追加学習の前より落ちていた。

口調をそろえただけなのに、なぜ一般的な答えまで落ちたのか。

十件の追加学習で、歯止めまで外れる

落ちうるのは、答えの質だけではない。

2023年、研究者のQiらは、少量の追加学習の怖さを示した。OpenAIのGPT-3.5 Turboを、悪意を込めた10件の例で追加学習させた。

費用は0.2ドル未満。安全のための歯止めが外れた。

悪意のない、よく使うデータで学ばせた場合も、程度は軽いものの安全のための調整が弱まった。

社内の回答例も、悪意のないデータである。口調をそろえるつもりの学習が、見えない場所で別の力を動かしうる。

店の味に染まった料理人、ファインチューニングの正体

カラクリは単純だ。追加学習は、モデルの重み（学習で調整する数）を書き換える作業である。新しい能力を身につけさせるとき、元の能力の一部を上書きする場合がある。

最初に大量のデータで学ばせる段階を、事前学習と呼ぶ。ある課題で学んだ知識を別の課題に生かす方法は、転移学習と呼ぶ。

ファインチューニングは、転移学習の一種である。

学習済みのモデルに、特定の仕事のデータを追加で学ばせる。追加の学習で、モデルの中の重みを書き換える。

ファインチューニングを、料理の基本を身につけた料理人が店の味を覚える姿にたとえる人は多い。

一つの店の味に染まった料理人は、別の店の味を作る腕が落ちる場合がある。

ファインチューニングは、得る精度と失うものの交換だ。

少量のデータは、なぜモデルの癖になるのか

よく挙がる利点は、短い学習時間と少量のデータで、特定の仕事の精度を上げられることだ。

利点の裏で、少量のデータでは、一件ずつの癖がモデルの癖になる。

誤りを含んだ百件で学ばせると、モデルは百件の誤りを、元の膨大な知識より優先して覚える場合がある。

一回の学習で重みを動かす幅を、学習率と呼ぶ。学習率が大きすぎると、事前学習で得た知識が崩れる。

新しい仕事を覚えるにつれて、前の仕事を急に忘れる現象を、破滅的忘却と呼ぶ。

2023年のLuoらの実験では、10億から70億個のパラメータの言語モデルで、破滅的忘却が広く起きた。範囲の中では、大きいモデルほど多くを忘れた。

少量のデータで学習を繰り返しすぎると、過学習も起きる。過学習は、学習データにだけ合い、新しいデータで外れる状態だ。

冒頭の部署の翌月も、この形で読める。社内の文体を覚えた分、一般的な質問に答える力が削れた。

しかも、口調がそろった時点では誰も気づかない。気づくのは、翌月に試した人だけだ。

重みを書き換える価値は、どんな仕事にあるのか

交換が見合うのは、口調や書式をそろえたいときだ。毎日大量に同じ型の出力が要るときや、資料を社内に留める必要があるときも、候補になる。

新しい事実を足したいだけなら、資料を渡す方法が向く。資料を渡す方法では、重みは元のままだ。

ChatGPTのGPTsのように、役割の指示と参考資料を渡して、自分用のAIを作る方法もある。元の力は残る。

GPTsの方法は、型をそろえる力がファインチューニングより弱めである。

では、交換が見合う仕事なら、何を失ってよいのか。答えは、学習を始める前に書いておく。

始める前に引く、学習をやめる成績の線

評価では、狙った仕事の成績と、元のモデルが普通にこなしていた仕事の成績を、学習の前と後で並べて測る。

やめる成績の線は、守りたい力の成績に引く。

一般的な質問の正答率が学習前より1割下がったら、学習をやめて資料を渡す方法に戻す、という一文が線になる。

次の文面のかっこの中を書き換えると、AIに評価の計画を作らせられる。

（例：問い合わせメールの返信）の型をそろえるために、ファインチューニングを検討しています。
得たいもの：（例：社内の文体と書式のそろい）
失ってよいもの：（例：雑談の受け答え）
守りたい力：（例：一般的な質問への正確な答え）
やめる成績の線：（例：守りたい力の正答率が学習前より1割下がったら、資料を渡す方法に戻す）
お願い：学習の前と後で比べる評価の問題を、狙った仕事と守りたい力から10問ずつ作ってください。

守りたい力の10問は、学習のたびに同じ問題で測る。同じ問題で測るから、成績の上下を学習前と比べられる。

狙った仕事の10問と、守りたい力の10問を、学習の前と後で横に並べる。片方だけが上がり、片方が線を割れば、そこで止める。

口調がそろった翌月に、気づくか

冒頭の部署で、落ちた力に気づいたのは翌月だった。

口調がそろった翌月に気づくか、学習の前に線を引くか。差は、守りたい力の10問にある。

拙著『GoogleのAI NotebookLM 意思決定の強化書』の4章5節に、取り返しのつかない決定では、前提の情報が足りなければ保留にする話を書きました。読むと、追加学習が戻せる決定か戻しにくい決定かを見分け、立ち止まる所を自分で置けます。

出典

• ファインチューニングとは？仕組みや転移学習・RAGとの違いを院生が徹底解説 | WEEL
• 転移学習とは？AI実装でよく聞くファインチューニングとの違いも紹介（AIsmiley）
• ファインチューニング｜【AI・機械学習用語集】（zero to one）
• 【ChatGPT】ファインチューニングをわかりやすく解説（Qiita）
• Fine-tuning Aligned Language Models Compromises Safety, Even When Users Do Not Intend To!（Qi ほか、arXiv、2023年）
• An Empirical Study of Catastrophic Forgetting in Large Language Models During Continual Fine-tuning（Luo ほか、arXiv、2023年）