AIが自分で推敲して誤りを直すと聞いて、確認の担当を減らそうと考えるのは、自信のある人ほど間違えないと信じて面接をするのと同じです。拡散型大規模言語モデル（dLLM）が見直すのは、自分の確信が低い箇所であって、間違っている箇所ではないからです。
この記事では、dLLMの基本の考え方、テキストへの応用が難しかった理由、LLaDAとMercuryという二つの節目を2025年3月時点の情報で整理し、そのうえで、推敲するAIという比喩のどこが当たっていて、どこが外れているかを考えます。
dLLMは、伏せ字の下書きから全体を見直して文章を仕上げます
GPTシリーズのような自己回帰型モデルは、文章を左から右へ、1トークンずつ順に予測して生成します。dLLMは、ノイズだらけの状態から出発し、少しずつ情報を足して精緻にしていくことで文章を得ます。Stable Diffusionなどの画像生成AIで確立された拡散モデルを、テキストに応用したものです。
テキストの場合、出発点は無意味なトークン列や、マスクされた（伏せ字にされた）単語列です。各手順で文章全体を見渡し、まだ確定していない部分を少しずつ確定させ、最後に意味の通る文章にします。開発者たちはこの流れを、粗いものから細かいものへ、と表現しています。まず骨子を用意し、繰り返し手を入れて細部と一貫性を整える進め方です。
自己回帰型では、一度決めた単語を後から変えられません。文章の後半で矛盾が出ても、前半に戻って直せないのです。dLLMは各手順で全文を評価し直すため、途中の矛盾を解消しやすく、一貫した出力を得やすいとされています。
テキストへの応用が遅れたのは、言葉が離散的だからです
拡散モデルは画像や音声のような連続的なデータで成功してきましたが、テキストのような離散的なデータへの応用は長く難題でした。言語は単語や記号という区切られた単位でできているため、ピクセルの値のように連続的にノイズ化できません。研究者たちは、トークンを連続的なベクトル表現に埋め込んでから拡散させる方法や、マスクを少しずつ外していく方法を模索してきました。2022年ごろには、LiらによるDiffusion-LMが、単語の埋め込み空間でノイズを加減して文章を生成する方法を提案し、制御可能な生成を改善しました。ただし当時はモデルの規模が小さく、自己回帰型ほどの流暢さや汎用性には届きませんでした。
LLaDAとMercuryで、研究と商用の両方に節目が来ました
転機は2025年に発表されたLLaDA（Large Language Diffusion with mAsking）です。事前学習と教師あり微調整（SFT）という大規模言語モデルの学習の型を、拡散モデルと組み合わせました。前向きのノイズ付加はマスキングとして実現され、マスクの割合を連続値tで表します。tが1.0なら全単語がマスクされた状態、0.0ならマスクのない完全な文です。tを少しずつ下げていくことが、ノイズ除去の過程にあたります。
80億パラメータのLLaDAは、同規模のMetaのLLaMA 3に匹敵し、ベンチマークによっては上回りました。インコンテキスト学習や指示に従う能力でも、自己回帰型と遜色ないと報告されています。詩の後ろの行から前の行を生成する課題ではGPT-4oを上回り、自己回帰型が陥りやすい逆転の呪いに強いことが示されました。
商用では、スタンフォード大学のStefano Ermon教授らが設立したInception Labsが、拡散型LLMのMercuryを発表しました。プログラミング支援に特化したMercury Coderは、NVIDIA H100クラスのGPUで毎秒1000トークン以上を生成でき、従来のTransformer型モデルより最大10倍高速だと同社は説明しています。GIGAZINEの記事では、あるプログラミング課題にMercury Coderが約6秒で回答したのに対し、Claudeは28秒、ChatGPTは36秒かかったという比較も紹介されています。Inception Labsは、拡散モデルは以前の出力に縛られずに回答を組み立て、途中で出力を洗練して誤りを直せる、とも述べています。
見直しの基準は、正しさではなくモデル自身の確信です
ここで、推敲という比喩を点検します。dLLMが手順ごとに何を見直すかといえば、多くの実装では、予測の確信が低い箇所をもう一度隠して当て直し、確信の高い単語は確定させていきます。直す対象を選ぶ物差しは、モデル自身の自信です。
すると、自信を持って書かれた誤りは、早い手順で確定し、そのまま残ります。自信のなさを基準に直す推敲は、声の小さい人の意見だけを差し戻す会議に似ています。自信たっぷりの間違いは、誰にも呼び止められずに通過します。途中の矛盾を直しやすいという性質が効くのは、その矛盾がモデルにとって確信の低さとして現れる場合です。学習データから自信を持って覚えた事実の誤りまで直せるわけではありません。どの程度の誤りが確信の低さとして現れるのかは、2025年3月時点では十分に調べられていません。
人の推敲が成り立つのは、何を目指して直すかという基準を書き手が持っているからです。目的、読み手、守るべき事実が決まっていて初めて、どこが足りないかが分かります。dLLMの推敲には、その基準がモデルの外から入ってきません。
AIの推敲にも、基準は外から渡します
使う側にできるのは、直す基準を言葉にして渡すことと、事実の確認を推敲とは別の作業として残すことです。論理の筋、読み手への届き方、守るべき用語や数字を基準として示し、その基準に照らして評価させます。事実の正しさは、元の資料に当たって確かめます。
この主張が弱まる場面もあります。コードの構文や、頭文字をそろえる、決まった語を必ず入れるといった、正しさが全体の整合性とほぼ重なる課題では、確信の低い箇所を直すことが、そのまま誤りを直すことに近づきます。dLLMが有利になる兆しがあるとされる課題が、ちょうどこの種類であるのは偶然ではないのかもしれません。
あなたがAIに文章を直させるとき、何を基準に直せと伝えているでしょうか。AIが自信を持って書いた一文を、あなたはどの段階で、何に照らして確かめているでしょうか。
この記事の土台にある、推敲の質は直す基準の明確さで決まるという考え方は、拙著『ChatGPT はじめてのプロンプトエンジニアリング』の6章2節「文章編集」にある「文章の評価」の項に書きました。論理構成、読みやすさ、読み手への訴求といった基準で点数をつけさせる使い方を示し、「完成した文章の評価や改訂にAIを活用します。」と書いた項です。この項を読むと、自分の文章の推敲で、どの基準を言葉にして渡せばAIの直し方が変わるのかを、自分で試しながら考えられるようになります。
AIの答えが物足りないとき、疑うべきはAIか、自分の言葉か。
『ChatGPT はじめてのプロンプトエンジニアリング』
AIは言葉でしか動かない。プロンプトを暗記するのをやめ、構成要素に分解して、自分の言葉で意図を込める力を鍛える本です。
読み終えたとき、手元に残るもの
- 必須、任意、形式の三つに分けたプロンプトの構造
- 回答の質を変える、意図を込めた生きたプロンプト
- 発注と検収は人が担う、AIとの役割分担
- 章末の演習プロンプト26題
4刷重版。全国の大学図書館65館が所蔵しています（2026年10月時点）。