技法の名前が増えても、なぜ効くのかはまだ説明されていない

58のテキスト技法、40のマルチモーダル技法、33の用語。数が増えると学問が進んだように見えますが、植物図鑑のページが増えても、どの草が薬になり、なぜ効くのかが分かるわけではありません。

この記事では、プロンプトエンジニアリングの主要なレビュー論文（サーベイ論文）をもとに、技術の系統、使われている分野、効果の測り方、残る課題を一つの地図にまとめます。そのうえで、この地図が示すいちばん大きな事実は技法の多さではなく、なぜ効くのかと、どう比べるのかという二つの空白だ、と読みます。2025年4月時点の文献にもとづく内容です。

プロンプトエンジニアリングは、モデルを変えずに入力で振る舞いを導く技術です

大規模言語モデル（LLM）や、画像も扱うマルチモーダルなモデルは、膨大なデータで事前学習されています。以前は、モデルを特定の仕事に合わせるには追加の学習（ファインチューニング）が主な手段でしたが、大きな計算資源とデータが要ります。そこで、モデルの中身を変えずに、入力の工夫だけで振る舞いを導く方法として、プロンプトエンジニアリングが発展しました。

レビュー論文では、プロンプトを設計し、試し、磨き、最適化して、モデルを正確で目的に合った出力へ導く技術と定義されています。効果的なプロンプトは、指示、文脈、入力データ、出力形式の指定、そして例から成ります。当初は直感と試行錯誤に頼る「技芸」とみなされていましたが、分類体系や最適化の枠組みが整い、体系的な「工学」へ移りつつあると評価されています。コードを書かずに自然言語でAIを使えるようにした点で、AI活用の入口を広げたとも言われます。

技法の地図には、五つの系統があります

レビュー論文で論じられる技術は、大きく五つの系統に分けられます。

基礎は、例を示さず指示だけで頼むゼロショットと、少数の例を添えるフューショットで、フューショットは例の選び方、数、順序に結果が左右されます。推論の強化には、途中の考えを書かせるChain of Thought（CoT）と、複数の推論から多数決をとる自己整合性、小問に分けて順に解くLeast to Most、思考の木などがあります。外部知識の統合には、資料を検索してから答えるRAGと、外部ツールを呼ぶ方法があります。自動化は、AI自身にプロンプトを生成させたり、進化計算や強化学習で最良のプロンプトを探したりする方向です。マルチモーダルでは、画像に矢印や枠を描いて指示する視覚プロンプトや、画像生成でのスタイル指定やネガティブプロンプトが研究されています。

応用は、要約、翻訳、質問応答から、コード生成、画像生成、医療、教育、サイバーセキュリティ、法律、金融まで広がっています。レビューが強調するのは、効くやり方が分野によって変わることです。医療では精度と安全、創作では独創性、ソフトウェアではコードの正しさが求められ、一つの型ですべてに対応することはできません。

地図の空白は、なぜ効くかと、どう比べるかの二つです

レビュー論文が共通して挙げる課題は五つです。言い回しや例の順序に敏感で、別のモデルや仕事にうまく移らないこと。ハルシネーション（もっともらしい誤情報）を完全には消せないこと。学習データの偏りを引き出してしまうこと。なぜそのプロンプトが効くのかを説明しにくいこと。そして、プロンプトインジェクションやジェイルブレイクといった攻撃です。

このうち、効く理由を説明しにくいという課題は、技法の目録の読み方を変えます。試行錯誤に名前を付けて表に並べると、工学に見えます。けれども、効く理由が説明できなければ、その技法が別のモデルや別の仕事でも効くかどうかは、試すまで分かりません。技法の一覧は、効く理由がまだ十分に分かっていない経験則の一覧として読むのが、いまの時点では正確です。

比べ方にも空白があります。出力の評価には、正確さ、意図との関連性、論理の流れと読みやすさ、網羅、一貫性、具体性、創造性、口調の合致などが使われますが、関連性や創造性は主観的で、人の評価には手間がかかり、既存の自動指標は意味の質を捉えきれません。同じプロンプトでも結果がぶれるので複数回の試行が要り、研究ごとに条件がそろっていないので結果を比べにくく、公開ベンチマークが学習データに混入する「データ汚染」も指摘されています。LLMに別のLLMの出力を採点させる方法も注目されていますが、受験生同士で答案を交換して採点させる教室に似ています。手間は減りますが、同じ癖を持つ者同士は、同じ誤りに丸を付けかねません。採点の偏りや提示順の影響が、実際に危うさとして挙がっています。

攻撃の課題には、根本的な緊張もあります。プロンプトエンジニアリングは、モデルが複雑な指示に忠実に従うことを目指しますが、攻撃はまさにその従順さを悪用します。指示に忠実なモデルほど、悪意のある指示にも忠実です。従順さと安全をどう両立させるかは、未解決の問いとして残っています。

押さえておきたい五本のレビュー論文

論文	主な焦点
A Systematic Survey of Prompt Engineering in Large Language Models	応用分野ごとに41以上の技術を分類
The Prompt Report	58のテキスト技術と40のマルチモーダル技術、33の用語集
Unleashing the potential of prompt engineering in Large Language Models	基礎から応用、画像系モデル、安全と評価
A Survey of Automatic Prompt Engineering	自動化を最適化の観点から体系化
A Survey of Prompt Engineering Methods for Different NLP Tasks	言語処理の課題ごとに技術を対応づけ

これらを総合すると、自動化とマルチモーダル化が大きな流れであり、評価、安全、倫理が依然として大きな課題である、という共通認識が浮かびます。今後の方向としては、効率化、分野への特化、ファインチューニングとの組み合わせ、道具を使って計画を立てるエージェントへの応用が挙げられています。

技法の名前で選ばず、自分の課題で比べて残します

効く理由が説明されていない以上、使う側にできる確かなことは、自分の課題で比べることです。手元の依頼を一つ選び、技法を使わない版と使った版を同じ入力で何回か出し、自分の仕事の物差しで比べ、効いたものだけを残します。技法名は、試す候補を探すための索引として使えば十分です。

ただし、すべての技法が同じように説明を欠いているわけではありません。段階的に考えさせる方法のように、多くの研究で効果が繰り返し報告されてきたものもあります。どの技法がどこまで確かなのかは、技法ごとにも、モデルの世代ごとにも違い、レビュー論文自身もまだ一つの答えを出していません。

あなたがよく使っているプロンプトの工夫のうち、使わない場合と比べて確かめたことのあるものは、いくつあるでしょうか。確かめていないものを、どの仕事で使い続けているでしょうか。

この記事の背景にある考え方は、拙著『ChatGPT はじめてのプロンプトエンジニアリング』の冒頭、本書の意図を述べた箇所に書きました。「プロンプトの暗記やコピペは不要です。」本書はプロンプトを構成要素に分解して構造で説明しているので、読むと、名前の付いた技法を覚える代わりに、目の前の依頼のどの要素を足し、どれを削るかを自分で考えられるようになります。

出典

• A Systematic Survey of Prompt Engineering in Large Language Models: Techniques and Applications（arXiv）
• The Prompt Report: A Systematic Survey of Prompting Techniques（arXiv）
• Unleashing the potential of prompt engineering in Large Language Models: a comprehensive review（arXiv）
• A Survey of Automatic Prompt Engineering: An Optimization Perspective（arXiv）
• A Survey of Prompt Engineering Methods in Large Language Models for Different NLP Tasks（arXiv）