ある担当者が、会議の議事録から決定事項を抜き出すプロンプトを書いた。
担当者は、プロンプトを決まった項目で区切るデータの書式（JSON）に書き直した。返ってきた答えは、項目のそろった表になった。
見た目は、申し分ない。ところが、表の中身は発言の要約だった。
決定事項は、要約の中に埋もれていた。形は整ったのに、なぜ中身だけが違ったのか。
形式を替えただけで、正答率は42%動いた
形式でどれほど答えが変わるかを、確かめた研究がある。
2024年11月、マイクロソフトとマサチューセッツ工科大学（MIT）の研究者らが論文を出した。同じ内容を異なる形式でAIに与え、六つのベンチマークで性能を比べた。
対象は、GPT-3.5とGPT-4の系列の四つのモデルだ。
目を引くのは、国際法に関する大学レベルの試験問題の例だ。GPT-3.5の一つで、MarkdownからJSONに変えただけで、正答率が42%上がった。
Markdownは、見出しや箇条書きを記号で示す書き方を指す。中身は同じで、器だけを替えた結果である。
論文の要旨は、コードを別の言語に書き換える仕事でも、GPT-3.5の性能が形式によって最大40%変わると書く。
厄介なのは、最良の形式が一つに決まらない点だ。仕事ごとにも、モデルごとにも入れ替わる。
GPT-3.5はJSONを好み、GPT-4はMarkdownを好んだ。論文は、どこでも最良の形式はないと結論づけた。
GPT-4は、GPT-3.5より形式の違いの影響が小さい傾向も示した。
別の実験例もある。YAMLの注釈の行に途中の計算を書かせ、最後の値だけを項目に出させた。
YAMLは、字下げで項目の階層を示す書式である。JSONで答えだけを返させたときに誤った計算を、GPT-3.5は正しく解いた。
形式を軽く見れば、同じ中身でも正しい答えを取りこぼす。
五つの形式には、それぞれ見落としの癖がある
同じ指示でも、渡し方は選べる。
主な形式は五つ。箇条書き、散文、Markdown、YAML、JSONだ。
AIにとっての書き方は、手がかりになる。どこに注意を向け、どの順で考えるかの手がかりだ。
箇条書きは、一点ずつ注意を向けやすい。答えが断片的になる場合がある。
散文は、文脈やニュアンスを伝える。長文に埋もれた条件を、AIが見落とす場合がある。
Markdownは、見出しで役割や対象の区切りを示せる。
YAMLは、記号の数を抑えた形式だ。2023年7月、エンジニアのエリヤ・リフシッツが月の名前の一覧を出させて比べた。
YAMLはJSONより、AIが文章を数える単位（トークン）で48%、文字数で25%少なく済んだ。
JSONは、項目を厳密に区切れる。決まった形のデータを得る仕事に向く。
図の四つの組み合わせは、研究が報告した傾向である。手元の仕事で試し、答えが合う形式を残す。
議事録から決定事項を抜き出す仕事は、データの抽出だ。JSONは、図に照らしても外れていない。
議事録の要約は、形式のせいではなかった
では、要約が返ってきた原因は何か。
形式が動かすのは、正答率と返し方だ。答えの中身を決めるのは、何を頼み、どんな背景を渡すかである。
議事録のプロンプトでは、頼む中身があいまいだった。
決定事項を抜き出すのか、発言をまとめるのか。器を整えても、中に入れる物が決まっていなければ、AIは手近な要約で器を埋める。
形式より先に書くべき、頼むことと背景
プロンプトには、三つを順に書く。何を頼むか、どんな背景を渡すか、どんな形で返してほしいか。
三つのうち前の二つが、答えの中身を決める。形式が決めるのは、三つ目の返し方だ。
次のプロンプトのかっこの中を、自分の依頼に書き換えて使う。
## 頼むこと
（例：議事録から、会議で決まった事項だけを抜き出す）
## 背景
（例：来週の部会で、決定事項の進み具合を確かめる資料にします）
## 返し方
（例：JSON。項目は「決定事項」「担当者」「期限」の三つ）旅行かばんは、行き先と日数を決めてから選ぶ。プロンプトの形式も、頼む中身を決めてから選ぶ。
JSONの前に足す、たった一行
議事録の担当者が選んだJSONは、間違いではなかった。
担当者に要ったのは、JSONの前の一行だった。会議で決まった事項だけを抜き出す、という一行である。
拙著『ChatGPT はじめてのプロンプトエンジニアリング』は、AIに何を頼み、どんな背景を渡し、どんな形式で返してほしいかを順に考える入門書で、形式の使い分けを自分のプロンプトに落とし込めます。社内の研修や講演で取り上げたい場合は、講演と研修の案内をご覧ください。