AIの出力の合格の基準は、誰が決めるのか：差し戻しの理由を説明できる人は、会議室に一人もいなかった

あるチームで、AIが書いた顧客向けの回答文が差し戻しになった。

エンジニアは言った。「設計書どおりにプロンプトを磨きました」。

アーキテクトは言った。「細かい調整は、エンジニアに任せました」。

二人とも、自分の担当表どおりに働いていた。

差し戻しの理由を説明できる人は、会議室に一人もいなかった。

理由を言えないままなら、担当者が替わるたびに、評価も替わる。抜けていたのは、誰の仕事だったのか。

エンジニアは部品を、アーキテクトは組み合わせを見る

二つのプロンプトをA/Bテスト（二つの案を比べる試験）で比べ、効果を測る。プロンプトエンジニアの仕事だ。

プロンプトエンジニアは、一つひとつのプロンプトを設計して磨く専門家である。

プロンプトアーキテクトは、AIシステム全体で、プロンプトの組み合わせを設計する。

利用者の体験が、全体としてどうなるかを見る。

二つの役割の違いは、見る範囲の広さにある。

どちらの説明にも、出力の良し悪しを決める仕事は入っていない。会議室で誰も理由を言えなかった原因は、そこにある。

職人と建築家のたとえに、足りない登場人物

エンジニアは職人、アーキテクトは建築家。よくあるたとえだ。

建築には、もう一人の登場人物がいる。

施主だ。施主は、部屋の数、予算、優先することを決める。

建築家は、施主の要望を図面に変える。

プロンプトの仕事では、出力の合格の基準を決める人が施主である。施主は、最初の発注と最後の検収を担う。

A/Bテストで勝った方を採るにも、何で勝ち負けを測るかが先に要る。

合格の基準を欠いたA/Bテストは、審判を欠いた試合だ。両チームとも、自分の勝ちを言い張れる。

基準を欠くと、担当者の好みが物差しの代わりを務める。担当者が替わると、評価も替わる。

差し戻しの物差しの正体は、合格の基準だ

良い出力の定義とは、AIの出力を通すか差し戻すかを決める、合格の基準である。

顧客向けの回答文なら、料金の数字が料金表と一致するかが、合格の基準の一つになる。

基準を満たす出力は通し、外れた出力は差し戻す。

正確さか、速さか、言い回しの統一か。定義は、優先順位まで言葉にする。

AIを作る側も、基準を先に置く。Anthropicの公式の手引きは、AIを使う仕組みづくりの出発点を、成功の基準をはっきり決めることに置く。

基準を決め、基準に照らして性能を測る評価を設計する。手引きは、基準と評価の繰り返しを、プロンプト改良の中心に置く。

良い基準の条件として、手引きは、具体的であること、測れることを挙げる。

担当表に施主の名前を書けば、差し戻しの理由が言えるようになる

発注とは、何をどこまでAIに任せ、どんな形で返してほしいかを言葉にすることだ。

検収とは、返ってきた出力を基準に照らして、通すか差し戻すかを決めることである。

チームの担当表に、発注と検収を担う人の名前を書く。発注書には、合格の基準を書く欄を設ける。

次の文面のかっこの中を、自分のチームの仕事に書き換えて使える。

任せる仕事：（例：顧客の問い合わせへの回答文の下書き）
返してほしい形：（例：300字以内、です・ます調、最後に担当窓口を書く）
合格の基準：（例：1 料金の数字が料金表と一致する　2 言い回しが社内の用語集に沿う　3 回答までの手順が三つ以内）
発注と検収の担当：（例：カスタマーサポート課長）

一人でAIを使って仕事を回す場面では、同じ人が三つの役を兼ねる。

兼ねる人も、発注の前に合格の基準を書いておく。

差し戻しの理由は、発注書の基準の欄にある

差し戻された回答文を前に、エンジニアもアーキテクトも理由を言えなかった。

差し戻しの理由は、会議室で探すものではなかった。発注書の基準の欄に、先に書いておくものだった。

出典

• Define your success criteria（Anthropic、Claude開発者向け文書、2026年10月閲覧） https://platform.claude.com/docs/en/test-and-evaluate/define-success

この記事の考え方は、拙著『ChatGPT はじめてのプロンプトエンジニアリング』の1章3節、スマイルカーブ理論の節に書きました。この節を読むと、職種の名前ではなく、発注と検収を誰が持つかという点から、自分の組織のAIの使い方を見直せるようになります。