吹き替えの台本づくりで、担当者がAIに頼んだ。元の口の動きに完璧に合わせて訳してほしい、という注文だった。
返ってきた訳文は、元のセリフと同じ長さだった。
意味は、ところどころ元のセリフから離れていた。
AIは、音も、長さも、口調も、すべてを合わせにいった。注文に忠実に働いた結果、肝心の意味がこぼれた。
この台本で収録すれば、画面の人物は元と違うことを話す。完璧に合わせたはずの訳文は、どこで道を誤ったのか。
人の目と耳は、わずかなズレを見抜く
テレビの生中継で、声が口の動きより少し遅れて届く場面がある。見る人は、すぐに違和感を覚える。
国際電気通信連合(ITU)の勧告は、ズレに気づき始める目安を示している。音が映像より先なら、約45ミリ秒だ。
音が映像より遅れる場合は、約125ミリ秒である。0.1秒ほどのズレで、人は画面の不自然さに気づく。
リップシンク(Lip Synchronization)とは、口の動きと声のタイミングを合わせる技術だ。
目指すのは、画面の人がいま話している、と見る人が自然に感じる状態である。
言葉の使われ方は二つある。一つは、テレビや会議システムで音声を遅らせ、映像に合わせる音ズレ対策。
もう一つは、アニメ、ゲーム、アバター、吹き替えで、声に合わせて口の動きを作る技術。本記事は、口を作るほうを扱う。
目と耳がここまで鋭いなら、音も長さも口調も合わせたくなる。担当者の注文は、もっともな心配から出ていた。
「ぱ」「ば」「ま」が同じ口に見えるのはなぜか
謎を解く鍵は、口の動きを作る二つの単位にある。音素は、言葉の意味を区別する最小の音の単位だ。
パンとバンは、最初の /p/ と /b/ の違いで意味が変わる。/p/ と /b/ は、別々の音素である。
口素は、音素を発音するときに見える口の形を指す。
/p/、/b/、/m/ は、どれも唇を閉じて出す音だ。見た目は、同じ口素になる。
口素の数は、用途で変わる。2Dアニメの7種類ほどから、VRアバター向けの15種類まで幅がある。
音から口を作る向きは、音素ごとに口素を選べば決まる。
逆に、口から音を当てる向きはどうか。唇を閉じた形には、/p/、/b/、/m/ の三つの候補が残る。
読唇(口の動きから言葉を読み取ること)が難しい理由も、三つの候補にある。
音素から口素へは、多対一で畳める。口素から音素へ戻すと、候補が残る。
カラクリは単純だ。見る人が画面で確かめられるのは、口の形までである。
元の俳優が唇を閉じた瞬間に、訳文でも /p/、/b/、/m/ のどれかを置く。置けば、画面の見た目はそのまま残る。
訳文は、元の音をなぞる義務から外れる。同じ片道の対応は、裏返すと偽動画を見抜く手がかりにもなる。
声が /p/ を出す瞬間に唇が開いていれば、映像のどこかに手が加わっている。
音、長さ、口調の三つを並べた注文は、意味を後回しにする
同じ音、同じ長さ、同じ口調。三つを並べた注文では、条件どうしがぶつかる。
AIは、並べられた条件を、同じ重さで満たそうとする。どれを優先するかで迷う。
訳文が元のセリフから離れた理由も、条件のぶつかり合いにある。
見る人が確かめない音のために、守るべき意味を手放す。注文の書き方が招く、いちばん高くつく取り違えである。
守る条件と緩める条件を分けると、訳文は自由になる
条件の重さを決めるのは、AIではなく頼む人だ。
合わせたいのが口の形なら、唇を閉じる位置と大きく開く位置を、守る条件に置く。
全体の長さは、おおよそそろえる程度に緩める。口調は、意味を優先して選ばせる。
手順は三つだ。
- 合わせたいものを一つ決める。
- 守る条件を一行で書く。
- 緩める条件を一行で書く。
次の文面のかっこの中を、自分の仕事に書き換えて使える。
目的:(例:英語の動画を日本語に吹き替える台本を作ります)
守る条件:(例:元の俳優が唇を閉じる位置に、ぱ行、ば行、ま行の音を置いてください)
緩める条件:(例:セリフの長さは前後1割の幅で構いません。口調は意味を優先して選んでください)
AIに問う力とは、自分が何を合わせたいかを、頼む前に言葉にする力である。書き足すのは、たった二行だ。
完璧に、の一言に欠けていたもの
担当者の注文は、完璧に合わせて、の一言だった。
足りなかったのは、何に合わせるかの一行である。
拙著『ChatGPT はじめてのプロンプトエンジニアリング』の3章1節に、要素を組み合わせて全体像を渡しつつ、相反する条件を詰め込まない方法を書きました。読むと、同じ音、同じ長さ、同じ口調のように両立しにくい条件のうち、どれを優先するかを決められます。
AIの答えが物足りないとき、疑うべきはAIか、自分の言葉か。
『ChatGPT はじめてのプロンプトエンジニアリング』
AIは言葉でしか動かない。プロンプトを暗記するのをやめ、構成要素に分解して、自分の言葉で意図を込める力を鍛える本です。
読み終えたとき、手元に残るもの
- 必須、任意、形式の三つに分けたプロンプトの構造
- 回答の質を変える、意図を込めた生きたプロンプト
- 発注と検収は人が担う、AIとの役割分担
- 章末の演習プロンプト26題
4刷重版。全国の大学図書館65館が所蔵しています(2026年10月時点)。
出典
- リップシンク(Lip Sync)|用語集|テレビ会議のVTVジャパン
- リップシンク機能とはどのような機能ですか?(Sony JP)
- 音素(Wikipedia)
- リップシンク(Lip Sync)とは?口パクとの違い、やり方をわかりやすく解説!(XR CLOUD)
- Could Lip Sync AI Revolutionize Foreign Language Film Dubbing?(The AI Journal)
- Recommendation ITU-R BT.1359: Relative timing of sound and vision for broadcasting(ITU、1998年)

