吹き替えの訳文が自由になるカラクリ:「ぱ」「ば」「ま」は、画面の上では同じ口の形に見える

吹き替えの台本づくりで、担当者がAIに頼んだ。元の口の動きに完璧に合わせて訳してほしい、という注文だった。

返ってきた訳文は、元のセリフと同じ長さだった。

意味は、ところどころ元のセリフから離れていた。

AIは、音も、長さも、口調も、すべてを合わせにいった。注文に忠実に働いた結果、肝心の意味がこぼれた。

この台本で収録すれば、画面の人物は元と違うことを話す。完璧に合わせたはずの訳文は、どこで道を誤ったのか。

人の目と耳は、わずかなズレを見抜く

テレビの生中継で、声が口の動きより少し遅れて届く場面がある。見る人は、すぐに違和感を覚える。

国際電気通信連合(ITU)の勧告は、ズレに気づき始める目安を示している。音が映像より先なら、約45ミリ秒だ。

音が映像より遅れる場合は、約125ミリ秒である。0.1秒ほどのズレで、人は画面の不自然さに気づく。

リップシンク(Lip Synchronization)とは、口の動きと声のタイミングを合わせる技術だ。

目指すのは、画面の人がいま話している、と見る人が自然に感じる状態である。

言葉の使われ方は二つある。一つは、テレビや会議システムで音声を遅らせ、映像に合わせる音ズレ対策。

もう一つは、アニメ、ゲーム、アバター、吹き替えで、声に合わせて口の動きを作る技術。本記事は、口を作るほうを扱う。

目と耳がここまで鋭いなら、音も長さも口調も合わせたくなる。担当者の注文は、もっともな心配から出ていた。

「ぱ」「ば」「ま」が同じ口に見えるのはなぜか

謎を解く鍵は、口の動きを作る二つの単位にある。音素は、言葉の意味を区別する最小の音の単位だ。

パンとバンは、最初の /p/ と /b/ の違いで意味が変わる。/p/ と /b/ は、別々の音素である。

口素は、音素を発音するときに見える口の形を指す。

/p/、/b/、/m/ は、どれも唇を閉じて出す音だ。見た目は、同じ口素になる。

音素と口素の関係

口素の数は、用途で変わる。2Dアニメの7種類ほどから、VRアバター向けの15種類まで幅がある。

音から口を作る向きは、音素ごとに口素を選べば決まる。

逆に、口から音を当てる向きはどうか。唇を閉じた形には、/p/、/b/、/m/ の三つの候補が残る。

読唇(口の動きから言葉を読み取ること)が難しい理由も、三つの候補にある。

音素から口素へは多対一で畳めます。口素から音素へ戻すと候補が残ります。非対称は吹き替えに自由を、偽動画の検出に手がかりを与えます

音素から口素へは、多対一で畳める。口素から音素へ戻すと、候補が残る。

カラクリは単純だ。見る人が画面で確かめられるのは、口の形までである。

元の俳優が唇を閉じた瞬間に、訳文でも /p/、/b/、/m/ のどれかを置く。置けば、画面の見た目はそのまま残る。

訳文は、元の音をなぞる義務から外れる。同じ片道の対応は、裏返すと偽動画を見抜く手がかりにもなる。

声が /p/ を出す瞬間に唇が開いていれば、映像のどこかに手が加わっている。

音、長さ、口調の三つを並べた注文は、意味を後回しにする

同じ音、同じ長さ、同じ口調。三つを並べた注文では、条件どうしがぶつかる。

AIは、並べられた条件を、同じ重さで満たそうとする。どれを優先するかで迷う。

訳文が元のセリフから離れた理由も、条件のぶつかり合いにある。

見る人が確かめない音のために、守るべき意味を手放す。注文の書き方が招く、いちばん高くつく取り違えである。

守る条件と緩める条件を分けると、訳文は自由になる

条件の重さを決めるのは、AIではなく頼む人だ。

合わせたいのが口の形なら、唇を閉じる位置と大きく開く位置を、守る条件に置く。

全体の長さは、おおよそそろえる程度に緩める。口調は、意味を優先して選ばせる。

手順は三つだ。

  1. 合わせたいものを一つ決める。
  2. 守る条件を一行で書く。
  3. 緩める条件を一行で書く。

次の文面のかっこの中を、自分の仕事に書き換えて使える。

目的:(例:英語の動画を日本語に吹き替える台本を作ります)
守る条件:(例:元の俳優が唇を閉じる位置に、ぱ行、ば行、ま行の音を置いてください)
緩める条件:(例:セリフの長さは前後1割の幅で構いません。口調は意味を優先して選んでください)

AIに問う力とは、自分が何を合わせたいかを、頼む前に言葉にする力である。書き足すのは、たった二行だ。

完璧に、の一言に欠けていたもの

担当者の注文は、完璧に合わせて、の一言だった。

足りなかったのは、何に合わせるかの一行である。

拙著『ChatGPT はじめてのプロンプトエンジニアリング』の3章1節に、要素を組み合わせて全体像を渡しつつ、相反する条件を詰め込まない方法を書きました。読むと、同じ音、同じ長さ、同じ口調のように両立しにくい条件のうち、どれを優先するかを決められます。

AIの答えが物足りないとき、疑うべきはAIか、自分の言葉か。

ChatGPT はじめてのプロンプトエンジニアリング 表紙

『ChatGPT はじめてのプロンプトエンジニアリング』

AIは言葉でしか動かない。プロンプトを暗記するのをやめ、構成要素に分解して、自分の言葉で意図を込める力を鍛える本です。

読み終えたとき、手元に残るもの

  • 必須、任意、形式の三つに分けたプロンプトの構造
  • 回答の質を変える、意図を込めた生きたプロンプト
  • 発注と検収は人が担う、AIとの役割分担
  • 章末の演習プロンプト26題

4刷重版。全国の大学図書館65館が所蔵しています(2026年10月時点)。

Amazonで見る

出典

著者プロフィール・お問い合わせ