GPUとTPU、どちらが優れているのか。この問いには、どちらにしても何かに縛られる、という答え方がいちばん正確です。GPUの囲い込みはソフトウェアにあり、TPUの囲い込みはクラウドにある。性能とコストの比較表は、どの縛りを選ぶかを決めた後でしか役に立ちません。
GPUとTPUは、どちらもAIの大量の計算を速く処理するための専用チップ（AIアクセラレータ）です。この記事では、2025年時点の情報をもとに、両者の生まれ、設計、性能とコストの傾向を確かめたうえで、選ぶべきは速いほうでも安いほうでもなく、後から外せる縛りのほうかもしれない、という見方を示します。なお、ここでのTPUはGoogleのTensor Processing Unitのことで、同じ略称の樹脂素材（熱可塑性ポリウレタン）とは関係ありません。
生まれの違いが、売り方の違いになりました
GPUの出発点は3Dグラフィックスです。何百万もの画素に同じ単純な計算を同時に行うため、少数の強力なコアを持つCPUとは逆に、多数の単純なコアを並べる設計になりました。転機は2007年、NVIDIAがCUDAを発表したことです。C言語に近い書き方でGPUの並列処理を使えるようになり、GPUは汎用の並列計算機になりました。2010年代にディープラーニングが広がると、その中心の計算である大規模な行列の掛け算と足し算が、GPUの設計にぴたりと合いました。
TPUは、Google社内の差し迫った事情から生まれました。2014年ごろの試算で、全ユーザーが1日数分だけ音声検索を使うと、データセンターを2倍にする必要があると分かったのです。そこでGoogleは、ニューラルネットワークの計算に特化した専用回路（ASIC）を設計しました。2016年に発表された第1世代は推論専用で、AlphaGoがイ・セドル氏に勝った対局を支えました。第2世代から学習にも対応しています。
チップを売る会社と、チップを自分で使う会社。この出自の違いが、後で見る囲い込みの違いにつながります。
設計は、柔軟さと行列への特化で分かれ、互いに歩み寄っています
GPUは、一つの命令を数千のスレッドに同時に実行させるSIMTという方式で動き、分岐を含む多様な処理を扱えます。NVIDIAはVolta世代から、行列演算専用のTensorコアをGPUの中に組み込みました。汎用の設計の中に、特化部品を持たせた形です。
TPUの心臓部は、掛け算と足し算の装置を格子状に並べたシストリックアレイです。データが心臓の拍動のように格子を流れ、一度読み込んだデータを何度も使い回すため、時間と電力を食うメモリとのやり取りを最小限にできます。計算精度を8ビット整数やBFloat16に絞り、一つのチップにより多くの演算装置を詰め込んでいます。GPUは特化部品を足し、TPUは学習のために浮動小数点と柔軟さを足した。設計の差は、年を追うごとに縮まっています。
性能とコストの差は、測る場面で入れ替わります
絶対的な速さではGPUが先行します。NVIDIAとCoreWeaveは、3,584基のH100でGPT-3の学習を10.9分で終えた記録を出しました。Llama2-70Bの推論では、8チップのTPU v5eが毎秒約2,175トークンに対し、8基のH100は毎秒4,000〜5,000トークン以上とされます。一方、TPUはコストと電力で優位です。同じ比較でTPUのシステムの費用はH100の数分の一から十分の一程度とされ、TPU v5eの消費電力はH100の約5分の1と推定されています。大規模な学習をTPUで行うと、H100のクラスタより50〜70%安くなる可能性があるという見方もあります。
NVIDIAはチップを売る会社で、性能の記録が販売を後押しします。Googleは巨大なAIサービスとクラウドを運営する会社で、計算の総コストを下げることが利益になります。速さの記録とコストの試算は、それぞれの会社が勝ちやすい物差しで示されている、と読んでおくのが無難です。
本当の選択は、どの縛りなら後から外せるかです
GPUの囲い込みはソフトウェアにあります。CUDAと、cuDNNなどのライブラリ群が業界の標準になり、開発者がCUDAを学び、企業がその上に製品を作る循環が生まれました。ただしGPUそのものは、自社のデータセンターでも主要なクラウドでも使えます。TPUの囲い込みはクラウドにあります。開発者はTPUを直接プログラムするより、TensorFlow、PyTorch、JAXなどからXLAというコンパイラを通して使います。TPUは買って自社に置くことができず、Google Cloudでしか使えません。
性能表だけで選ぶのは、家賃と駅からの距離だけで物件を決め、契約書の解約条項を読まずに判を押すのに似ています。入居した後で効いてくるのは、出るときの条件です。
| 選択 | 縛られるもの | 後から外すときに要るもの |
| GPU | CUDAとそのライブラリに依存したコード | コードとライブラリの置き換え、開発者の学び直し |
| TPU | Google Cloudという利用場所 | 別のクラウドや自社設備への移転、XLAを通さない環境での動作確認 |
どちらの縛りが外しやすいかは、一律には決まりません。PyTorchやJAXのような上の層だけで書いている組織なら、下のチップを替える負担は比較的軽いかもしれません。CUDAのライブラリを直接深く使っている組織なら、GPUを離れる負担は重くなります。逆に、すでにGoogle Cloudにデータと業務が集まっている組織にとって、TPUのクラウドの縛りは追加の負担になりません。何を外しにくいかは、その組織がすでに何に縛られているかで変わります。
そのうえで、場面ごとの向き不向きは次のように整理されています。新しいモデル構造の研究、低レイテンシの推論、自社設置やハイブリッドにはGPU。大量のバッチ推論やJAX中心の開発にはTPU。確立したLLMの大規模学習は、速さならGPU、コストならTPUです。ただ、この表は、縛りを受け入れた後の比較であることを忘れないでおきます。
あなたの組織がいまAIの計算基盤で選ぼうとしているものは、三年後にやめたくなったとき、何を捨てればやめられるでしょうか。その捨てるものの大きさを、性能やコストの比較と同じ表に書き込んだことはあるでしょうか。
この記事の背景にある考え方は、拙著『GoogleのAI NotebookLM 意思決定の強化書』の4章5節「不確かな前提で進まないための安全確認」に書きました。取り返しのつかない不可逆決定と後から直せる可逆決定を分け、不可逆決定で影響の大きい前提に情報の空白があれば保留にする考え方で、「これは、誤った前提にもとづく不可逆決定を防ぐためのブレーキです。」と書いています。この節を読むと、技術の選定のような判断を、どこまでがやり直せる決定で、どこからがやり直せない決定かに分けて考えられるようになります。
同じ資料を見ているのに、なぜ結論が割れるのか。
『GoogleのAI NotebookLM 意思決定の強化書』
前提が結論を決める。意思決定を根拠、前提、結論の三層に分け、前提を対象、目的、制約、評価基準の四つで言葉にする本です。
読み終えたとき、手元に残るもの
- 意思決定の設計図になる前提リスト
- 資料を事実、意見、噂、ゴミに仕分けるFORT
- 同じ物差しで比べる選択肢表と採点表
- 始める条件と止める条件を書いた決定書
NotebookLMは2026年7月にGemini Notebookへ名称が変わりました。本の手法は、使うAIの種類を問いません。