2025/02/19 更新 2026/10/25

AI用の機材選びで、型番を比べる前に決めること：1時間の会議は、買うという前提を一度も問わなかった

会議で、担当者が三枚の比較表を配った。H100、A100、RTX 4090の表だ。

議論は、どの型番にするかで一時間続いた。

性能の差も、価格の差も、表にはきれいに並んでいた。

一時間のあいだ、買うかどうかを問う声はゼロ。

会議は、どこで道を外れたのか。

比較表の数字は、止まったGPUの上では損に変わる

比較表に並んだ製品の違いは、はっきりしている。数値と価格は、2025年初め時点の目安である。

H100は、Hopperアーキテクチャの最上位だ。巨大な言語モデルの学習や、HPC（大規模な科学技術計算）に向く。

A100は、一つ前のAmpere世代の代表格。MIGという機能で、1枚のカードを複数の独立したGPUに分けて使える。

RTX 4090は、ゲームや映像制作向けで、約1,500〜2,000ドル。メモリ容量とデータセンター向けの機能に、制約がある。

L40Sは、グラフィックスと推論を両立させる、費用を抑えたサーバー向けだ。

H100は巨大な言語モデルの学習やHPC向け、A100は学習も推論もこなす汎用型、RTX 4090はゲームや映像制作と手頃な推論向け、L40Sはグラフィックスと推論を両立するサーバー向け

GPU同士をつなぐ通信の帯域にも、差がある。NVIDIAの公式仕様では、H100のNVLinkは900GB/s、A100は600GB/sだ。

RTX 4090は、PCIeで約64GB/s。十倍前後の開きである。

差は大きい。ただし、差が効くのは、GPUが動いている時間だけだ。

年に数週間だけ回す学習のために、最上位のGPUを買う。年に一度の引っ越しのために、トラックを買うのと同じだ。

買ったGPUが止まっている時間は、払った費用の無駄になる。稼働率が低いまま持てば、比較表の差は、そのまま損の大きさに変わる。

では、型番を比べる前に、会議は何を並べるべきだったのか。

型番の前に並ぶのは、買う、借りる、外のサービスで使う、見送るの四つだ

答えの手がかりは、逆の場面にある。毎日24時間推論を回すなら、借り続ける費用が、持つ費用を上回ることもある。

買うほうが得な会社もあれば、借りるほうが得な会社もある。分かれ目は、型番の表のどこにも書いていない。

カラクリは単純だ。型番の比較は、GPUを持つと決めた後の比較である。

家電の売り場で型番を見比べるのは、買うと決めた客だ。H100、A100、RTX 4090、L40Sのどれを選んでも、自社で持つ前提は変わらない。

持つと決める前に並ぶのは、四つの選択肢だ。

買って自社で持つのは、三つがそろうときである。負荷が一年中高いこと、データを社内に置くこと、運用する人がいること。

クラウドでGPUを借りるのは、負荷が時期によって大きく変わるときだ。試しながら規模を決めたいときも、借りる。

学習済みのモデルをAPI（外のサービスを呼び出す窓口）で使うのは、自社で学習させる場面がゼロのときである。

「いまは見送る」が向くのは、何に使うかの目的を決める前の段階だ。

型番を比べる前に、買って持つ、クラウドで借りる、APIで使う、いまは見送る、の四つが並び、H100か4090かを比べるのは持つと決めた後です

どの規模から買うほうが得かは、会社ごとに違う。自社の稼働の見込みと、計算する時点の価格を並べて計算する。

AIに頼むと、きれいな表が前提ごと固まる

AIに「H100とA100とRTX 4090を比べて」と頼む。きれいな比較表が、すぐに返る。

返るのは、持つという前提の内側だけを比べた表だ。

あの会議の一時間が、数秒で再現される。表が整っているほど、前提を疑う声は出にくい。

差がつくのは、比較表を頼む前の一手である。

頼む前に、四つの前提を書き添える

頼む前に、決めたいのが型番か、持つかどうかかを言葉にする。

持つかどうかを決めたいなら、前提を四つ書き添える。稼働の度合い、データの扱い、使う期間、運用する人だ。

次のプロンプトのかっこの中を、自分の計画に書き換えて使える。

GPUを（例：社内の文書検索AI）に使う方法を比べてください。
選択肢：買って自社で持つ、クラウドで借りる、APIで使う、いまは見送る
稼働の度合い：（例：平日の日中だけ、社員300人が使います）
データの扱い：（例：顧客の契約書を扱います。社外へ出す範囲は決めてあります）
使う期間：（例：まず1年試します）
運用する人：（例：社内の情報システム担当は2人です）
お願い：選択肢ごとに、年間の費用の目安と決め手を並べてください。

持つと決めたら、型番を比べる。借りると決めたら、サービスを比べる。