生成AI基礎

レイテンシとは

この記事の結論

れいてんしー／Latency

リクエストを送ってから応答が返ってくるまでの待ち時間のことです。AIでは、最初の文字が出るまでと、回答が出そろうまでに分けて測ります。

最終更新: 2026-09-26

レイテンシとは（意味と読み方）

レイテンシとは、リクエストを送ってから応答が返ってくるまでの待ち時間のことです。読み方は「れいてんしー」、英語では latency と書き、「遅延」と訳されます。

もとはネットワークの言葉です。MDN Web Docs の用語集「レイテンシー」は、要求されたリソースが目的地に届くまでにかかる時間と説明し、低いほど良い状態としています。

生成AIの文脈では、モデルがプロンプトを処理して出力を作り終えるまでの時間も含めて呼びます。モデルの大きさ、プロンプトの複雑さ、動かしている設備などで変わります（レイテンシを減らす方法（公式ドキュメント））。

AIのAPIを呼んだときの待ち時間は、ざっくり3つに分けられます。

測るときの指標は2つです。最初の1トークンが届くまでの時間は TTFT（Time to First Token）と呼ばれ、画面に何かが出始めるまでの速さを表します。もう1つは回答が出そろうまでの全体の時間です。

OpenAI の手引きは、トークンの生成がほとんどの場合もっとも時間のかかる工程だとし、出力トークンを半分にすると待ち時間もおよそ半分になりうる一方、プロンプトを半分にしても改善は1〜5%ほどに留まることがあると書いています（レイテンシ最適化の手引き（公式ドキュメント））。

まず測ります。JavaScript なら呼び出しの前後で performance.now() を取り、差を記録するだけで、どこに時間がかかっているかの見当がつきます。

誤解：プロンプトを削れば速くなる → 実際：効果はあっても小さいことが多いです。待ち時間を大きく左右するのは出力の長さなので、先に回答を短くできないかを考えます。
誤解：ストリーミング応答にすれば処理が速くなる → 実際：縮むのは最初の文字が出るまでの時間で、回答全体を作る時間はほとんど変わりません。変わるのは体感です。
誤解：出力の上限を小さくすれば手軽に速くなる → 実際：上限に達した回答は文の途中で切れます。Anthropic のドキュメントも、答えが冒頭に来る短い回答向けの粗い手段だとしています。

先に品質を固める：Anthropic のドキュメントは、まず制約なしでうまく動くプロンプトを作り、その後で短縮を試すよう勧めています。最初から削ると、到達できる品質が分からなくなります。
回答の長さを指示する：「3文で」のように文や段落の数で指定します。
順番に依存しない呼び出しは並べる：互いの結果を待たない処理なら、同時に呼ぶことで全体の待ち時間を減らせます。
AIを使わない選択肢も考える：答えの形が決まっている判定なら、ふつうのプログラムのほうが速いことがあります。

Q1. レイテンシとは何ですか？
リクエストを送ってから応答が返ってくるまでの待ち時間のことです。低いほど待たずに済む良い状態を指します。AIでは、モデルが回答を作る時間も含めて呼びます。

Q2. TTFTとは何ですか？
Time to First Token の略で、リクエストを送ってから回答の最初の1トークンが届くまでの時間です。ストリーミングで表示する画面では、利用者の待たされた感覚に直結します。

Q3. AIの応答を速くするにはどこから手を付ければよいですか？
まず出力の長さを見直します。多くの場合、待ち時間の大半は回答の生成にかかっているためです。次に速いモデルへの切り替え、表示の工夫としてストリーミングを検討します。

Q4. レイテンシが低いほど良いモデルですか？
速さと回答の質は別の軸です。速いモデルでは難しい作業の質が足りないこともあります。作業ごとに、許せる待ち時間と必要な質の両方を決めてから選びます。