レイテンシ

レイテンシとは、AIにリクエストを送ってから、最初の応答が返ってくるまでの遅延時間のことです。似た言葉に処理全体の完了までの時間を指す「応答時間」がありますが、レイテンシは特に反応の始まりまでの待ち時間を指すことが多い点が特徴です。

レイテンシは、モデルの規模、リクエストの内容の長さ、サーバーの混雑状況などによって変動します。ストリーミング応答（生成された部分から順番に表示する仕組み）を使うと、完了までの体感待ち時間を短く感じさせることができます。

チャット形式のAIアプリで、入力後にすぐ文字が表示され始める場合はレイテンシが低く、応答開始まで長く待たされる場合はレイテンシが高いと言えます。

• ストリーミング応答
• 推論
• レートリミット