ストリーミング応答

ストリーミング応答とは、AIが文章を生成する際、全体が完成してから一括で表示するのではなく、生成された部分から少しずつ順番に画面に表示していく仕組みのことです。多くのAIチャットサービスで、文字が一文字ずつ流れるように表示されるのを見たことがある人も多いでしょう。

この仕組みの利点は、利用者が回答の完成を待つ間の体感速度が向上することです。特に長い回答を生成する場合、全部が完成するまで何も表示されないと待ち時間が長く感じられますが、少しずつ表示されることで、実際の処理時間が同じでも快適に感じられます。

AIコーディングエージェントを使った開発でも、長いコードや説明文を生成させる際にストリーミング表示がされることで、途中経過を見ながら「意図とズレていないか」を早い段階で確認し、必要であれば早めに中断して指示を出し直す、といった使い方ができます。

AIにコードの生成を依頼した際、コードが行ごとに画面に表示されていく様子は、ストリーミング応答の代表的な体験です。

• 大規模言語モデル（LLM）
• 温度パラメータ
• コンテキストキャッシュ
• レイテンシ
• レートリミット

Q1. 「ストリーミング応答」とは何ですか？
AIの回答が全部完成するのを待たず、生成された部分から順番に表示していく仕組みです。

Q2. 「ストリーミング応答」はどんな場面で使われますか？
AIにコードの生成を依頼した際、コードが行ごとに画面に表示されていく様子は、ストリーミング応答の代表的な体験です。

Q3. 「ストリーミング応答」と関連する用語は何ですか？
関連する用語として「大規模言語モデル（LLM）」・「温度パラメータ」があります。あわせて確認すると理解が深まります。