トークン上限

トークン上限とは、一度のリクエストや応答でAIが入出力できるトークン数の上限のことです。コンテキストウィンドウが「AIが参照できる範囲」を表すのに対し、トークン上限はより具体的に「入力側」「出力側」それぞれに設けられた数値の制約を指すことが多い言葉です。

入力側のトークン上限を超える量の文章や資料を一度に渡そうとすると、エラーになったり、内容が途中で切り捨てられたりします。長い文書を扱う際は、要約してから渡す、分割して渡すといった工夫が必要になります。

長大なログファイルをそのままAIに渡そうとしてエラーになった場合、該当する部分だけを抜粋して渡すことでトークン上限の制約を回避できます。

• トークン
• コンテキストウィンドウ
• 推論コスト

Q1. 「トークン上限」とは何ですか？
一度のやり取りでAIが入出力できるトークン数の上限のことで、コンテキストウィンドウと密接に関わります。

Q2. 「トークン上限」はどんな場面で使われますか？
長大なログファイルをそのままAIに渡そうとしてエラーになった場合、該当する部分だけを抜粋して渡すことでトークン上限の制約を回避できます。

Q3. 「トークン上限」と関連する用語は何ですか？
関連する用語として「トークン」・「コンテキストウィンドウ」があります。あわせて確認すると理解が深まります。