トークン上限とは
この記事の結論
- トークン上限とは、一度のリクエストや応答でAIが入出力できるトークン数の上限のことです。
- この記事では「トークンリミット・トークン制限との言い方の違い」「コンテキストウィンドウとの関係」「上限に当たったときの症状と対処」「日本語での注意点」を扱います。
- 最終更新 2026-09-11。
とーくんじょうげん
別の言い方：トークン制限／トークンリミット／トークン数の上限
一度のやり取りでAIが入出力できるトークン数の上限のことで、コンテキストウィンドウと密接に関わります。
最終更新: 2026-09-11
トークン上限とは何か（意味と読み方）
トークン上限とは、一度のリクエストや応答でAIが入出力できるトークンの数の上限のことです。読み方は「とーくんじょうげん」。英語の token limit をそのままカタカナにした「トークンリミット」、日本語に訳した「トークン制限」も、指しているものは同じです。
簡単に言うと、AIが一度に受け取れる荷物の大きさの限界です。宅配便の箱に入る量が決まっているのと同じで、決められた量を超えると入りきりません。入りきらなかった分は運ばれないので、エラーになるか、途中で切られた状態で返ってきます。
大規模言語モデルは文章をそのまま読むのではなく、トークンという細かい断片に分けてから処理します。この仕組みは総務省 令和5年版情報通信白書「生成AIを巡る動向」でも、生成AIの基盤となる技術として整理されています。上限が「トークン数」で決まっているのは、この処理単位に合わせているためです。
トークンリミット・トークン制限・レート制限はどう違うのか
紛らわしいのは、「トークン制限」という言葉が2つの別の意味で使われる点です。1回のやり取りに入る量の話なのか、一定時間あたりに使える量の話なのかで、対処がまったく変わります。
| 呼び方 | 何の上限か | 当たったときの症状 | 対処の方向 |
|---|---|---|---|
| トークン上限／トークンリミット | 1回のリクエストと応答に入るトークン数 | 入力が切り捨てられる、または長さ超過のエラー | 渡す文章を減らす・分割する |
| コンテキストウィンドウ | AIが一度に参照できる範囲全体（入力＋出力） | 会話の古い部分を忘れたように振る舞う | 会話を分ける・要点を再提示する |
| レート制限 | 1分・1日あたりに使えるトークン数やリクエスト回数 | しばらく待つよう促されて処理が通らない | 時間を空ける・リクエストをまとめる |
エラー文に「too long」「maximum context length」といった語が出ていれば1回あたりの上限、「rate limit」「too many requests」であれば時間あたりの上限です。どちらなのかを先に切り分けると、無駄な作り直しを避けられます。
上限に当たると何が起きるのか
厄介なのは、上限に当たったことがエラーとして表に出ないことがある点です。入力の古い部分が黙って切り捨てられ、AIは残った部分だけを見て、それらしい答えを返します。渡したはずの前提が消えているので、指示に従っていないように見えたり、ハルシネーションが起きやすくなったりします。
出力側の上限に当たった場合は、文章が途中で終わります。表やコードの生成を頼んだときに、末尾が欠けたまま返ってくるのがこの症状です。「続きを書いて」と頼めば続きは出ますが、長い成果物を一度に作らせる使い方自体を見直したほうが確実です。
トークン上限を超えたときの対処法
対処は「渡す量を減らす」か「渡し方を変える」かのどちらかです。症状ごとに、まず試す順番を整理します。
| 症状 | まず試すこと | それでも足りないとき |
|---|---|---|
| 長い資料を貼ったらエラーになる | 必要な章・該当箇所だけを抜き出して渡す | 章ごとに分けて渡し、最後に結果をまとめさせる |
| 会話が長くなって指示を忘れる | 新しい会話を始め、前提を要約して貼り直す | 前提をシステムプロンプトや設定ファイルに固定する |
| 生成された文章が途中で切れる | 出力する範囲を「まず目次だけ」のように分ける | 節ごとに生成して、あとで結合する |
| エラーログ全体が入らない | エラーの発生箇所とその前後だけを抜き出す | 同じ内容の繰り返し行を1件に減らしてから渡す |
| 社内文書が多すぎて渡しきれない | 質問に関係する文書だけを選んで渡す | RAGのように検索してから必要部分だけ渡す構成にする |
費用の面でも同じ工夫が効きます。渡すトークンが減れば推論コストも下がるため、長い文章を無条件に貼り付ける癖を直すだけで、上限と費用の両方の問題が同時に軽くなります。具体的な削り方はAIコーディングエージェントの料金を抑える使い方：従量課金とトークン管理で手順として説明しています。
日本語で使うときに気をつけたい点
同じ内容でも、日本語は英語よりトークン数が多くなりやすい傾向があります。文字をどう区切るかはモデルごとの分割規則で決まるため一律ではありませんが、背景には、文字がコンピュータ上でどう表現されているかという事情があります（MDN 用語集「文字エンコーディング」、MDN 用語集「UTF-8」）。
そのため「英語では入ったのに日本語では入らない」ということが起こります。上限に近い分量を扱うときは、実際のトークン数を計測ツールで確かめてから設計してください。
なお、社内資料や個人情報を含む文書を外部のAIサービスに渡す場合は、上限とは別に、取り扱いのルールを先に決めておく必要があります。業務での利用にあたっての考え方はIPA（情報処理推進機構）AIの推進が公開している資料が参考になります。
関連用語
関連記事
よくある質問
Q1. トークン上限とは何ですか？
一度のリクエストや応答で、AIが入出力できるトークン数の上限のことです。入力側（渡せる文章の量）と出力側（返せる文章の量）で別々に決められていることが多く、超えるとエラーになるか、内容が途中で切り捨てられます。
Q2. トークンリミットとトークン制限は何が違いますか？
指しているものは同じです。英語の token limit をそのままカタカナにしたのが「トークンリミット」、日本語に訳したのが「トークン制限」「トークン上限」です。文脈によっては、1分あたりの利用量の上限（レート制限）を「トークン制限」と呼ぶ場合があるので、数の上限の話か、速さの上限の話かを確かめてください。
Q3. トークン上限とコンテキストウィンドウの違いは何ですか？
コンテキストウィンドウは「AIが一度に見渡せる範囲の広さ」を表す言葉で、トークン上限はその範囲を数値の制約として表したものです。入力と出力の合計がコンテキストウィンドウに収まる必要があり、入力を詰め込みすぎると、その分だけ出力に使える枠が減ります。
Q4. トークン上限に当たったらどうすればよいですか？
渡す文章を減らすのが基本です。必要な箇所だけを抜き出す、要点を先に要約してから渡す、会話が長くなったら新しい会話に切り替える、作業を小さく分けて依頼する、といった対処があります。長い文書を扱う用途なら、検索で必要な部分だけ取り出して渡す方法もあります。
Q5. 日本語は英語よりトークンを多く使うのですか？
同じ内容でも日本語のほうがトークン数が多くなりやすい傾向があります。文字の区切り方はモデルごとの分割規則で決まるため一律ではありませんが、同じ上限でも日本語では渡せる分量が少なく感じられることがあります。実際の数は各サービスが提供する計測ツールで確認してください。