トークンとは

トークンとは、大規模言語モデルが文章を処理するときに扱う最小単位のことです。読み方は「とーくん」、英語では token と書きます。単語よりも細かく区切られることが多く、記号や空白が独立した1つのトークンになることもあります。

簡単に言うと、AIにとっての「文字のかたまり」です。人は文章を単語や文節で区切って読みますが、AIは自分の都合のよい区切り方で分解してから読みます。その区切りの1つ1つがトークンです。

AIは文章をそのまま理解しているわけではなく、トークンの並びを数値に置き換えて計算しています。この処理の流れは総務省 令和5年版情報通信白書「生成AIを巡る動向」でも、生成AIを支える基盤技術として説明されています。

区切り方を決めているのがトークナイザーと呼ばれる仕組みです。大量の文章を事前に調べ、「よく出てくる並び」ほどまとめて1つのトークンにするという規則を作ります。

この作り方には理由があります。単語ごとに区切ると、辞書にない新語や誤字を処理できません。かといって1文字ずつに区切ると、扱う個数が増えて計算が重くなります。よく出る並びだけをまとめる方式なら、その中間をとれるわけです。

そのため、日常的な語は1トークンに収まり、珍しい語や専門用語は複数のトークンに分かれます。同じ文章でも、モデルが違えば分割規則が違うので、トークン数は変わります。

たとえば「ありがとう」のようによく使われる語はまとめて扱われやすく、社名や商品名のような珍しい語は、いくつかの断片に分けられます。人が見れば1語でも、AIから見れば複数のトークンだということが普通に起こります。

混同しやすい3つの単位を並べて整理します。

注意したいのは、文字数とトークン数が比例しないことです。「文字数は同じなのに、片方だけ上限に当たる」ということが普通に起こります。

同じ内容でも、日本語のほうがトークン数が多くなりやすい傾向があります。分割規則は英語を含む多言語の文章から作られることが多く、英語の語はまとめて1トークンになりやすいのに対し、日本語は細かく分かれやすいためです。背景には、文字がコンピュータ上でどう表現されているかという事情もあります（MDN 用語集「文字エンコーディング」、MDN 用語集「UTF-8」）。

実務上の影響は2つです。1つは、同じ上限でも日本語では渡せる分量が少なくなること。もう1つは、同じ内容でも日本語のほうが費用がかさみやすいことです。正確な数はモデルごとに違うので、概算ではなく計測ツールで確かめてください。

多くのAPIサービスは、入力トークン数と出力トークン数に応じて課金します。つまり「長い資料をそのまま貼る」使い方は、そのまま推論コストに跳ね返ります。また、1回のやり取りに入る量にはトークン上限があり、超えた分は切り捨てられるかエラーになります。

減らし方の基本は3つです。関係のある箇所だけを渡すこと、同じ内容の繰り返しを削ること、そして長い会話を引きずらずに要点だけ持ち越すことです。

逆に言えば、トークン数を意識すると、AIの使い方そのものが整理されます。何を渡す必要があり、何は渡さなくてよいのかを決める作業は、そのまま指示を明確にする作業だからです。渡す情報を絞ったほうが、答えの精度が上がることも珍しくありません。

具体的な削減手順はAIコーディングエージェントの料金を抑える使い方：従量課金とトークン管理に、AIに情報を渡す設計そのものの考え方はプロンプトの基本｜AIに伝わる指示の書き方5つの型と良い例・悪い例にまとめています。

• 大規模言語モデル（LLM）
• トークナイザー
• トークン上限
• コンテキストウィンドウ
• 推論コスト
• パラメータ

• 生成AIとは｜仕組み・できること・使い方を初心者向けに
• AIコーディングエージェントの料金を抑える使い方：従量課金とトークン管理
• プロンプトの基本｜AIに伝わる指示の書き方5つの型と良い例・悪い例

Q1. トークンとは何ですか？わかりやすく教えてください。
大規模言語モデルが文章を処理するときに使う最小単位のことです。人が読む「単語」とは区切り方が違い、1つの単語が複数のトークンに分かれたり、記号や空白が独立したトークンになったりします。AIは文章を一度トークンの並びに変換してから読み書きしています。

Q2. 1トークンは何文字ですか？
決まっていません。区切り方はモデルごとの分割規則（トークナイザー）によって決まり、同じ文章でもモデルが違えばトークン数は変わります。英語では1単語がほぼ1トークンに収まることが多い一方、日本語は1文字が1トークン以上になることもあります。正確な数は各サービスの計測ツールで確認してください。

Q3. トークンと単語は何が違いますか？
単語は人が意味の区切りとして使う単位、トークンはモデルが計算しやすいように決めた区切りです。よく出てくる語はまとめて1トークンに、珍しい語は複数のトークンに分けられます。この分け方のおかげで、初めて見る語や誤字が来ても処理を続けられます。

Q4. トークンは利用料金とどう関係しますか？
多くのAPIサービスは、入力したトークン数と出力したトークン数に応じて課金する仕組みです。長い資料をそのまま貼り付けると、それだけ入力トークンが増えます。必要な箇所だけ渡す、繰り返し部分を削るといった工夫が、そのまま費用の節約になります。

Q5. 自分の文章が何トークンか調べる方法はありますか？
各AIサービスが公開しているトークン計測ツールや、開発者向けライブラリの数え上げ機能を使います。文字数からの概算はモデルによってずれるため、上限ぎりぎりの分量を扱うときは必ず実測してください。