トークン

トークンとは、大規模言語モデルが文章を処理するときに使う最小単位のことです。人間は文章を単語や文の単位で読みますが、AIモデルの内部ではさらに細かく「トークン」という断片に分解してから処理します。英語では単語1つが1トークン前後になることが多い一方、日本語は文字の組み合わせによってトークンの区切られ方が変わり、同じ文字数でも英語よりトークン数が多くなる傾向があります。

AIサービスの利用料金や、一度に処理できる文章の長さの上限は、多くの場合このトークン数を基準に決められています。「文字数」ではなく「トークン数」で制限されているため、日本語の文章は見た目の文字数以上にトークンを消費しやすい、という点は知っておくと役立ちます。

AIコーディングエージェントを使う際も、渡すコードの量や会話の長さが増えるほどトークン数がかさみ、コンテキストウィンドウ（一度に扱える範囲）を圧迫します。長い会話や大きなファイルを扱うときにAIの精度が落ちたと感じたら、トークンの消費状況が関係していることがあります。

「こんにちは」という日本語の挨拶も、内部的には複数のトークンに分解されて処理されます。長い仕様書やソースコードをAIに読み込ませるときは、トークン数の上限を意識してファイルを分割することがあります。

• 大規模言語モデル（LLM）
• コンテキストウィンドウ
• 推論
• トークン上限
• パラメータ

• 生成AIとは何か？初心者向けにやさしく解説

Q1. 「トークン」とは何ですか？
AIが文章を処理する際に扱う最小単位で、単語よりも細かく区切られることが多い文字列の断片です。

Q2. 「トークン」はどんな場面で使われますか？
「こんにちは」という日本語の挨拶も、内部的には複数のトークンに分解されて処理されます。長い仕様書やソースコードをAIに読み込ませるときは、トークン数の上限を意識してファイルを分割することがあります。

Q3. 「トークン」と関連する用語は何ですか？
関連する用語として「大規模言語モデル（LLM）」・「コンテキストウィンドウ」があります。あわせて確認すると理解が深まります。