推論とは

推論とは、学習を終えたAIモデルに入力を渡し、予測や文章などの出力を計算させる処理のことです。読みは「すいろん」、英語の inference をそのまま「インファレンス」と呼ぶこともあります。

機械学習用語集（Google for Developers）は、inference を「学習済みのモデルを、ラベルのない例に当てはめて予測をする過程」と定義しています。正解が分かっているデータで重みを合わせ込むのが学習、正解の分からない新しい入力に答えを出すのが推論、という分担です。

AIを「作る」側の仕事の多くは学習に、「使う」側の仕事のほとんどは推論にあたります。AIを組み込んだアプリを作る人が日常的に扱っているのは、ほぼ推論のほうです。

• 重みを変えるかどうか：学習では、出力と正解のずれが小さくなる向きに重みを少しずつ動かします。推論では重みを読むだけで、書き換えません。
• 頻度：学習はモデルを作るときや追加で調整するときにまとめて行います。推論は利用者がボタンを押すたび、APIが呼ばれるたびに発生します。
• 必要な計算：学習は大量のデータを何度も通すため、大きな計算資源を長い時間使います。推論は1回ずつは学習より軽いものの、利用者の数だけ繰り返されます。
• 誰が行うか：大規模なモデルの学習は提供元が行います。API経由で使う場合、推論も提供元のサーバーで走ります。料金は入力と出力のトークン量で決まる形が一般的です。

大規模言語モデル（LLM）の推論は、答えを一度に丸ごと出すのではなく、少しずつ伸ばしていく処理です。文章生成のガイド（Hugging Face Transformers）は、LLM がプロンプトと自分がそれまでに生成した出力をもとに次のトークンを生成し、決められた長さに達するか終了を表すトークンが出るまで続ける、と説明しています。

1. 入力文をトークンの列に変換する
2. モデルが入力全体を読み、次に来るトークンの確率を計算する
3. 確率をもとに1つ選び、入力の末尾につなげる
4. 終了のトークンが出るか、上限の長さに届くまで2〜3を繰り返す

出力が長いほど繰り返しの回数が増えるので、返答にかかる時間も伸びます。生成された分から順に画面へ流すストリーミング応答は、この性質を利用して待ち時間を短く感じさせる工夫です。

• APIを呼ぶ：アプリからモデルのAPIへ1回リクエストを送ると、提供元のサーバーで1回推論が走ります。返ってくる応答に入力と出力のトークン数が含まれていれば、それが課金やレート制限の計算の単位になります。
• 手元のマシンで動かす：公開されたモデルを自分のPCで動かす場合、Hugging Face Transformers では model.generate(**inputs, max_new_tokens=50) のように書きます。前述のガイドによれば、設定しないと既定で最大20トークンまでしか生成しないため、max_new_tokens を明示するよう勧められています。
• AIコーディングエージェントの1ステップ：エージェントは「ファイルを読む」「修正案を出す」「テスト結果を見て直す」のように、1つの依頼の中で推論を何度も呼び出します。1回の依頼が1回の推論とは限らない点が、推論コストの見積もりで効いてきます。

• 誤解：推論とはAIが論理的に考えること → 実際：機械学習の inference は、学習済みモデルで出力を計算する処理全般を指します。段階を追って考えさせる手法はChain of Thoughtなどと呼ばれ、別の話題です。
• 誤解：使っているうちにモデルが学習して賢くなる → 実際：推論は重みを更新しません。論文 Language Models are Few-Shot Learners でも、プロンプトに例を入れて作業させる方法を「勾配による更新やファインチューニングを行わない」使い方として扱っています。
• 誤解：同じ入力なら必ず同じ出力になる → 実際：次のトークンを確率に従って選ぶ設定では、同じ入力でも結果が変わります。揺らぎの大きさは温度パラメータなどで調整します。

• 出力の上限を決めておく：最大トークン数を設定しないと、想定より長い出力で時間とコストがかさむことがあります。
• 待ち時間を設計に入れる：推論にはレイテンシがあります。画面が固まったように見えないよう、読み込み中の表示やストリーミングを用意します。
• 同じ入力の繰り返しを減らす：長い前置きを毎回送るなら、コンテキストキャッシュのような再利用の仕組みがあるか確認します。

• 大規模言語モデル（LLM）
• トークン
• パラメータ
• レイテンシ
• コンテキストウィンドウ
• 推論コスト
• 学習データ
• ストリーミング応答

• AIコーディングエージェントの料金を抑える使い方
• 生成AIとは｜仕組み・できること・使い方を初心者向けに

• 機械学習用語集（Google for Developers）：inference・parameter などの定義
• 文章生成のガイド（Hugging Face Transformers）：トークンを順に生成する流れと、既定の生成長
• Language Models are Few-Shot Learners（arXiv:2005.14165）：重みを更新せずにプロンプトだけで作業させる方法を検証した論文

Q1. AIの推論とは何ですか？
学習を終えたAIモデルに入力を渡し、予測や文章などの出力を計算させる処理のことです。英語では inference と呼びます。チャットの返答1回やAPIのリクエスト1回がこれにあたります。

Q2. 学習と推論は何が違いますか？
学習はデータを使ってモデルの重みを書き換える段階、推論は重みを書き換えずに出力を計算する段階です。学習はモデルを作るときにまとめて行い、推論は使われるたびに発生します。

Q3. 推論と「AIが考えること」は同じ意味ですか？
同じではありません。機械学習の inference は出力を計算する処理全般を指します。問題を段階的に考えさせる reasoning も日本語では推論と訳されることがあるため、文脈で区別します。

Q4. 推論に時間がかかるのはなぜですか？
LLMは出力を1トークンずつ生成し、そのたびに計算を繰り返すためです。出力が長くなるほど待ち時間は伸びます。最大トークン数を決めたり、ストリーミングで少しずつ表示したりして対処します。