パラメータとは

パラメータとは、AIモデルの内部にあって、学習によって値が決まる数値（重み）のことです。読みは「ぱらめーた」、英語の parameter です。

機械学習用語集（Google for Developers）は、parameter を「機械学習システムが自分で学習して決める、モデルの変数」と定義しています。同じ用語集で、学習を始める前にプログラマーが決める変数は hyperparameter（ハイパーパラメータ）として別に立てられています。

ところが、AIを使う現場では「パラメータ」がもう1つの意味でも使われます。APIに送るリクエストの中の設定項目です。このページでは、モデルの中の数値を「モデルのパラメータ」、リクエストの設定項目を「生成の設定値」と呼び分けます。

ニューラルネットワークは、入力の数値に重みを掛けて足し合わせる計算を何層も重ねた構造です。この重みの一つひとつがパラメータです。学習では、出力と正解のずれが小さくなる向きに、膨大な数の重みを少しずつ動かしていきます。

規模は数で表します。2020年の論文 Language Models are Few-Shot Learners は、1,750億個のパラメータを持つモデルを扱っています。公開モデルの名前に付く「7B」「70B」の B は billion（10億）の略で、70億、700億という意味です。

パラメータは、学習が終われば1つの大きなファイルとして保存されます。オープンウェイトのモデルを手元で動かすときにダウンロードするのが、この重みのファイルです。数が多いほどファイルも必要なメモリも大きくなるため、値を少ないビット数で持つ量子化という方法で軽くすることがあります。文章生成のガイド（Hugging Face Transformers）でも、大きなモデルを4ビットに量子化してメモリ使用量を抑える読み込み方が紹介されています。

APIのリクエストに書く次のような項目も、ドキュメントでは parameters と呼ばれます。

• max_tokens：出力の長さの上限。Messages API のリファレンス（公式ドキュメント）は、停止するまでに生成するトークン数の最大値であり、モデルはそれより前に止まることもある、と説明しています。
• temperature：出力のばらつき。仕組みは温度パラメータの項目で扱っています。
• top_p / top_k：次のトークンの候補をどこまで絞るか。

たとえば {"max_tokens": 1024, "temperature": 0.2} と送っても、変わるのはその1回の出力の出し方だけです。重みは1つも書き換わりません。手元で動かすモデルでは、これらの既定値が generation_config.json に書かれています。生成設定のリファレンス（Hugging Face Transformers）によれば、ファイルに値がなければ temperature は 1.0、top_k は 50、top_p は 1.0 が使われます。

• モデルのパラメータ（重み）：決めるのは学習そのもの。変えるには学習やファインチューニングの追加調整が要ります。
• ハイパーパラメータ：決めるのは学習を行う人。学習率、学習を回す回数、層の数など。学習の前に決めて、学習の進み方を左右します。
• 生成の設定値：決めるのはAPIを呼ぶ人。temperature や max_tokens など。リクエストごとに変えられ、その回の出力にだけ効きます。

「パラメータを調整した」という文を読んだら、学習し直したのか、APIの設定を変えただけなのかを確かめます。必要な手間も費用も大きく違うからです。

• 誤解：temperature を変えるとモデルが作り変わる → 実際：変わるのは次のトークンの選び方だけで、重みはそのままです。
• 誤解：パラメータ数が多いモデルほど、どんな作業でも上 → 実際：数は規模の目安です。学習データや追加調整の中身によって、得意な作業は変わります。応答の速さや利用料も合わせて比べます。
• 誤解：どのモデルでも同じ設定値が使える → 実際：受け付ける項目はモデルごとに違います。前述の Messages API のリファレンスには、一部の新しいモデルでは temperature に 1.0 以外を指定すると 400 エラーになる、と書かれています。

• 設定値は記録しておく：出力を比べるときは、モデル名と一緒に temperature や max_tokens の値も残します。どれを変えたせいで結果が変わったのか、後から追えるようにするためです。
• 1回に1つずつ変える：複数の設定値を同時に動かすと、効いたのがどれか分からなくなります。
• エラーはドキュメントで確かめる：設定値のせいでリクエストが弾かれたら、使っているモデルのページで受け付ける範囲を確認します。

• 大規模言語モデル（LLM）
• 推論
• オープンウェイト
• ファインチューニング
• 温度パラメータ
• 学習データ
• API

• 生成AIとは｜仕組み・できること・使い方を初心者向けに
• プロンプトが効かないときの直し方｜AIが的外れな回答をする原因と対処

• 機械学習用語集（Google for Developers）：parameter と hyperparameter の定義
• Language Models are Few-Shot Learners（arXiv:2005.14165）：1,750億パラメータのモデルを扱った2020年の論文
• 生成設定のリファレンス（Hugging Face Transformers）：temperature・top_k・top_p の既定値
• 文章生成のガイド（Hugging Face Transformers）：量子化してメモリ使用量を抑える読み込み方
• Messages API のリファレンス（公式ドキュメント）：max_tokens と temperature の仕様

Q1. AIのパラメータとは何ですか？
AIモデルの内部にあって、学習によって値が決まる数値（重み）のことです。「70億パラメータ」のように、モデルの規模を表す数としても使われます。

Q2. パラメータとハイパーパラメータは何が違いますか？
パラメータは学習によって自動で決まる値、ハイパーパラメータは学習を始める前に人が決める値です。学習率や学習を回す回数がハイパーパラメータの例です。

Q3. APIの temperature もパラメータですか？
APIのドキュメントでは parameters と呼ばれますが、モデルの重みとは別物です。リクエストごとに出力の出し方を変える設定値で、送ってもモデルの中身は変わりません。

Q4. 7Bや70Bとは何の数ですか？
モデルのパラメータの数です。B は billion（10億）の略なので、7B は70億、70B は700億を表します。数が大きいほど、動かすのに必要なメモリも大きくなります。