ファインチューニングとは

ファインチューニングとは、すでに大量のデータで学習を終えたAIモデルに、特定のタスクや分野のデータを追加で学ばせ、重みを微調整する手法です。読みは「ふぁいんちゅーにんぐ」、英語の fine-tuning で、「微調整」と訳されることもあります。

土台になるのは、文章を読んで書く力を広く身につけた大規模言語モデル（LLM）です。この土台を作り直さずに、手元の例題を見せて癖を付け足すのがファインチューニングです。結果として、元のモデルとは別の「調整済みモデル」ができあがります。

モデルの中身は、膨大な数の数値（パラメータ）の集まりです。ファインチューニングでは、用意した入力と正解の組をモデルに解かせ、正解とのずれが小さくなる向きにパラメータを少しずつ動かします。

Hugging Face のTransformers の学習ガイドは、ファインチューニングを「ランダムな重みから始めない点を除けば事前学習と同じ」と説明し、計算量・データ・時間が大幅に少なくて済むとしています。

調整のかけ方は大きく2種類あります。

• フルファインチューニング：すべてのパラメータを更新します。効き目は強い一方、元のモデルと同じ大きさの重みをもう一組持つことになります。
• LoRA などの軽量な方式：元の重みは固定したまま、各層に小さな行列を差し込み、そこだけを学習します。LoRA の原論文（Hu ほか, 2021）では、GPT-3 175B での比較で学習対象のパラメータ数が約1万分の1、GPU メモリが約3分の1になり、推論の遅れも増えないと報告されています。

AI開発の現場でファインチューニングが選ばれるのは、プロンプトを工夫しても出力の型が安定しない場面です。

• 問い合わせの分類：受け付けた文面を「請求」「不具合」「要望」など決まったラベルだけで返させたい。
• 決まった形式での出力：社内の報告書テンプレートや、特定の JSON の形を毎回崩さずに書かせたい。
• コード生成の癖をそろえる：社内ライブラリの呼び出し方や命名規則に沿った書き方を定着させたい。

API 経由で行う場合、学習データは1行1件の JSONL で用意するのが一般的です。1行はたとえば {"messages":[{"role":"user","content":"返品したい"},{"role":"assistant","content":"分類: 請求"}]} のように、入力と望ましい応答の組になります。教師ありファインチューニングの公式ガイドでは、受け付ける最小件数を10件とし、まず丁寧に作った50件で試して結果を評価するよう勧めています。

自分の手元で動かすなら、Transformers の Trainer に学習用と評価用のデータを渡し、trainer.train() を呼ぶ形になります。AIコーディングエージェントにこの準備コードを書かせることもできますが、データの中身は人が確かめます。

• 誤解：社内資料を学習させれば、その内容を正確に答えられる
  実際：事実の知識を足す手段としては効きにくいことが報告されています。Ovadia ほか（2023）は、教師なしの追加学習ではLLMが新しい事実を身につけにくく、検索で補う方式が一貫して上回ったとしています。
• 誤解：データは多いほどよい
  実際：件数より質が効きます。表記ゆれや誤った正解が混じると、その誤りまで忠実に学びます。
• 誤解：一度調整すればずっと使える
  実際：土台のモデルが新しい版に替わると、調整は基本的に作り直しです。調整に使ったデータと手順を残しておくと、やり直しが楽になります。

• 評価の物差しを先に作る：調整前のモデルと比べられる評価の問題セットがないと、良くなったのか判断できません。前述の公式ガイドも、評価を整えてから投資するよう書いています。
• 学習用と確認用を分ける：集めたデータの一部を学習に使わずに取り置き、調整後の確認に回します。取り置く側も、学習側と同じくらい多様な例を含めます。
• 個人情報を混ぜない：学習データに入った文面は、出力に現れるおそれがあります。氏名や連絡先は伏せてから使います。

• 大規模言語モデル（LLM）
• 学習データ
• RAG（検索拡張生成）
• ファインチューニングとRAGの使い分け
• パラメータ
• データセット
• オープンウェイト
• 評価（Evals）

• Evals（LLM評価）の始め方｜評価セット20件から始める最小構成
• 生成AIとは｜仕組み・できること・使い方を初心者向けに
• プロンプトが効かないときの直し方｜AIが的外れな回答をする原因と対処

• Fine-tuning（Hugging Face Transformers ドキュメント）
• LoRA: Low-Rank Adaptation of Large Language Models（arXiv:2106.09685）
• 教師ありファインチューニングの公式ガイド（英語）
• Fine-Tuning or Retrieval? Comparing Knowledge Injection in LLMs（arXiv:2312.05934）

Q1. ファインチューニングとは何ですか？
学習済みのAIモデルに、用途に合わせた少量のデータで追加学習をかけ、重みを調整する手法です。土台のモデルを作り直すのではなく、手元の例題を見せて出力の癖を付け足します。

Q2. 事前学習とは何が違いますか？
学習の手順そのものは同じです。違うのは出発点で、事前学習はランダムな重みから始め、ファインチューニングは完成済みのモデルから始めます。そのため必要な計算量とデータ量がずっと少なく済みます。

Q3. 学習データは何件くらい必要ですか？
用途によって大きく変わります。API で行う教師ありファインチューニングの公式ガイドでは、最小10件から受け付け、まず丁寧に作った50件で試して評価するよう勧めています。件数を増やす前に、正解の質をそろえるほうが先です。

Q4. 社内の最新情報を答えさせたいときもファインチューニングですか？
多くの場合、先にRAGを検討します。追加学習では新しい事実が定着しにくいという研究があり、情報を更新するたびに学習し直す手間もかかるためです。出力の形式や口調をそろえたいときにファインチューニングが候補になります。