LLM評価（Evals）の作り方：指標一覧表と最小構成
この記事の結論
- LLMの評価（Evals）は、評価セット20〜50件・1行で言い切った採点基準・スコアの記録の3点があれば始められます。
- 見る指標はタスクで変わります。分類なら正解率と適合率・再現率、自動処理なら形式順守率、文章生成ならルーブリック採点が基本です。
- 評価はモデル更新やプロンプト変更のたびに同じセットを流す回帰チェックとして運用します。記録が無いと改善か改悪かを判定できません。
LLMを業務に組み込むとき、「出力が本当に役に立っているか」を測る仕組みが評価（Evals）です。この記事では、評価セット20件から始める最小構成と、タスク別に何を測るかの指標一覧表、採点方法の選び分けを整理します。
最終更新: 2026-09-10・読了目安 約6分
評価（Evals）とは何を測るものか
最小構成：評価セット20件から始める
最初から大規模な仕組みを作る必要はありません。最小構成は次の3つだけです。
- 評価セット：実際に来る入力を20〜50件集め、期待する出力または合格条件を書き添えたもの。
- 採点基準：何をもって合格とするかを1行で言い切った基準（例「指定のJSON形式で、記載された事実だけを含む」）。
- 記録：日付・モデル・プロンプト版・スコアを1行ずつ残す表。スプレッドシート1枚で足ります。
この3つがそろって初めて、プロンプトを直したときに「良くなった」と言えるようになります。逆に、記録が無いまま手直しを続けると、変更が改善なのか改悪なのか誰にも分からなくなります。
評価指標の一覧表（何をどう測るか）
タスクの種類によって、見るべき指標は変わります。代表的な指標を用途とあわせて整理しました。
| 指標 | 何を測るか | 測り方 | 向くタスク |
|---|---|---|---|
| 正解率（Exact Match） | 出力が正解と完全一致した割合 | 正解データと文字列比較 | 分類・抽出・数値回答 |
| 適合率 / 再現率 | 拾いすぎ / 取りこぼしの度合い | 正解ラベルとの突き合わせ | 分類・検索・抽出 |
| 形式順守率 | 指定した形式（JSON等）で返せた割合 | パースの成否を機械判定 | API連携・自動処理 |
| ルーブリック採点 | 正確さ・網羅性など観点別の質 | 人またはAIが基準表で採点 | 要約・文章生成・回答 |
| 根拠一致率 | 出典に書かれた内容だけで答えたか | 引用箇所と出力を突き合わせ | 社内文書QA・RAG |
| 安全性の逸脱率 | 禁止した内容を出した割合 | 禁止パターンの検出と人の確認 | 顧客向け全般 |
| 再現性 | 同じ入力で結果がぶれない度合い | 同一入力を複数回実行して比較 | 自動処理全般 |
| コスト・応答時間 | 1件あたりの費用と待ち時間 | 実行ログから集計 | 運用中の全タスク |
すべてを一度に測る必要はありません。まずは「形式順守率」と「ルーブリック採点」の2つから始め、運用に乗ってからコストと応答時間を足していくと無理がありません。
採点方法の選び分け（自動・人・AI）
正解が一意に決まるタスクは自動採点が最も安く、速く、ぶれません。文章生成のように正解が1つに定まらないタスクでは、人によるチェックか、別のAIに基準表を渡して採点させる方法（LLM-as-a-judge）を使います。
AIによる採点を使う場合は、必ず一部を人がサンプル確認し、採点者側のAIが甘くなっていないかを見ます。採点を任せきりにすると、採点者の誤りが評価結果そのものを歪めます。基準表はプロンプトと同じく版を管理し、変えたら過去分を測り直します。
回帰チェックとして運用に組み込む
評価は一度やって終わりではありません。モデルの更新、プロンプトの変更、参照データの入れ替えのたびに同じ評価セットを流し、スコアが下がっていないかを見ます。これはAIが書いたコードのテストとレビューで扱う回帰テストと同じ考え方です。
評価の仕組みが無いまま運用すると、モデルの挙動やデータが変わったときの品質低下に気づけません。まずは20件の評価セットを月1回流すところから始め、事故が起きた入力を評価セットに足していくと、実務で効く評価セットに育っていきます。
関連記事・用語
用語の定義は評価（Evals）とベンチマークにまとめています。AIの出力を業務に組み込む際の確認観点はAIが書いたコードのテストとレビュー、安全面の観点はAIコーディングエージェント導入時のセキュリティチェックリスト 2026もあわせてご覧ください。指標そのものを軸別に引きたい方はLLM評価の指標一覧表：正確性・忠実性・有害性・コストをご覧ください。
よくある質問
Q1. 評価セットは何件くらい必要ですか？
まずは20〜50件で始めて問題ありません。件数よりも、実際に来る入力の傾向を反映していることと、合格条件が1行で言い切れていることのほうが重要です。運用しながら、失敗した入力を評価セットに足して育てていきます。
Q2. ベンチマークのスコアが高いモデルを選べば評価は不要ですか？
不要にはなりません。ベンチマークはモデル全般の実力を比較するための汎用の問題集で、自分たちの業務データでの使い勝手を保証するものではないためです。自分の評価セットで測り直してから判断してください。
Q3. AIに採点させる方法（LLM-as-a-judge）は信頼できますか？
基準表を明確にすれば実用になりますが、採点結果の一部を人が確認する運用は残してください。採点する側のAIにも誤りや偏りがあり、それに気づけないまま評価スコアだけが良く見える状態になり得ます。