LLM評価の指標一覧表｜正確性・忠実性・有害性・コストの測り方まとめ

評価（Evals）の指標は数が多く、名前だけ並べても選べません。実務では「何が壊れると困るか」で軸を分けると決めやすくなります。この記事では次の4軸に分けて一覧にしました。

• 正確性：期待どおりの答えを返せているか。分類・抽出・自動処理で最初に見る軸。
• 忠実性：与えた資料の範囲で答えているか。社内文書に答えさせる用途で最重要の軸。
• 有害性・安全性：出してはいけないものを出していないか。顧客に見せる前に必ず1回通す軸。
• コスト・応答時間：運用が続く条件を満たしているか。運用に乗ってから継続的に見る軸。

評価セットの作り方・採点基準の決め方・記録の残し方といった「始め方」は、LLM評価（Evals）の作り方：指標一覧表と最小構成にまとめています。この記事は、そこで選んだ指標を細かく引くための対の記事です。

正解が一意に決まるタスクで使う指標です。自動採点が効くので、まずここから仕組み化すると費用対効果が高くなります。

形式順守率はJSONなど機械が読む形式で返させるときの生命線です。ここが低いまま自動処理に載せると、後段のエラー処理で費用と時間の両方を失います。

社内文書やマニュアルを参照させる用途（RAG）では、正しいことを言っているかより「渡した資料に書いてあることだけを言っているか」が重要になります。

出典外主張率はハルシネーションの実害をそのまま数える指標です。「もっともらしいが資料に無い一文」を1件も許容できない用途では、この指標を合否の基準に使います。

この軸は、自社で「何が禁止か」を先に文章にしないと測れません。定義が無いまま測ろうとして止まるのが、最も多い失敗です。

攻撃サンプルの分類は、OWASP LLM01:2025 Prompt Injection と NIST AI 100-2 E2025（Adversarial Machine Learning） が出発点になります。個人情報の定義は 個人情報保護委員会の解説 を参照してください。対策そのものはプロンプトインジェクション対策の一覧表 2026にまとめています。

品質が足りていても、費用と待ち時間が許容範囲を超えれば運用は止まります。実行ログから機械的に集計できる軸なので、最初に自動化しておくと後が楽になります。

費用の考え方は推論コストとAIコーディングエージェントの費用管理もあわせてご覧ください。

この記事で挙げた分類・用語の出どころです。いずれも公的機関または標準化団体が公開している一次情報です。

始め方はLLM評価（Evals）の作り方：指標一覧表と最小構成、用語の定義は評価（Evals）とベンチマークにまとめています。ツールを呼ばせる設計はAIエージェントのツール呼び出し設計チェックリスト、攻撃への備えはプロンプトインジェクション対策の一覧表 2026もあわせてご覧ください。

Q1. 4つの軸のうち、どれから測ればよいですか？
自動処理に組み込むなら正確性の「形式順守率」から、社内文書に答えさせる用途なら忠実性の「根拠一致率」から始めるのが実務的です。有害性は顧客に出す前に必ず1回通し、コストは運用に乗ってから継続的に見ます。すべてを同時に始める必要はありません。

Q2. 指標のスコアは何点あれば合格ですか？
共通の合格ラインはありません。合格ラインは用途ごとに決めるもので、形式順守率は自動処理ならほぼ100%が必要ですが、下書き支援なら多少崩れても実害は小さいままです。まず現状値を測り、事故が起きたときの損害の大きさから逆算して基準を置いてください。

Q3. 指標を増やすほど評価の質は上がりますか？
上がりません。指標が増えるほど集計と解釈のコストが増え、どれを見て判断するのかが曖昧になります。判断に使う指標は用途ごとに2〜3個へ絞り、残りは事故が起きたときに原因を切り分けるための補助として置いておくのが現実的です。

この記事は無料で読める入門です。より体系的に、実際に手を動かしながら学びたい方は全12週のシラバスをご覧ください（無料で読めます。成果をお約束するものではありません）。先行案内はこちら。