評価・安全性

evals（イーバルズ）とは

この記事の結論

evals（イーバルズ）とは evaluations の略で、AIの出力が自分たちの目的にどれだけ役立っているかを継続的に採点する取り組みのことです。
この記事では「読み方と語源」「ベンチマークとの違い」「評価方法の使い分け」「20件から始める最小構成」を扱います。
最終更新 2026-09-11。

イーバルズ／evals（evaluations の略）・日本語では「評価」

別の言い方：evaluations／評価セット

自分たちの目的に合わせて、AIの出力が実際に役立っているかを継続的に測定・確認する取り組みです。evals（イーバルズ）の意味を、初心者向けにやさしく解説します。

最終更新: 2026-09-11

evals（評価）とは何か（意味と読み方）

evals（評価）とは、AIモデルやAIを組み込んだシステムの出力が、自分たちの目的にどれだけ役立っているかを、継続的に測定・確認する取り組みのことです。読み方は「イーバルズ」。英語の evaluations（評価）を短くした言い方で、日本語では単に「評価」と呼ばれます。

簡単に言うと、AIの通信簿を自分たちで作る作業です。市販の模試の点数ではなく、自分たちの仕事で出す問題を解かせて、使いものになるかを確かめます。

なぜ必要かというと、AIの出力は「動く・動かない」で切り分けられないからです。通常のプログラムなら、想定どおりに動けば合格です。AIの場合は、それらしい答えが返ってくる一方で、ハルシネーションのように事実と違う内容が混ざります。良し悪しを測る物差しを自分で用意しないかぎり、品質が落ちても誰も気づけません。

evalsとベンチマークは何が違うのか

よく混同されるのがベンチマークです。どちらも「測る」ことに変わりはありませんが、測る目的が違います。

evals（評価）とベンチマークの違い
観点	ベンチマーク	evals（評価）
目的	モデル全般の実力を横に比べる	自分たちの用途で使えるかを確かめる
問題	公開された共通の問題集	自分たちの現場で実際に来る入力
合格の基準	スコアの高低	業務として許容できるかどうか
回す頻度	モデルが新しくなったとき	継続的（変更のたび・定期的に）
主に使う人	モデルを選ぶ人	システムを運用する人

実務ではどちらも使います。まずベンチマークで候補を絞り、そのうえで自分たちの評価セットにかけて、実際の用途に合うかを判断する、という順番です。ベンチマークの成績が良いモデルが自社の業務でも良いとは限りません。

どうやって評価するのか（方法の使い分け）

評価方法は、その問題に「1つの正解があるか」で選び方が変わります。

評価方法の使い分け
方法	向いている問題	長所	気をつける点
自動採点（完全一致・数値比較）	分類、抽出、計算など正解が定まるもの	速い・何度でも回せる	表記ゆれで不合格になりやすい
チェックリスト採点	必須の要素が決まっている文章生成	基準を人と共有しやすい	項目の設計に手間がかかる
人による採点	文章の質、言い回し、業務適合性	最終的な基準になる	件数を増やしにくい・ぶれる
AIによる採点（LLM-as-a-judge）	正解が1つに定まらない文章生成	人手より多くの件数を回せる	採点自体が誤るので抜き取り確認が要る

測る観点そのものは、正確性・忠実性・安全性・応答時間・費用などに分かれます。観点ごとの具体的な測り方はLLM評価の指標一覧表｜正確性・忠実性・有害性・コストの測り方まとめに一覧としてまとめています。

最小構成での始め方

評価は、仕組みを整えてから始めようとすると、いつまでも始まりません。次の順で最小構成を作るのが現実的です。

実際の入力を20件集める：現場で本当に来た依頼や質問を使います。うまくいかなかった例を必ず混ぜます。
合格の条件を先に書く：「この語が含まれること」「この件は答えずに担当へ回すこと」のように、後から判定できる形にします。
1回目を回して現状を記録する：この数字が基準線になります。改善したかどうかは、この線と比べて判断します。
変更のたびに同じ20件を回す：指示文の修正、モデルの変更、参照文書の追加など、何を変えたときも同じ問題で測ります。
落ちた例を評価セットに足す：見つかった失敗をそのまま問題として追加すると、同じ失敗の再発に気づけます。

この最小構成の手順はLLM評価（Evals）の始め方｜評価セット20件から始める最小構成で、実際の作り方に沿って説明しています。ソフトウェアのテストで言えば、評価セットはリグレッションテストにあたる位置づけです。

評価を続けるうえでの注意点

評価は一度きりでは意味がありません。参照する文書が増えたり、指示文を変えたり、モデルが更新されたりすれば、出力は変わります。AIのリスク管理の枠組みとして広く参照されるNIST AI Risk Management Frameworkでも、測定（Measure）は運用の中で繰り返す活動として位置づけられています。

もう一つ、評価セットに個人情報や社外に出せない資料が混ざりやすい点です。実際の入力を集める以上、扱いのルールを先に決めておく必要があります（個人情報保護委員会法令・ガイドライン等）。組織としての進め方はIPA（情報処理推進機構）AIの推進の資料が参考になります。

第三に、評価の結果をガードレールの設計につなげることです。落ちた例は、そのまま「出してはいけない出力」の具体例になります。測って終わりにせず、止める仕組みに反映してください。

よくある質問

Q1. evals（評価）とは何ですか？
自分たちの目的にとって、AIモデルやAIを組み込んだシステムの出力がどれだけ役立っているのかを、継続的に測定・確認していく取り組みです。導入して終わりにせず、実際の出力を定期的に測り続ける点が中心にあります。

Q2. evalsの読み方と意味を教えてください。
「イーバルズ」と読みます。英語の evaluations（評価）を短くした言い方で、evaluation の複数形にあたります。日本語では単に「評価」と呼ばれることも多く、開発の現場では「評価セット」「評価を回す」といった使い方をします。

Q3. evalsとベンチマークは何が違いますか？
ベンチマークは、共通の問題集でモデル全般の実力を比べるためのものです。evalsは、自分たちの用途で実際に使えるかどうかを、自分たちのデータで確かめるためのものです。ベンチマークの成績が良いモデルが、自社の業務でも良いとは限らないため、両方が必要になります。

Q4. 何から始めればよいですか？
自分たちの用途で実際に来る入力を20件ほど集め、それぞれについて「どういう出力なら合格か」を先に書き出すところから始めます。基準を決めずに出力を眺めても、良し悪しの判断がぶれます。件数は少なくてよいので、同じ問題を繰り返し測れる状態を作るほうが先です。

Q5. 正解が1つに決まらない出力はどう評価しますか？
3つの方法を組み合わせます。含まれているべき要素をチェックリストで確認する方法、人が基準に沿って採点する方法、別のAIに基準を渡して採点させる方法（LLM-as-a-judge）です。AIによる採点も誤るので、一部を人が抜き取り確認して、採点自体が信用できるかを確かめます。