ベンチマークとは

ベンチマークとは、AIモデルの性能を共通の問題集と採点方法で測り、数値で比べられるようにした試験のことです。読みは「べんちまーく」、英語では benchmark と書きます。

新しいモデルが発表されると、「この試験で何点」という表が一緒に出てくるのが通例です。同じ問題を同じ方法で解かせるので、モデル同士を横に並べて比べられます。一方で、ベンチマークが測るのは試験に含まれる範囲の能力だけです。自分たちの用途での使い勝手を測る取り組みは評価（evals）と呼んで区別します。

• 問題集：質問と正解、またはコードの課題とそれを確かめるテストの組です。公開されていて、誰でも同じものを使えるのが前提です。
• 実行条件：プロンプトの書き方、例をいくつ見せるか、何回まで解かせるか、道具（ファイル操作やコマンド実行）を使わせるか、といった決まりです。
• 採点方法：選択肢の正答率、単体テストに通った割合、人やAIによる採点などです。

同じ名前のベンチマークでも、実行条件が違えば点数は比べられません。発表資料の注記に「何回試したうちの成績か」「どんな道具を使わせたか」が書かれているのはこのためです。

• MMLU：Measuring Massive Multitask Language Understanding（2020年）で提案された、57の分野にわたる知識と問題解決を問う選択式の試験です。論文の時点では、多くのモデルが当てずっぽうに近い正答率にとどまっていました。
• HumanEval：Evaluating Large Language Models Trained on Code（2021年）で作られた、手書きの164問のプログラミング課題です。関数の宣言と説明文（docstring）を渡してコードを書かせ、1問あたり平均7.7個の単体テストで正しく動くかを判定します。
• SWE-bench：SWE-bench の論文（2023年）で提案された、12の人気 Python リポジトリの実際の issue とプルリクエストから作った2,294件の課題です。複数のファイルにまたがる修正が求められ、論文の時点で最も成績のよかったモデルでも解決できたのは1.96%でした。
• SWE-bench Verified：SWE-bench Verified の説明ページによれば、SWE-bench から人の確認を経て選んだ500件の部分集合です。問題文が明確か、テストが正しいか、与えられた情報で解けるかを確かめています。AIコーディングエージェントの比較で引用されることが多い試験です。

コード生成のベンチマークでよく見る pass@k は、1問につき k 個の答えを生成させ、そのうち1つでもテストに通れば解けたとみなしたときの正解率です。HumanEval の論文はこの指標を使い、1問につき1回で28.8%、100個生成させると70.2%まで上がったと報告しています。

つまり、同じモデルでも pass@1 と pass@100 では数字の意味がまったく違います。スコアを読むときは、次の点をそろえてから比べます。

• ベンチマークの名前と版（SWE-bench と SWE-bench Verified は別の試験です）
• pass@1 なのか、複数回のうちの最良なのか
• モデル単体の成績か、道具を使うエージェントの仕組みを含めた成績か
• 誰がいつ測った数字か（提供元の発表か、第三者の再現か）

• 誤解：スコアが高いモデルは自分の仕事でも強い → 実際：ベンチマークは特定の種類の課題の成績です。社内の古いコードや独自の仕様を扱う力は、自分の課題で試さないと分かりません。
• 誤解：公開された問題集なら公平に測れている → 実際：問題や答えが学習データに混ざっていると、解いたのではなく覚えていた可能性があります。HumanEval の論文は、学習に使った GitHub にはすでに多くの解答があるため、問題を手書きで用意したと説明しています。GPT-3 の論文 Language Models are Few-Shot Learners も、大規模なウェブの文章で学習することに伴う評価上の問題に触れています。
• 誤解：発表資料の数字はすべて同じ条件で並んでいる → 実際：試行回数や使わせた道具が表ごとに違うことがあります。注記まで読んで条件をそろえます。

• 候補を絞るために使う：ベンチマークで数個のモデルに絞り、最後は自分たちの入力を集めた評価セットで決める、という順番にします。
• 手元で動かすなら隔離した環境で：HumanEval の評価ツール（公式リポジトリ）は、モデルが生成した信頼できないコードを実行するためのものなので、しっかりしたサンドボックスの外では動かさないよう強く勧めています。
• 測った日付を残す：同じモデル名でも更新で成績は変わります。比較表には測定日と条件を書き添えます。

• 評価（Evals）
• データセット
• 大規模言語モデル（LLM）
• 学習データ
• AIコーディングエージェント
• リグレッションテスト

• LLM評価の指標一覧表｜正確性・忠実性・有害性・コストの測り方まとめ
• Evals（LLM評価）の始め方｜評価セット20件から始める最小構成
• AIコーディングエージェント比較2026年版

• Measuring Massive Multitask Language Understanding（arXiv:2009.03300）：57分野の選択式試験 MMLU の論文
• Evaluating Large Language Models Trained on Code（arXiv:2107.03374）：HumanEval と pass@k を用いた評価の論文
• HumanEval の評価ツール（公式リポジトリ）：実行方法とサンドボックスについての注意
• SWE-bench（arXiv:2310.06770）：実際の issue から作った2,294件の課題の論文
• SWE-bench Verified の説明ページ：人の確認を経た500件の部分集合
• Language Models are Few-Shot Learners（arXiv:2005.14165）：ウェブ規模の学習と評価上の問題への言及

Q1. AIのベンチマークとは何ですか？
AIモデルの性能を共通の問題集と採点方法で測り、数値で比べられるようにした試験のことです。知識、コード生成、実際の不具合修正など、測りたい能力ごとに別の試験があります。

Q2. pass@1 とは何ですか？
1問につき1回だけ答えを生成させたときに、単体テストに通った問題の割合です。pass@k は k 個生成させて1つでも通れば正解とみなすので、k が大きいほど数字は高く出ます。

Q3. SWE-bench と SWE-bench Verified は何が違いますか？
SWE-bench は実際の GitHub の issue から作った2,294件の課題です。SWE-bench Verified はそこから人の確認を経て選んだ500件で、問題文の明確さやテストの正しさが確かめられています。

Q4. ベンチマークの点数だけでモデルを選んでよいですか？
おすすめしません。点数は試験の範囲と実行条件に左右され、学習データに問題が混ざっている可能性もあります。点数で候補を絞り、最後は自分たちの実際の入力で試して決めます。