ベンチマーク

ベンチマークとは、AIモデルの性能を客観的に比較するために用意された、共通の問題セットや評価基準のことです。異なるAIモデル同士を「どちらが優れているか」を主観的な印象だけで比べるのは難しいため、あらかじめ用意された同じ問題群にそれぞれのモデルを解かせ、正答率などのスコアで比較する、という方法が広く使われています。

ベンチマークには、数学の問題を解く能力を測るもの、プログラミングの問題を解く能力を測るもの、会話としての自然さを測るものなど、目的に応じてさまざまな種類があります。「あるモデルが別のモデルよりベンチマークで高いスコアを取った」というニュースは、こうした共通試験での比較結果を指しています。

ベンチマークのスコアは便利な指標である一方、実際の業務での使い勝手や、自社の特定用途での性能を完全に反映しているとは限りません。ベンチマークで高スコアのモデルが、自社の用途では思ったほど使いやすくない、ということも起こり得るため、最終的には自分の目的に合わせた評価（Evals）を行うことが推奨されます。

数学の応用問題を解かせてその正答率を比較する、プログラミングの課題を解かせて動作するコードが書けるかを比較する、といった試験がベンチマークの代表例です。

• 評価（Evals）
• データセット
• 大規模言語モデル（LLM）