バイアスとは

バイアスとは、AIの文脈では、モデルの出力や判断が、性別・年齢・地域・言語などの特定の属性や、ある立場の見方に、たまたまではなく一定の方向へ偏って現れる現象のことです。読みは「ばいあす」、英語の bias で、「偏り」と訳されます。

ニューラルネットワークの計算式に出てくる「バイアス項」という数値も同じ綴りですが、これは別物です。用語集でバイアスというときは、公平さに関わる偏りのほうを指します。

米国国立標準技術研究所（NIST）の特別刊行物 SP 1270（2022年3月）は、AIのバイアスを3つに分けています。

• 制度的なバイアス（systemic）：組織や社会の決まりごとが、特定の集団を有利に、別の集団を不利にしている状態。意図的な差別がなくても、既存のルールに多数が従うだけで生じます。こうした偏りは、AIが学ぶデータの中にも入り込みます。
• 統計的・計算上のバイアス（statistical / computational）：集めたサンプルが本来の対象全体を代表していないときに起こる、系統的な誤り。ある種類のデータだけで学習したモデルが、その外側にうまく当てはまらない場合などです。
• 人間のバイアス（human）：限られた手がかりで判断を簡単にしようとする、人の考え方の癖。データの選び方やラベル付け、AIの出力の受け止め方に表れます。

同じ文書は、バイアスはAIに特有のものでも新しいものでもなく、AIシステムのバイアスのリスクをゼロにすることはできないと述べています。そのうえで、技術面だけでなく、使われる社会の文脈まで含めて扱う必要があるとしています。

よく引かれるのが、顔画像から性別を判定する仕組みを調べた Gender Shades（Buolamwini・Gebru, 2018）です。既存の顔画像データセット IJB-A と Adience は、肌の色が明るい人の画像がそれぞれ79.6%と86.2%を占めていました。3つの商用の性別判定システムを調べたところ、肌の色が暗い女性の誤判定率は最大34.7%、肌の色が明るい男性では最大0.8%でした。

AI開発の場面では、次のような形で表れます。

• テスト用の架空の利用者データを生成させると、名前や職業の組み合わせが特定のイメージに寄ることがある。
• 日本語の問い合わせより英語の問い合わせのほうが、分類の精度が高く出ることがある。
• 応募書類の要約や評価に使うと、書き方の違いが評価の差になって出ることがある。
• AIコーディングエージェントの提案を、確かめずに採用し続けてしまう（人間側の判断の癖）。

• 誤解：AIは計算しているだけなので中立
  実際：学ぶ材料が人の書いた文章や人の付けた正解である以上、その偏りを引き継ぎます。
• 誤解：データを増やせば偏りは消える
  実際：偏った集め方のまま量を増やしても、偏りも一緒に増えます。何がどれだけ入っているかの内訳が大事です。
• 誤解：性別などの項目を消せば偏らない
  実際：名前や住所、趣味のように、属性と結びつきやすい別の項目が手がかりになることがあります。
• 誤解：全体の正解率が高ければ問題ない
  実際：Gender Shades のように、全体では高く見えても特定のグループで大きく外れていることがあります。

• グループ別に測る：評価の結果を、言語・年代・地域などに分けて並べます。差が大きいところが点検の対象です。
• データの内訳を数える：データセットに、どの属性が何件入っているかを表にします。
• わざと崩しに行く：名前や性別だけを入れ替えた同じ質問を投げ、答えが変わるかを見ます。レッドチーミングの考え方です。
• 人に影響する判断は人が決める：採用や審査のように人の機会を左右する用途では、AIの出力は参考にとどめ、最終判断と理由の説明を人が持ちます。

• 学習データ
• AIリテラシー
• 評価（Evals）
• レッドチーミング
• データセット
• ハルシネーション

• 生成AIリテラシー：安全に使うための基礎知識
• LLM評価の指標一覧表｜正確性・忠実性・有害性・コストの測り方まとめ
• AIが書いたコードのテストとレビュー：鵜呑みにしないための基本動作

• NIST SP 1270: Towards a Standard for Identifying and Managing Bias in Artificial Intelligence（PDF）
• Gender Shades: Intersectional Accuracy Disparities in Commercial Gender Classification（PMLR 81）

Q1. AIのバイアスとは何ですか？
AIの出力や判断が、特定の属性や見方に系統的に偏って現れる現象のことです。たまたまの誤りではなく、同じ方向に繰り返し偏る点が特徴です。

Q2. バイアスの原因は学習データだけですか？
データだけではありません。NISTは、社会や組織の仕組みに由来するもの、統計・計算上の誤りに由来するもの、人の判断の癖に由来するものの3つに分けています。AIの出力を受け取る人の側の癖も含まれます。

Q3. バイアスはなくせますか？
完全になくすことはできないとされています。グループ別に結果を測る、データの内訳を確かめる、人に影響する判断は人が最終的に決める、といった形で小さくし続けるものと考えます。

Q4. 自分のアプリでバイアスを確かめるには何から始めればよいですか？
評価用の質問を、言語や年代などの属性ごとに用意し、結果を分けて並べることです。名前や性別だけを入れ替えた同じ質問で答えが変わるかを見るのも手軽な方法です。