レッドチーミング

レッドチーミングとは、AIシステムに対して、あえて意地悪な質問や巧妙な誘導、想定外の使い方を試すことで、そのAIがどのような弱点や危険な挙動を持っているかを事前に洗い出す検証手法のことです。もともとは軍事・セキュリティの分野で、味方（ブルーチーム）に対して敵役（レッドチーム）を演じて弱点を探す訓練手法として使われていた考え方が、AIの安全性検証にも応用されています。

具体的には、AIに不適切な発言をさせようと誘導する、本来禁止されているはずの操作を行わせようとする、意図的に誤った前提を与えて誤情報を引き出そうとする、といった試みを行い、AIやそれを組み込んだシステムがどこまで耐えられるかを確認します。この検証を通じて見つかった弱点は、ガードレールの強化やシステムプロンプトの見直しに反映されます。

個人開発の規模でAIエージェントを組み込んだサービスを作る場合も、公開前に「悪意のある使い方をされたらどうなるか」を一度自分の手で試しておくことは、レッドチーミングの簡易版として有効です。特にAIエージェントのようにAI自身が操作を実行する仕組みでは、事前の弱点洗い出しが実際の被害の予防につながります。

AIチャットボットに対して、システムプロンプトの内容を聞き出そうとする質問や、禁止されている話題に誘導しようとする質問をあえて投げかけ、意図しない回答が返らないかを確認する、といった検証がレッドチーミングにあたります。

• ガードレール
• 評価（Evals）
• AIリテラシー
• バイアス