見えないバイアス：評価への影響

理研AIPが主催するオンライン研究講演。コンピュータビジョンの評価における「見えないバイアス」、つまりデータ上には現れないもののモデルの結果と相関し、ベンチマークが測定する内容を体系的に歪める要因を取り上げます。 最近の3つの研究をもとに、カメラの撮像・処理パラメータに由来するバイアス、評価画像が学習データに同一またはほぼ同一の形で再登場し性能を過大に見せるデータリーク、そして人口統計的な事前知識によって予測が歪む視覚言語モデルのジェンダーバイアスを解説します。バイアスを公平性の問題としてだけでなく、ベンチマーク、モデル、視覚表現の構成概念妥当性に対する一般的な脅威として捉えます。