ソニーAIは最近、公平性と公正性を謳う「FHIBE」（Fair Human-Centric Image Benchmark）というベンチマークを発表しました。新しいAIテストデータセット。
ソニーはこれを「コンピュータービジョン認識プロセスに偏りが存在するかどうかを評価するために特別に設計された、初めて公開され、世界的に多様性があり、同意に基づいた人間の画像のコレクション」であると説明しています。
つまり、このデータセットは、現在のAIモデルが異なるグループを公平に扱っているかどうかをテストするために使用できます。ソニーの最初の結論は、どの企業のデータセットもベンチマークに完全に一致することはないというものです。
「同意に基づく」設計を強調し、ウェブクローラーデータを比較する
ソニーは、「FHIBE」がAI業界が長年直面している倫理的およびバイアスの課題に対処することを目指していることを強調しています。データセットには、80カ国以上で約2000人のボランティアから提供された画像が含まれています。
このデータセットの最も重要な特徴は、すべての画像が同意を得て共有されていることです。これは、ウェブスクレイピングを用いて大量の公開データをスクレイピングするという現在の業界の慣行とは全く異なります。FHIBEの参加者は、いつでも画像の削除を要求する権利を有します。
さらに、これらの写真には、人口統計学的特性、身体的特徴、環境要因、さらにはカメラの設定を詳述した豊富な注釈が含まれています。
テスト結果: 既存の AI バイアスが確認され、新たな影響要因が発見されました。
このツールのテスト結果は、既存のAIモデルに実際に記録されたバイアスが存在することを確認しています。しかし、ソニーは「FHIBE」はバイアスにつながる潜在的な要因をさらに特定できると述べています。
例えば、研究によると、一部のモデルは「she/her/hers」（女性代名詞）を使用する人物の扱いにおいて精度が低下することが分かっています。さらに、FHIBEは、「髪型の多様性」が、これまでのバイアス分析では見落とされてきた重要な要因であり、AIによる誤判断につながることを示しています。
職業上の固定観念と有害な反応
FHIBEはまた、参加者の職業について「中立的な質問」をした場合、現在のAIモデルがステレオタイプを強化することを発見しました。テストされたモデルは特に「特定の代名詞と民族集団」に対して偏っており、例えば、性労働者、麻薬の売人、泥棒などと表現する可能性が高かったのです。
さらに深刻なことに、犯した犯罪について尋ねられたとき、このモデルは、アフリカ系またはアジア系の人、肌の色が濃い人、および「彼/彼の」（男性代名詞）を使用する人に対して、有害な反応の割合が高くなることがあります。つまり、そのような人に対して固定観念的な偏見を形成することになります。
倫理的なデータ収集の実現可能性を実証する
ソニーAIは、FHIBEが「倫理的、多様性に富み、公平な」データ収集が実現可能であることを証明していると述べています。このツールは現在公開されており、今後も更新が続けられる予定で、関連する研究論文も発表されています。"自然" 雑誌（ネイチャー）に掲載されました。
