公平性メトリクス

公平性メトリクスとは？

公平性メトリクスは、AIシステムが性別や人種などの属性グループを同等に扱っているか、定量的に測定する指標です。 採用AI、融資システム、医療診断などの重要な意思決定において、意図しないバイアスが隠れていないか数値化して検出します。企業の法的リスク回避と社会的責任を両立させるツール。

ひとことで言うと： 「採用試験で同じ点数なのに、性別が違うと合否が変わっていないか検査する『公正さの通知簿』」です。

ポイントまとめ：

何をするものか： グループ間の予測結果の差を数値化し、不公正を定量的に判定
なぜ必要か： バイアスを見逃すと法的訴訟と信頼喪失につながる
誰が使うか： AI開発者、倫理委員会、規制当局、採用・金融・医療機関

計算方法

代表的な指標は以下の通りです。

人口統計的パリティは、グループごとの陽性判定率を比較します。採用AIで男性60%、女性55%なら差は5%です。機会均等は適格者に限定して比較し、より正確に公正性を測定します。均等化オッズは正解率と誤り率の両方をチェックし、多次元的に評価します。

実装では、訓練データで各グループの予測結果を分類し、統計差を計算します。1000人評価（男性600人、女性400人）で男性採用率50%、女性採用率40%なら、差は10%です。

目安・ベンチマーク

許容可能なバイアス差は以下の通りです。差5%以下なら優秀、5～10%が警告レベル、10～15%が危機レベル、15%以上は違法リスクです。採用AIで女性合格率が15%低い場合は間接差別に該当します。医療診断では1%以下、セキュリティは0.5%以下が目安。

なぜ重要か

Amazonは2016年、採用AIが女性を系統的に差別していることを発見し廃止。顔認識で非白人の誤認識率は白人の35倍、ローン審査でマイノリティ承認率は白人より20%低い事例があります。訓練データの偏りやコード化された無意識バイアスが原因です。公平性メトリクスで検出できなければ、重大な法的リスクと社会的信頼喪失につながります。

仕組みをわかりやすく解説

AIモデルの予測結果を人口統計グループごとに分解し、結果の差を測定するシンプルな仕組みです。各グループの予測分布を可視化し、有意な差があるかを統計検定で判定します。差が見つかったら、訓練データの多様化、特定属性の重み付け削減、決定しきい値の調整などで改善します。

ただしすべての指標を同時に満たすことは難しく、ビジネス要件と倫理のバランスが重要です。単一指標の改善で別の指標が悪化することもあります。

実際の活用シーン

採用AIのバイアス検査 企業が導入前に過去データで公平性を実行。性別・人種別の合格率を比較し、15%以上の差が見つかったら訓練データを再バランス化してから本運用。

ローン審査システムの監査 銀行が規制当局の要求に応じ、AIを監査。各属性グループの承認率差を数値化し、差別的結果がないことを証明。規制適合を実現。

医療診断AIの公正性確保 医療機関が診断AIを複数人種グループでテスト。精度差が見つかったら、そのグループのデータを追加学習し、すべての人に等しい精度を提供。

メリットと注意点

メリットは客観的なバイアス立証により法的リスク回避と信頼構築ができることです。バイアス除去はモデル性能向上にもつながります。注意点は公平性の複数定義があり、一つの指標改善で別が悪化するトレードオフです。単一指標でなく複数をバランスよく監視することが重要です。

よくある質問

Q: 完全に公平なAIは存在するか？ A: 存在しません。訓練データやアルゴリズム設計に必ず決定が入るため、完全中立は不可能です。ただし許容範囲内に抑えることは可能。

Q: 公平性と精度、どちらを優先？ A: ケースバイケースです。採用や融資など重大判定では公平性優先。医療診断ではバランスが重要。

Q: 実装ツールは？ A: Fairlearn (Microsoft)、AIF360 (IBM)、Fairness Indicators (Google)など、主要企業がオープンソース化しています。

公平性メトリクス