こんにちは。シンラボ共同代表の草場です。

AIとの共同に関して、『予測マシンの世紀　AIが駆動する新たな経済』をまとめていきます。推理小説のようで、ドキドキワクワクです。

目次
はじめに―機械知能
安さはすべてを変化させる
第１部　予測
第２部　意思決定
第３部　ツール
第４部　戦略
　第十五章　経営層にとってのＡＩ
　第十六章　ＡＩがあなたのビジネスを変容させるとき
　第十七章　あなたの学習戦略
　第十八章　AIリスクの管理
第５部　社会（ＡＩと人類の未来）　

いよいよ第四部、戦略です。どう戦略に組み込むか、一番大事な部分です。先日の記事は以下。

■AIリスクの管理
AIが社会的に存在する差別を増幅する可能性を見ました。自分の名前を検索したら、いきなり逮捕の広告が出てきたらびっくりします。しかし、このようにわかりやすい形で差別が現れたら修正できますが、もっと微妙な方法で差別が出てきます。

経済学者のAnja LambrechtとCatherine Tuckerにより、Facebookの広告が男女差別につながる可能性があることが示されたそうです。以下の記事です。

彼らが、科学・技術・工学・数学（STEM）分野の仕事を宣伝する広告をソーシャルネットワーク上に掲載した。その結果、Facebookは女性に広告を表示する可能性が低いことがわかりました。この理由は、これは女性が広告をクリックする可能性が低いからでも、差別的な労働市場を持つ国にいるかもしれないからでもない。それどころか、広告市場の仕組みが差別化していた。

広告市場の仕組み自体が差別を生み出してしまったと。どういうことでしょうか？

Facebookでは、若い女性が人口動態として価値があるため、彼らに広告を表示するとコストがかかる。Facebookに広告を出稿すると、アルゴリズムは当然、1回の出稿あたりのリターンが最も高いところに広告を掲載する。もし、男性と女性が同じようにSTEMの求人広告をクリックするのであれば、安いところ、つまり男性に広告を出稿したほうがいいのだ。

うーん、これは気付かない。。。広告業界では当たり前なのでしょうか？確かに、リターンの低い広告は掲載しないですね。

ハーバード・ビジネス・スクールの教授であり、経済学者であり、弁護士でもあるベン・エデルマンは、この問題が雇用主とFacebookの双方にとって深刻な問題となる理由を説明してくれた。多くの人は、差別は男女で異なる基準を設定する不平等な扱いから生じると考える傾向がある。しかし、広告の掲載位置の違いは、弁護士が言うところの「差別的影響」をもたらす可能性があります。性別に関係のない手続きが、差別を恐れる理由のある一部の従業員（弁護士にとっては「保護されるべきクラス」）に、他の従業員とは異なる影響を与えることになるのだ。

怖いですね。こういった差別は気付かずに偶然起こったとしても、個人や組織は差別に対して責任を負うことがあります。本では実際にあった裁判の例が出てきます。

裁判所は、ニューヨーク市消防局が、読解力を重視した問題を含む入学試験で、黒人やヒスパニック系の消防士志願者を差別していたと認定した。裁判所は、この種の問題は消防署員としての効果とは関係がなく、黒人やヒスパニック系の応募者の成績は系統的に悪いと判断した。この訴訟は最終的に約9,900万ドルで和解した。黒人とヒスパニック系住民の試験成績が低かったため、たとえ差別が意図的ではなかったとしても、連邦政府が責任を負うことになった。

難しい問題です。差別を生む意図はなかったけれども、差別とみなされる。そしてその責任は雇用側にあります。

自分では中立的な広告をFacebookに掲載しているつもりでも、それとは関係なく差別的影響が生じている可能性があるということだ。雇用主として、責任を負う可能性がある。Facebookの解決策としては、差別を防ぐためのツールを広告主に提供することだ。

AIの課題は、このような意図しない差別が組織の誰にも気づかれずに起こってしまうことです。AIはブラックボックスだとよく言われますね。

ディープラーニングをはじめとする多くのAI技術が生み出す予測は、ブラックボックスから作られているように見える。予測の基礎となるアルゴリズムや計算式を見て、何が原因かを特定することは実現不可能だ。AIが差別をしているかどうかを把握するには、アウトプットを見なければならない。
男性と女性では結果が違うのか？
ヒスパニック系の人は他の人と違う結果になるのか？
高齢者や障害者はどうか？
これらの異なる結果は、彼らの機会を制限するのか？

最近では、説明可能なAIが発展しています。

https://xeex-products.jp/extelligence/what-is-xai/

今時点では、責任問題を防ぐために、AIの出力に意図しない差別を発見した場合、それを修正する必要があります。なぜAIが差別的な予測を生み出したのかを解明する必要があります。

しかし、AIがブラックボックスだとしたら、どうやってそれを実現するのか？

明日はこの点を見ていきます。

草場壽一
https://sinlab.future-tech-association.org/