植田かもめの「いま世界にいる本たち」第1回"Weapons of Math Destruction（数学破壊兵器）" by Cathy O'Neil（キャシー・オニール）　2016年9月出版　※日本語版刊行になりました！『あなたを支配し、社会を破壊する、AI・ビッグデータの罠』

自分の代わりに仕事をしてくれるコピーロボットがほしいと思ったことはないだろうか。

もしそのロボが、ただ作業をするだけでなく、あなたの仕事の責任を代わりに負ってくれるとしたら、使ってみたいだろうか。

大量「数学」破壊兵器とは

本書"Weapons Of Math Destruction"は、ビッグデータ活用の負の側面を説く。客観的な分析を装って、不公正や偏見を隠すアルゴリズム。それが、大量（Mass）破壊兵器ならぬ、数学（Math）破壊兵器である。

データサイエンティストである著者のキャシー・オニールは、受験から就職、保険やローンの審査など、人生の多くの場面に適用されるビッグデータによる評価を紹介する。

では、そこで使われる分析モデルは主観のないフェアなものか。実は、手に入るデータが増えるほど、どのデータを評価対象にするかという設計者の判断が重要になる。だから、モデルとは「数学に埋め込まれた意見」である。

そして問題は、アルゴリズムがブラックボックス化することで、そのモデルに欠陥があっても検証されないことだ。

結果として、履歴書が自動的に排除される人は、保険やローン審査でも自動で排除されるといった負のループが生まれる。「ビッグデータ分析が過去の傾向をコード化して、現状の格差や偏見を追認して固定してしまう」とオニールは主張する。

ビッグデータやAIを使う隠れた理由

さて、ここまでが本書の問題提起の要約である。ここからは本書を読んで筆者が考えたこと。

そもそも、ビッグデータやAIを含むアルゴリズムを企業や組織はなぜ使うのだろう。

分析のスピードが上がるから？
新しい発見が得られて意思決定の質が上がるから？
人がやっていた作業を自動化してコスト削減できるから？

そうした表向きの理由も当然あるけれど、隠れた理由があると思う。それは、人から機械に、分析や決定の責任を肩代わりさせられるからだ。

ミもフタもない言い方だけど、企業もそこに属する個人も、取らなくていい責任は取らないのが基本である。

たとえばあなたがリストラを担当する人事部長だったとして、誰をリストラするかをアルゴリズムが決めてくれるなら、任せたくなってしまうのではないだろうか。保険の審査に通らなかった理由を説明しなければならないときに、「ビッグデータ分析の結果」と言ってしまえば、めんどうな仕事が楽にならないか。

つまり、企業や組織には、人から機械に判断や責任を「外注」する動機がけっこうある。組織も個人もリソースは限られていて、説明責任を果たすのはコストがかかるからだ。本書が紹介する不公正なアルゴリズムにも同種の隠れた動機があるかもしれない。

これをもっと単純に書くと「言いにくいことを機械に言わせる」モラルの問題とも言える。たとえばあなたが公共放送で番組を作っていて、AIにニッポンをどうするか聞いてみたら、「ひとり暮らしの40代が日本の問題」と答えたとする。普通なら言いにくい結論だけど、AIに聞いた答えとしてなら、放送できそうではないだろうか……。

機械は人間を超えなくても神になれる

AIについて、人間の知性をいずれ超えるかという議論がある。

たとえば「サピエンス全史」のユヴァル・ノア・ハラリも、次作の「ホモ・デウス」（未訳）で、機械の知性が人間を上回り、人間が主体性を放棄する未来を予測する。

でも、別に人間の知性を超えるのを待つまでもなく、人は重要な判断やめんどうな責任をどんどん機械に任せてしまうのではないか。

人が望みさえすれば、神にだって機械はなれる。全知全能で誤りのないものが神ではない。みんなが神と信じていれば、ダメなものでも神である。AI脅威論はよく語られるが、本当に脅威なのは、何を機械に任せるかの線引きを見失う人間の方だ。

オニールの本書はその線引きを考えるヒントになる。たとえばある企業では、特定地域の出身者は離職率が高いとわかったが、求職者の出身地や住所といったデータをあえて履歴書チェックの対象から外したという。

「ビッグデータを盲信する時代に終止符を」と題された2017年のTEDの講演で、オニールは「これは数学のテストではない。政治的な闘いだ」と語っている。本書が問いかけているのは、データをどう使うかではなく、公平性や主体性といった価値観を我々はどれだけ大事にしたいかである。

キャシー・オニール著"Weapons of Math Destruction"は2016年9月に発売された一冊。翻訳版「あなたを支配し、社会を破壊する、AI・ビッグデータの罠 」は2018年6月13日に刊行となる。
ちなみに上述した「サピエンス全史」のハラリも英ガーディアン誌の記事で2016年のベスト本のひとつに本書を挙げている。

※「未翻訳ブックレビュー」で紹介したときの記事
http://kaseinoji.hatenablog.com/entry/cathy-wmd

執筆者プロフィール：植田かもめ
ブログ「未翻訳ブックレビュー」管理人。ジャンル問わず原書の書評を展開。他に、雑誌サイゾー取材協力など。
Twitter: http://twitter.com/kaseinoji
Instagram: http://www.instagram.com/litbookreview/