以下は原著Weapons of Math DestructionをよんでAmazonのカスタマーレビューに書いたことの転載。翻訳版は未読です。

あるシステムの振る舞いについてのデータを分析し、それにフィットする数学的モデルを作り、それによってそのシステムの振る舞いを予測あるいは制御するということは、ニュートンが模範を示して以来確立されてきた近代科学の方法論的パラダイムである。しかし近代科学成立の初期においては、この方法は比較的単純な振る舞いを示すシステムにしか適用できなかった。例えば単純な力学法則に従う物体でも、三体以上が相互に影響を与えあっているようなシステムでは、それらの振る舞いを正確に予測するのは極めて難しいものになりうる。まして気象、社会や人間、経済や政治のような複雑なシステムには、厳密な数学的モデルを適用することは難しかった。しかし統計学の登場によって、より複雑なシステムに数学的モデルを適用して効果的に予測を立てることが可能になった。ただし統計学は、システムの細部の動きを逐一正確に描写するのではなく、システム全体の大雑把な趨勢を捉えることに焦点を当てる。そのことによって大きなシステムのある構成要素が、正確にどのように振る舞うかは予測できなくても、どのくらいの確率でどのように振る舞うかを予測することができるのである。コンピューターの性能が向上し、そしてインターネットとスマートフォンの普及によってコンピューターが利用できる人々の行動データが増大するにつれて、この方法が適用できる範囲が社会の様々な場面に広がっており、またその応用の規模が拡大している。そしてそのことはデータを有効に利用できる人々に莫大な利益をもたらしている。巨大なデータ経済が勃興し、そしてそこでコンピューターに駆動された数学的モデルが猛威を振るっている。

そのような数学的モデルの中には社会に大きな害を与えているものもある。本書の著者キャシー・オニールが「数学的破壊兵器（Weapons of Math Destruction、以下WMD）」と呼ぶのはそのようなモデルである。彼女によればWMDとは、人々を評価する、ランク付けする、分類する、あるいは人々の行動を予測するなどの目的で作られた統計的数学的モデルであり、大規模に使用され、間違っていて、不公正で、有害で、不透明で、自己成就予言的であるといった特徴を持つものである。

本書で紹介されている一例を挙げると、『USニューズ』誌が作成している大学ランキングがある。『USニューズ』誌は1983年から毎年、独自の指標に基づいて大学ランキングを作成し、上位校を発表している。彼らの指標はそもそもハーバードやスタンフォードといった世間から「名門」と考えられている大学が上位にくるようにチューニングされている、と著者は言う。というのもそれらの大学が上位に来ないようなモデルでは正しくないことが明らかだからだ。つまり彼らのモデルには最初から「ハーバード、スタンフォード、プリンストン、イェール等々が最も良い大学だ」という先入観が埋め込まれている。

このようにWMDは一般的に設計者の偏見や先入観を反映する。ある種の現象について数学的モデルを作る時、私たちはその現象のどのような側面が重要なのかを考え、どのようなパラメーターを導入するべきか、そしてそれらにどのように重みづけするかを決定しなければならない。そしてこの決定は個人の意見、あるいはひょっとしたら誤解に基づいている。にも関わらずそのようなモデルは、客観的に測定できる数値を決まったアルゴリズムで計算しているので、人間のバイアスや好みに左右されない客観的なものであるとしばしば主張される。しかし本書の著者によれば、設計者はそのモデルあるいはアルゴリズムに自分のバイアスを埋め込んでいる。そこで宣伝されている客観性は幻想にすぎない。

『USニューズ』のランキングは大学業界に大きな負の影響をもたらしている。多くの大学はこのランキングでの順位を上げるために、そのモデルに対して最適化する努力をするようになった。例えばこのモデルでは入学志願者に対する合格者の割合が少ない方が評価が上がる。大抵の大学には、一定の割合でそこを滑り止めのために受けている受験生がいる。そのためそのような大学では実際に入学が見込まれる数よりも多めの合格者を出すものだ。しかしそのことが合格者の割合を高くさせ、『USニューズ』モデルによる評価を下げることになってしまう。そこで大学の中には、そこを滑り止めのために受けていると思われる成績上位の受験者（したがって別の大学に入学する可能性が高い受験者）を不合格にすることによって合格者の割合を減らしたところもあった。これは受験者にとってもその大学にとっても不幸なことだ。受験生の中には滑り止めで受けた大学が滑り止めにならず、行く大学を失うものがいる。また大学はひょっとしたら獲得できたかもしれない優秀な学生を逃すことになる。もう一つの弊害は学費の高騰である。『USニューズ』のモデルでは学費は評価に影響しない。それはハーバードなどの学費が高額な名門大学がトップに来るようにチューニングされているからである。それゆえ大学ランキングの順位を上げることを優先する大学は、費用をそれほど考慮に入れずに改革を進めることになり、結果として学費の高騰につながるのである。

学生にとっての大学の良さは、そこで学生が何を経験できるか、そこでどれだけ自分に合った教育を受けることができるか、ということに基づいているべきであり、そしてそれゆえに「大学の良さ」は多様でなければならない。単一の尺度ですべての大学を直線的に順位づけるというようなことは、本来、大学を評価する方法として適切ではない。そのような評価があってもいいが、もっと多様な尺度があってしかるべきだし、大学はそのような評価に振り回されるべきではない。しかし現実問題として『USニューズ』の影響は大きく、多くの教員と学生がそれを参考にして行くべき大学を選んでいる。このランキングで上位に位置するということは優秀な教員と学生を引き付けることができるということを意味する。かくしてこのモデルは自己成就し、自らの正当性を高め、そして人々はますますこのランキングを気に掛けざるを得なくなる。

本書の内容からはややはみ出すが、人間や組織を評価するための数学的モデルを作るという営為そのものが包含するバイアスについても私たちは注意を払うべきかもしれない。というのも数学的モデルを作るという決定がすでに、定量化できない価値、コンピューターで処理できるデータの形式に落とせない価値については無視するというある種の重大な価値判断を含んでいるからである。あることを評価する数学的モデルを作るという決定それ自体がバイアスのかかったものなのだ（この点については例えばRobert J. Whelchel, ``Is Technology Neutral?'' IEEE Technology and Society Magazine, Vol. 5(4), Dec. 1986を参照されたい）。科学技術と市場経済を中心にして築かれた社会において、「定量化して評価するべし」というプレッシャーは強く、本来そのような評価がそぐわない領域（教育、行政、医療、芸術、学問など）までも浸食している。

もう一つ本書で取り上げられている別のWMDの例を見てみよう。アメリカの司法システムの中で開発・利用されている再犯予想モデルである。本書では特にLSI-Rというシステムが取り上げられている。これは服役者に対する多数の質問に基づいて、どれだけ再犯のリスクがあるかを見積もるものである。もともとLSI-Rのようなシステムは人間によるバイアスを取り除くことを意図して作られている。人間は知らず知らずのうちに自らが持つ偏見や先入観に強い影響を受ける。それは判事や陪審員という立場に置かれても変わらない。同じような犯罪でも白人より黒人の方が重い判決を受けることが多いということを示す調査もある。こういった人間の持つバイアスの影響を防ぐために、人種など、法廷での判断において考慮されるべきでない要素を組み込まないようにしたのがLSI-Rなどのシステムである。LSI-Rの結果を服役中の再犯防止プログラムのためにのみ利用する州もあるが、中には判事が判決を下す際の参考にするためにこのスコアを利用する州もある。

しかし筆者はこのシステムには問題があると指摘する。LSI-Rの質問の中には例えば「初めて警察と関わったのはいつか」というようなものもあるのだが、著者によればこの質問は不正である。というのも警官は裕福な人々が住む地域よりも貧しい人々が住む地域を重点的に見回り、そして白人より黒人やヒスパニックをはるかに頻繁に呼び止めて職務質問や身体検査をするからだ。このためたとえば未成年飲酒や喧嘩や大麻の所持などの軽い犯罪で捕まる可能性は平等ではない。「初めて警察と関わったのはいつか」というような質問は暗に回答者の生まれや育ち、家族や近隣の環境、人間関係といったことを計算に入れる効果を持つのである。裁判の場ではこういった要素が判決に影響を与えることは認められない。著者が言うように法廷においては「我々は行いによって裁かれるのであり、どんな人間であるかによって裁かれるのではない」（原著 p. 26）。しかしLSI-Rは実質的にそういった要素を、客観性の名のもとに、システマティックに組み込んでいる。

さらにLSI-Rも、『USニューズ』の大学ランキングと同様に、自己成就的な性格を持つ。ある人がLSI-Rによって再犯可能性が高いと判断され、長い刑期を課されたとしよう。彼はより長く社会から隔絶され、より長く他の犯罪者たちに囲まれることになる。そのために彼が刑期を終えたとき、社会に戻って仕事を得ることはより一層難しくなり、そのことは彼が再び犯罪に手を染める可能性を高める。つまりLSI-Rによって再犯可能性が高いと判断されたというまさにそのことが、彼を再び犯罪に走らせる原因になるのである。これは必ずしもLSI-Rだけのせいではなく、刑務所の環境、社会の犯罪者に対する扱いという複雑な要因が絡む問題である。しかし長い刑期が社会復帰をより困難にするということが事実である現状において、このようなモデルの限界と不公正さを認識することは重要である。

WMDは一般的に何らかの傾向や能力を測るためのモデルを作るために、それらの傾向・能力と統計的に相関するパラメーターのセットを利用する。そのパラメーターは測定したい傾向・能力の近似として役に立つ。そのモデルは時には測定対象となる人物について間違った情報を伝え、したがって間違った判断を下す。しかしそれが十分な割合で（すなわちモデルの使用者が利益を得るのに十分な割合で）正しい情報を与える限り、少数の誤判定は無視される。本来、数学的モデルにおいては、予測の検証というプロセスが不可欠である。モデルの精度を高めるためには、予測が当たらなかった事例について綿密な調査を行い、なぜ当たらなかったのかを追求し、モデルを改良しなければならない。しかしながらWMDの目的が正確さや正しさよりも効率である場合、このようなフィードバックのプロセスは取られないかもしれない。またたとえ検証がなされたとしても、裁判のような場で犯罪とは直接関係ない行動や属性を取り上げ、「こういう行動を行う人、こういう属性を持つ人は再犯の可能性が高いから」という理由でより厳しい処罰を与えることは不正である。同じことは人事評価のような場でも言えるだろう。さらには上の例のような自己成就なWMDの場合はその予測が当たったことがWMDが正しいモデルであることを保証しないので、そもそも事後的な検証が意味をなさない可能性もある。

こういった問題をさらに難しくするのがWMDの不透明さである。WMDが下す判断の根拠は必ずしも私たちにとって明らかではない。それはそのメカニズム、アルゴリズムが企業秘密として守られているからということもあるし、あるいはそこで用いられる数式が複雑で理解できないということもある。WMDがやっていることを理解できるのは一部の数学者だけであるが、しかし彼らはその判定に抗議する声に耳を貸したがらない。WMDに抗議できるのは知識や力のあるものだけである。ビッグデータと近年の機械学習がこの状況をさらに悪化させるのは言うまでもない。深層学習など、近年の機械学習のテクニックはしばしば判断をブラックボックス化するということが懸念されている。機械学習を利用したとき、もはやWMDの設計者ですらWMDの判断の理由を説明することはできないのである。

現在のデータ経済においては、情報空間を満たす大量のデータの中から、微妙なパターンを見つけ出して、利用できるものが莫大な富を手にすることができる。それゆえに企業はますます多くの、ますます多種多様なデータを取得することに力を注ぎ、そのデータを活かして利益を上げる方法を探している。もちろんそれらすべてが悪辣なものというわけではない。しかし一部には確実に、倫理的に問題があるもの、あるいは民主主義の基本的理念に反するものがある（それゆえ例えば法学者の山本龍彦は著書『恐ろしいビッグデーターー超類型化AI社会のリスク』（朝日新書、2017）において、貪欲なデータの取得と利用に対抗するために、憲法に定められた権利を武器にすることを提案する）。とはいえ現在のところ、たとえそれが不正なものでも、弱者やマイノリティを食い物にすることによって成り立っているものでも、多くは従来の規制や法の手の届かないところにある。現在の状況は、産業革命の後、企業が労働者や環境を濫用することで利益を得ていた時代のようなものだ、と著者は考えている。私たちの社会は少しずつその状況を改善して、企業活動に規制を課し、人々が不当な不利益を被ることがないようにしてきた。それゆえ著者はWMDに関しても何らかの監査や規制を設け、「取り締まり、手なずけ、非武装化する」（原著 p. 218）ことを提案している。データに基づいた数学的モデルはこれからもますます利用されていくだろう。その流れをとめることはできない。しかしそれらは一部の人たちの利益のために多くの人を犠牲にするような使い方ではなく、社会を安全にするために、苦しんでいる人々を救うためにも利用できる。しかしそのためには現在のように野放しに使われていてはいけない。

「数学的モデルは私たちの道具であるべきで、主人であるべきではない」（原著 p. 207）と著者はいう。もともとが数学者であった著者は、数学的モデルの濫用を嘆き、それがよりよい仕方で使われるように訴えている。そして「数学はWMDよりもずっと良いものに値するし、民主主義も同様である」(原著 p. 218)という言葉で本書を締めくくっている