こんにちは。シンラボ共同代表の草場です。

AIとの共同に関して、『予測マシンの世紀　AIが駆動する新たな経済』をまとめていきます。推理小説のようで、ドキドキワクワクです。

目次
はじめに―機械知能
安さはすべてを変化させる
第１部　予測
第２部　意思決定
第３部　ツール
第４部　戦略
　第十五章　経営層にとってのＡＩ
　第十六章　ＡＩがあなたのビジネスを変容させるとき
　第十七章　あなたの学習戦略
　第十八章　AIリスクの管理
第５部　社会（ＡＩと人類の未来）　

いよいよ第四部、戦略です。どう戦略に組み込むか、一番大事な部分です。先日の記事は以下。

■AIリスクの管理
AIによる意図せぬ差別の危険性を見てきました。現状、AIがなぜある結果を出したか、説明が出来ません。
※最近では、状況は変わっています。この本が2017年出版のため。

今時点では、責任問題を防ぐために、AIの出力に意図しない差別を発見した場合、それを修正する必要がある。なぜAIが差別的な予測を生み出したのかを解明する必要がある。しかし、AIがブラックボックスだとしたら、どうやってそれを実現するのか？

これがAIニューロサイエンスです。本で取り上げられている論文は以下です。

重要なツールは、何が違いを生み出しているのかという仮説を立て、その仮説を検証するために異なる入力データをAIに与え、結果として得られる予測を比較することだ。LambrechtとTuckerは、女性がSTEM分野の広告を見る数が少ないのは、男性に広告を表示する方がコストがかからないからだと発見したときに、このようにした。

ここで、上記の論文を引用してAIニューロサイエンスについて解説します。

解釈可能性の問題は、産業界と学術界の新世代の研究者たちを活気づけています。研究者は、ニューラルネットワークがどのように意思決定を行うのかを理解するためのツールを開発しています。その中には、AIに侵入せずに調査するツールもあれば、ニューラルネットに対抗できる代替アルゴリズムでありながら、より透明性の高いものもあり、さらに深層学習を用いてブラックボックスの中に入り込むものもあります。これらを総合すると、新たな学問分野となります。研究者はそれを "AI neuroscience "と呼んでいます。

現在話題に上がるAIはディープラーニングがメインなので、ニューラルネットワークがどう意思決定を行うか、という表現になっています。

Marco Ribeiroは、AIの神経科学的なツールである「反事実的プローブ」を使って、このブラックボックスを理解しようとしています。これは、テキストや画像など、AIへの入力を巧妙に変化させ、どの変化がどのように出力に影響するかを調べるというものです。
例えば、ニューラルネットワークは、映画のレビューの言葉を入力し、肯定的なものにフラグを立てることができます。 Ribeiroが開発したLIME（Local Interpretable Model-Agostic Explanations）と呼ばれるプログラムは、ポジティブと判定されたレビューを取り上げ、単語を削除したり置き換えたりして微妙なバリエーションを作ります。そして、それらのバリエーションをブラックボックスにかけ、それでもポジティブと判断されるかどうかを確認します。LIMEは、何千回ものテストに基づいて、AIの最初の判断で最も重要な単語、画像や分子構造などのあらゆる種類のデータの一部分を特定することができます。例えば、"horrible "という単語がパニングの決め手になったとか、"Daniel Day Lewis "という単語がポジティブなレビューの決め手になったとか、そういったことです。しかし、LIMEはそのような特異な例を診断することはできますが、その結果はネットワークの全体的な洞察力を示すものではありません。

LIME、有名ですね。

反事実プローブは反事実思考と関係していると思われます。

LIMEのような新しい反証法は毎月のように登場しています。しかし、Google社のコンピュータサイエンティストであるMukund Sundararajan氏は、ネットワークを何千回もテストする必要のないプローブを考案しました。これは、少数の決定だけでなく、多くの決定を理解しようとする場合に有益です。Sundarajanのチームは、入力をランダムに変化させるのではなく、テキストの代わりに黒い画像やゼロの配列などの空白の基準を導入し、テスト対象の例に向かって段階的に変化させていきます。そして、それぞれのステップをネットワーク上で実行し、ネットワークの確実性がどのように変化するかを観察し、その軌跡から予測に重要な特徴を推測するのです。

技術的なことは勉強する必要ありますが、LIME以外にも、AIの意思決定を読み解くツールはどんどん出ています。

欧州連合（EU）の指令によると、一般市民に実質的な影響を与えるアルゴリズムを展開する企業は、来年（2018年）までにモデルの内部論理の「説明」を作成しなければならないとされています。米軍の研究機関である国防高等研究計画局（Defense Advanced Research Projects Agency）は、7,000万ドルを投じて、ドローンや情報収集活動を支えるディープラーニング（深層学習）を解釈するための「Explainable AI」と呼ばれる新しいプログラムを立ち上げています。

ここ数年で一気に広がることを望みます。

それでは本書に戻ります。重要なことは以下です。

重要なのは、AIのブラックボックスは、潜在的な差別を無視する言い訳にはならないし、差別が問題になるかもしれない状況でAIを使うのを避ける方法でもないということだ。多くの証拠が、人間はマシンよりもさらに差別的であることを示している。AIを導入するには、差別の有無を監査し、その結果生じた差別を軽減するための追加投資が必要だ。

そうです。現在AIがブラックボックスだとしても、差別につながってはダメだと。
そのため、アルゴリズムによる差別は戦略全体に影響します。

戦略とは、他の方法では明らかでない要因を考慮するよう、組織内の人々に指示することだ。アルゴリズムによる差別のように、ビジネスに悪影響を及ぼす可能性のあるシステマティックなリスクがある場合、これは特に重要になる。STEMの広告を女性ではなく男性に表示することで、短期的なパフォーマンスは向上したが（男性が見た広告の方がコストが低いという意味で）、結果として差別によるリスクが生じた。

リスクの増加は、結果的には手遅れになることがあります。

組織のリーダーとしては、さまざまなリスクを予測し、それを管理するための手順を確保することが重要な課題となります。AIファーストで行くには、この点大事ですね。

草場壽一
https://sinlab.future-tech-association.org/