さて、引き続き「2018年のセキュリティ事件ランキング」です。

前記事はこちら。
差し込み1位：PayPayはクレジットカードのセキュリティコード問合せシステムだった
https://newspicks.com/news/3539004
1位改め2位：HUAWEIが「安全保障上の脅威」だと言うけれども
https://newspicks.com/news/3534364
2位改め3位：統制不能な外部委託先リスク
https://newspicks.com/news/3535521
3位改め4位：仮想通貨じゃなくてブロックチェーンが危ない
https://newspicks.com/news/3537064
5位：大規模ネットワーク障害（ソフトバンク、ANA）
https://newspicks.com/news/3541821

6位：洗脳されたAI
これは、Microsoftが開発した人工知能で、アメリカ人の19歳の女の子という設定である「Tay」に関する話。Twitterで、突然ヒトラーを称賛したり、ユダヤ人へのヘイトスピーチを始めてしまったのです。

なんでこんなことになってしまったかというと、Twitterで話しかければ話しかけるほど、学習していく仕組みだったんですね。で、いたずらでヘイトな考え方を教え込んだ結果、こうなっちゃったというわけです。要するに、これAIが洗脳されてしまったというわけなのです。

よくAIって言いますけど、ちゃんとAIを分かっている人たちにとっては「AI」という言葉が既にバズワードになってしまっていることは周知の話。なので本当は「洗脳されたAI」ってのもバズワード使っちゃってるのでいい用法ではないんですけど、まぁキャッチーなんで許してください。

AIを構成する技術の中に、Deep Learningというのがあります。方法は色々あるのですが、要するに大量のデータを勉強させていくことで、人間の力を借りなくても共通点を抽出できるようになり、答えを導き出すことが出来る技術です。

で、前掲の人工知能はイタズラで「ユダヤ人のことをどう思う？」と訊かれ、最初は「よくわからない」と答えていたのですが、「じゃあ僕の言うことを繰り返して」と指示を受け、それに従ってしまったのです。

まぁ正直Tayはお粗末な仕様だったとは思うのですが、ここでの学びは、AI（というかDeep Learning）は悪意を持った人間が大量の教師データを用いることで、洗脳が可能なケースがあるということです。教師データとは、要するにAIが判断能力を向上させていくために学んでいく大量のデータです。

もっとも、汎用型AI、さらには”強いAI”と呼ばれている、ドラえもんのようなAIは現在おらず、大量の教師データを突っ込んだら突然AIテロリストになる、みたいなことは起きません。現在は特化型AIといって、利用用途が極めて限られているゆえに学ぶデータも限られているAIしかいませんので、頑張って悪意のある教師データを勉強させようとしても、それを吸い上げることすらできないし、吸い上げても学んだとしても危険な行動を起こし得ない仕様であるAIの方が圧倒的に多いでしょう。なので、これによって世の中の多くのAIが暴走して人間に害を与えるようなことはまだまだ起きないと思います。

しかし、AIの活用は確実にこれからも進行していくでしょうから、”悪意のある教師データを使って人に危害を与える”という新しい形のサイバー攻撃が今後産まれてくる可能性は十分にあると思います。

そんな中、世界的な潮流として「AIの判断は、それを使う企業が説明責任を果たさなければならない」という方針が適用されようとしています。これは開発者界隈から大ブーイングが起きています。というのも、たとえばDeep Learningを例にとっても、人間の判断ロジックを高速に実行して結果を導いているわけではないのです。例えばこのURLにあるRistの事例。
http://bit.ly/2LpiCa0

画像の中で特定のパターンに一致する箇所を認識させ、工場などにおける不純物の検知などを行うのだそうです。これに対して説明責任を果たしましょう。どう説明しましょうね？人の目にも見えない、認識不可能なところに特定のパターンがあったわけですが、太字の箇所の説明、これ以上言いようが無いんじゃないかと。

しかし、誤った教師データを突っ込んだり、ソフトウェア自体が改ざんされたり、あるいはそもそも悪意のあるソフトとして開発されているものだとしたら、いったいこれどうやって不正を防ぐんでしょう？

となると、たとえば「Facebookのタイムラインがどう流れてくるべきなのか」みたいな、絶対的正解が無いものには適用しやすいんです。しかし、絶対に間違えられないものについては、最終チェックを行うのはやっぱり人間だったりするのかもしれませんし、ひょっとしたらダブルチェック用の別ロジックで動くAIで、合意形成したり多数決したりで初めてアウトプットを出す、なんて面倒な作りをしなきゃいけないかもしれません。「第三者チェックAI／監査AI」みたいな。こりゃコスト喰いそうだ。そしてサンプリング方式でなく全件チェックをするのだとしたら、処理速度は遅くなりそうですねー。

なので結局、失敗できない重要なインフラみたいなところには、AIが人間を置き換えるのはやっぱり無理で、いざとなれば人間の手で操作できるように監視し、AIを止めるという構造が消えることは無いんじゃないかなと思ってるのです。

AIの欠点は、罰を恐れないことです。社会的制裁も、死すら恐れないのが欠点です。AIは暴走に対する抑止力となる存在が無いのです。これはAIである以上、逃れられない限界です。したがって、AIは人間をある程度脇へ追いやることはできても、人間を労働の場から一掃することは出来ないと思っています。

今日はここまでです。次回が最終回。ランキングは今日で終了しまして、こうした様々な事例をもとに、2019年のサイバーセキュリティはどんなことをしていかなければいけないのか、どんなことが行われそうなのかについて書こうと思います。ホントは5位でキリがいいから終えるつもりだったんですが、差し込みが入ったので変な順位で終えることに・・・

ではでは。