「スーパーシティ法案」が可決され、データドリブンな社会への変革が叫ばれるなか、より高度化したデジタル社会の危険性を危惧する声も大きくなっている。プライバシーの問題はもとより、多様な個人データに基づいて、人の「信用」を数値化する「信用スコア」という仕組みもまた、そうした危惧の大きな対象だ。中国のアリペイが導入したことで一躍世界中に知れ渡ることとなった「ソーシャルクレジット」。それがもたらすのはユートピアか、それとも監視資本主義の牢獄か。『おそろしいビッグデータ』『AIと憲法』などの著書で知られる、気鋭の憲法学者・山本龍彦の2018年の論考を再掲載。【『NEXT GENERATION BANK 次世代銀行は世界をこう変える』（黒鳥社／2018年12月刊行）より転載】

TEXT BY TATSUHIKO YAMAMOTO
PHOTOGRAPHS BY ICHISEI HIRAMATSU

2018年の10月10日に、こんなニュースを目にした。ヤフーが「信用スコア」事業に参入し、「Yahoo! JAPAN ID」に紐づいたユーザーの情報を分析して算出したスコアをパートナー企業と連携して利用することを明かしたというニュースだ。

個々のIDと結び付いた購買履歴、検索履歴、性別などの属性情報を、独自の基準で分析し、100点満点のスコアを算出するという。2018年内に本格的に事業をスタートさせる計画だが、それまでは特定の企業と実証実験を行い、スコアの有用性などを検証するとされる。シェアリングサービスの分野で、スコアに基づき申し込み時の手続きを簡略化、保証金を免除するといった活用を見込むほか、実証実験では、アスクル、ソフトバンク、コスモ石油マーケティング、シェアサイクルサービスを手掛けるOpenStreet、ホテル・旅館などの予約サービスを提供する一休など、合計12社が参加する。

こんなニュースもある。ロイター通信の2018年10月11日付の報道だ。Amazonは14年に、就職希望者に対して1つ星から5つ星でランク付けをする自動システムの開発に着手したが、このシステムが技術職において男性志願者を優遇していることが分かり、17年に廃止したというのだ。このAIツールは、Amazonがそれまで10年間にわたって受け取ってきた履歴書のデータを元に訓練された。テクノロジー産業は男性優位分野であるため、履歴書の大部分は男性から送られてきており、システムは意図せずして、男性志願者を女性志願者よりも優先して選ぶように訓練され、報道によれば、「女性の」という言葉や、特定の女子大の名前を含む履歴書を減点するようになっていた。Amazonは、システムがこれらの条件を中立なものとして判断するように変更を加えたものの、プログラムが他のあらゆる分野において本当に性別に対する偏りがないか、自信をもてなくなったと語っている。

広がる格差

わたしたちはAIをバイアスがないものとして扱うことはできない。バイアスのあるデータでシステムを訓練すれば、アルゴリズムもまたバイアスを含むことになる。もし、今回のような公平性を欠いたAI人材採用プログラムが導入前に明るみにならなければ、ビジネスに長年根付いている多様性の問題の数々は解決されず、むしろ固定化されてしまう。

「21世紀の石油」とまでいわれ、今後のデジタル経済の主たる資源として多方面での利活用が期待される「個人データ」は、その扱いをめぐってさまざまな問題が噴出している。冒頭で紹介した「信用情報」を、日本よりもはるかにラジカルなかたちで利用している中国の状況を見てみよう。

Alibaba傘下の信用情報機関である「ジーマクレジット」（芝麻信用）は、決済アプリ「アリペイ」の購入履歴やSNSデータ、資産保有情報などを分析し、個人の信用力を950点満点で採点する。この「信用力スコア」は、官民を跨いださまざまな領域で使われている。スコアが高い人は低金利でローンを組めたり、賃貸物件の契約で敷金が不要になったり、外国の観光ビザが取得しやすくなったりするなど、さまざまな便益を享受できるため富裕層は喜んでこれを利用する。

使えば使うほど生活がスマート化されていくことで得る利益は大きい。その一方で、こうしたスコアの運用の仕方を誤ると、スコアが低い人は、あらゆる場面で差別的な扱いを受け、下層から這い上がることが困難になるといったことが起こりうる。裕福な人は上昇スパイラルに乗ってどんどん上昇していくが、いったん低いスコアをつけられるとダウンスパイラルに乗ってますます利便から遠ざかってしまう。「信用スコア」は、「バーチャルスラム」と呼ぶべき状況を生み出す危険がある。

見えないゲート

信用スコアには、もちろん、いくつものポジティブな側面がある。効率化による余暇の増大。取引の安全。信用を落としたくないがためにみながスコアを落とす行動を抑えるようになる「規範の内面化」を通して、社会の安全も増大する。けれども同時にネガティブな側面も多くあることは忘れられてはならない。

デジタルデータが永続的にインターネット上に残ることで、学習データに含まれるバイアスがAIの下す判断のなかに承継され、過去の差別が再生産されることがある。また、AI社会では、自分という存在がデータ上に良く現れる必要がある。不断の監視からくる疲労が社会に蔓延することで、みなが安全に振る舞うばかりの予定調和的で無気力な社会が実現することにもなってしまう。これは経済にとって大きなマイナスにもなる。

また、上に記したバーチャルスラムの出現という問題もある。これは、スコアリングがブラックボックス化されることで、評価の低い人たちをその状態にとどめおき、社会的に排除される可能性を助長する。さらに遺伝情報とAIの相性の良さは、自らの力では変更・修正できない属性による選別を引き起こしうる。「生まれによる差別」は現代の社会においては否定されているが、それが新しい優生思想を胚胎する可能性も否定はできない。信用スコアは多くの幸福を生み出す一方で、ゲートの見えないゲーテッドコミュニティのようなものとなるかもしれないのだ。

21世紀の「人権宣言」

そうしたなか自動処理のみに基づいて重要な決定を下されない権利や、説明を受ける権利などを明記し、データに対する個人の主導性を謳ったGDPR（一般データ保護規則）は、21世紀の新しい「人権宣言」ともいうべき意味をもっている。
　
アメリカでも「FCRA」（Fair Credit Reporting Act、公正信用報告法）という法律を、与信・雇用・保険・住宅供給に関する決定をなすために利用される消費者情報を販売する消費者報告機関にも適用しようという動きがある。FCRAは、消費者報告の正確性を担保するための合理的手続を整備することを消費者信用機関に課し、消費者に対して、その情報に対するアクセス権と過誤を訂正する権利を保障している。また、ネガティブ情報は通常7年、破産宣告なら10年以上経過したものは提供してはならないなどと定めている。さらに、消費者報告を用いる企業にも一定の義務を負わせている。

またカリフォルニア州が2018年に定めた消費者プライバシー法（California Consumer Privacy Act 2018）は、AIやアルゴリズムなどがはじき出した個人に関する「推測的な情報」（inference）を「個人情報」のうちに包含すると定め、そうした情報に対してユーザーは、開示請求や消去請求、販売中止請求を行うことができるとした。

適正なバランス

残念ながら日本では、データ活用のポジティブな側面が語られることはあっても、こうしたネガティブな側面が議論される機会はまだまだ少ない。データの利活用をめぐる「透明性」「アカウンタビリティ」「公正さ」「スコアの正確性」「効率性」のバランスをいかに実現するのか。これらの要件すべてが十全に満たされることはない。透明性や公正さを高めることで、効率性が損なわれるといったトレードオフの関係になることもあるため、その適正なバランスがどこにあるのか、より慎重な判断が必要となる。それは同時に、スコアに対する個人の主体性、コントロール可能性を、いかに、どの程度確保するかという課題とも重なっている。

また、日米欧でデータ交易圏をつくりあげる構想がはじまっていると報道されてもいる。データの利活用をめぐるルールの国際化が避けられない趨勢となるならば、日本企業も、今後ますます厳格な国際ルールに則った対応が求められることになる。むやみに個人情報を収集したりやり取りすることは、セキュリティのコストを高めるだけでなく、法的リスクを増大させることにもなることを企業は留意しておくべきだろう。なにが本当に必要な情報なのかを見定め、不必要な情報は取らないなど、個人情報をめぐる適切なガバナンスが求められる。そして最も重要なことは、そうした個人データの利活用が一部の人間のみではなく、あらゆる個人をエンパワーするものでなくてはならない、ということだ。

スーパーシティはオープンになれるか

2018年10月16日付の日経新聞は、AIやビッグデータを活用したまちづくりが、国家戦略特区や自治体で検討されはじめたことを伝えている。片山さつき地方創生相によって「スーパーシティ」と仮称されたそれらの特区では、エネルギー対策から、キャッシュレス、自動運転技術、遠隔診療へのAIの応用が検討されているという。構想自体に問題があるとは思わない。これから訪れるスコア社会は必然的な方向であって、それを止めるべきでもないだろう。けれども、AIとデータによって駆動された「スーパーシティ」が、「ゲートの見えないゲーテッドコミュニティ」（排除的社会）にならないために考えなくてはならないことは、すでに山積みとなっている。

TATSUHIKO YAMAMOTO｜山本龍彦
慶應義塾大学大学院法務研究科（法科大学院）教授。慶應義塾大学グローバルリサーチインスティテュート（KGRI）副所長。総務省「AIネットワーク社会推進会議」構成員、内閣府消費者委員会専門委員（オンラインプラットフォームにおける取引の在り方に関する専門調査会）、経済産業省・公正取引委員会・総務省「デジタルプラットフォーマーを巡る取引環境整備に関する検討会」委員を務めるほか、主な著書に、『憲法学のゆくえ』『プライバシーの権利を考える』『おそろしいビッグデータ』『AIと憲法』など。

【関連記事】

若林恵・黒鳥社の情報をアップデート！
メールマガジン、Twitter、Facebook、Instagram、YouTubeのアカウントをフォローください！