0.はじめに

先日、WBAIの山川先生に、2023年の人工知能学会全国大会や、SNSで、拙著『BEATLESS』のIAIAについて触れていただきました。

https://twitter.com/hymkw/status/1669693143946772481?s=20

トピックとしては、ニック・ボストロムの「脆弱世界仮説」に関するものです。
話題の起点の記事はこちらで。

つまり、拙著『BEATLESS』で、IAIA（The International Artificial Intelligence Agency）という、ASI（シンギュラリティの向こう側にある人類よりも賢いコンピューター）を管理する国際機関を設定したのですが、現実世界でもこういうものが必要になってきているのではないかというのが、山川先生のお話ですね。

確かにそういう時期は、近づきつつあるとは思います。ASIどころか、AGI（汎用人工知能）もまだまだ遠いですが、いわゆる弱いAI（*1）でも相当なことができるとわかってきたためです。特に、ChatGPTみたいな言語を扱うAIに、さまざまなプログラムを使わせることで、汎用性に相当なところまで近づく可能性が見えてきています。
ただ、noteの読者さんに、この「はじめに」の項を置いて、経緯の話を入れているのは、グテーレス国連事務総長や山川先生の発言が、昨今よくみる"反AI"という実態の定かでないバズワードのものではないという、但し書きが必要に思えたためです。
こうした動きは、おそらく生成AIのインパクトから泥縄で生まれたものではまったくありません。

(*1)簡単にいうと、人間が持つような汎的な認識能力を持たないが、特定の課題は果たせるAI。人間の仕事が果たせたり、人間同様の意識を持っていたり、人間の知能に迫る状態になったりといった”強いAI”と分けるための分類。
ただ、前述のように、"弱いAI"が、能力的には"弱い"ままでも可能なことが広がったためか、この言葉自体が、ChatGPTの登場からあまり使われなくなってきました。

23年３月に、「GPT-4より強力なAIの開発を停止せよ」と署名を集めたFLI（Future of Life Institute）は、GANによって画像認識が脅威的な進展を見せていたすこし古い時期、AI倫理に興味があれば、よく見た名前でした。
たとえば、2015年に人工知能の安全性を研究する３７の研究に資金拠出していました。
このあたりの時期の流れは、今は、イーロン・マスクがOpenAIに資金提供したエピソードのほうが有名かもしれません。

https://www.itmedia.co.jp/news/articles/1507/06/news080.html

FLIは、17年にはアシロマ会議を開催していて、23項の原則を発表しました。

「アシロマAI原則」は、最近は引用されることがなくなっている気がしますが、今も重要なものであると思います。以下、全項目訳は、WBAIから出ています。

FLIの活動を考えれば、3月の提言は、唐突なものではないことがわかると思います。(*)
サム・アルトマンCEOがEUの規制の流れに対して、ビッグ・テックのCEOとしては例外的に自分の言葉で話し、しかも社会の批判から（今のところ）逃げを打っていないことは、やはりまっすぐではなくても歴史の先に今があるためだと思います。

(*)アシロマ原則の和訳がWBAIから出ているように、人工知能学会倫理委員会の創設期メンバーで、WBAIの代表である山川先生が、AIによる人類の存在論的危機の話を、23年の人工知能学会全国大会でされたのも、経緯のある話ではあります。

Stanford大学のAI100も、当時、話題になりました。すくなくとも2015~16年頃には、こうした大きな盛り上がりがあったのです。

MetaからのLLaMAの流出に際して、Stanford Alpacaが堂々とStanford大の名前を掲げていち早く出て、扱いやすく、かつ、破滅的ではないオープンソースの流れができたのも、AI100での蓄積が影響していると思っています。

ChatGPTで巨大なインパクトをもたらしたOpenAIの創設もこの時期です。

日本でも2014年に人工知能学会の倫理委員会が立ち上がっていて、今も活動が続いています。

https://www.ai-gakkai.or.jp/ai-elsi/about/purpose

山川先生はこの人工知能学会倫理委員会の立ち上げ当初のメンバーを
されていたかたでもあります。
長谷もそちらでご一緒していました。(*2)

(*2)SFでは、AIの脅威はおなじみの題材なのですが、それに近づくにつれて、「このビジョンに現実を近づけるわけにはいかない」という危機感も生まれます。
SFでは、舞台がどんなディストピアになっても、本を閉じれば、そこから逃げることができます。現実がそうなってしまうと、逃げ場はなくなります。VRなどに逃避場所を作ることはできるでしょうが、こうした逃避場所が、現実によってたやすく破壊されてしまうことも容易に想像がつくので、わりとまじめにやっていました。

人工知能学会倫理委員会の活動は、以下のような感じで。

人工知能学会倫理指針
https://www.ai-gakkai.or.jp/ai-elsi/archives/471

AI ELSI賞

https://www.ai-gakkai.or.jp/ai-elsi/archives/1219

つまり、長々としてきたのは、AIのコントロールにまつわるもろもろのトピックは、唐突に出てきた動きではなく、10年くらい前から続いてきた活動の延長だという話です。
「生成AIのインパクトによって生まれたもの」ではなく、「AIの社会浸透が一定まできた場合、段階的にシステムを組み立てることが予期されていた」ものの現在地がここで、たまたまそのきっかけが生成AIだったということです。

裏を返すと、生成AIのポテンシャルが各所で予想されているより低かった場合であっても、生成AIではなくAIの起こす社会システム変化そのものからきているので、流れは減速することはあってもおそらく止まらないということです。
なので、IAIAのような「AIを人間がコントロールするための公的枠組み」が現実に必要になってきたときのため、ささやかながら、どういう思考でIAIAを設定したのかを書き残しておくことは、意味があるかもしれません。

1.ASIの管理体制

2011年に『BEATLESS』でIAIAという組織を設定したのは、「人類の知能を超えたAIを、人間はどう管理するか」という問題があったからでした。

『BEATLESS』は、物語の大枠はボーイ・ミーツ・ガールで、ヒロインが高度なAIを搭載した人型筐体でした。このため、社会がAIをどう扱っているかを考える必要がありました。
これは、ボーイ・ミーツ・ガールでは、パートナーがそれぞれの抱えている問題をお互いに解消しながら、成長してゆき、かつ、深く結びついてゆくのが大枠だからです。人間だと、個人が抱えている問題だったりするんですが、AIなので、社会がAIとの間で抱えている問題になりました。

AI管理体制は、その世界にある最高のAIの能力を中心にして規定されます。『BEATLESS』は、ASI（ひとりの人間以上ではなく人類の知能を凌駕するAI）がすでにあって社会認知されている世界にしました。なので、まずASIについて考えることにしました。

まず、核管理体制をヒントに、ASIを厳重に隔離しました。ASIが算出するもの漏出をも厳密に定義づけして（核管理体制でも核物質の管理は厳格であるためです）、その管理者に厳重な管理義務を課す、厳重なAI管理体制を考えました。
これは、ASIが一般化している世界を、読者さんは「自分たちのいる現実と地続きと考えることが難しい」だろうという、リアリティの制約があったためです。ASIがどこにでもあって誰でも好きに世界では、人間のありようが大きく変貌しているはずです。
大きすぎる変貌をした社会で人類のありようも大変革している作品には、しないことにしました。アニメ雑誌での連載(*3)で、読者さんはハードなSF読みというよりアニメファンで、当初からフィギュア展開が決まっていたためです。

(*3)月刊NewType（KADOKAWA） 2011年7月号から2012年8月号。

厳重なASI管理体制にするとして、”ASIから漏出するもの”とは何かというと、知識であり、知識をもとにした有形無形の生産物です。
『BEATLESS』のメインギミックのひとつである人類未到産物は、ASIの管理体制を考えながら、設定を固めたものでした。

人類以上の知能が作った産物を、わざわざ新語を作って定義したのは、物語的なハッタリではなく、シンプルに「核廃棄物のメタファを背負っているため」です。
『BEATLESS』の物語を覚えているかたは、人類未到産物を、「危険なもの」としてキャラクターたちが扱っていたことを覚えておられるかもしれません。
こうなったのは、作中世界では社会的にそう扱われているだろうという、わりと基盤のほうの設定に関わっているためです。

ASIを核エネルギーとからめたのは、巨大な力でありながら、ASIは、”人間に近づくことができる”からです。人間よりすぐれたASIには、人間ができることはなんでもでき、かつ、人間が数千年かけて到達できるような進歩にもあっさり到達して、到達不可能なところまで辿り着くと考えられます。それは、人間に近づけるからこそ、人間を完全に出し抜けるため、制御がききません。今となってはよく聞く話だと思いますが、SFでも実際よくある設定です。
ともあれ、ASIは文明を作り得るので、核エネルギーよりも有益で危険とするのも、妥当なところでしょう。

となると、NPT（核兵器不拡散条約）体制のような、「すでに持っている者にとって利益のある管理体制」が、AIに対しても生まれるわけです。
だいたいみんな考えることは同じのようで、現実世界での提言をご紹介するほうが、リアリティが出るでしょう。

NPTに例えているのは、「すでにそれを保有している者が提案する、それと共存するための枠組み」であるためです。その管理体制は、「すでに保有している者が受益者であり、だから、保有者が枠組みに参加する利益がある」というものです。

ただ、現実世界が面白い方向に向かったのは、「生成AIは企業が主導で研究されたため、企業が持っている」ということです。
企業なので、研究はしたいけれど、利益になるかどうかわからない軍拡競争まではしたくない。そして、企業なので、他の企業に対して強制力を持たないし、他の企業と過剰に示し合わせると企業協定になってしまう。NPTを作りたいけれど、２１世紀にもなってそんなものを企業同士で勝手に作れない。
となると、より市民に近い人類のためのAI利用のための枠組み、「しかるべき場所でAI版のIAEAを作ってくれ」になる。

ここで、なんとなく、山川先生の最初の話と、つながってきたのではないかと思います。

2.ASIのオーナーシップ

IAIAという国際機構について、このタイミングで書いておこうと思った理由は、もうひとつあります。
『BEATLESS』での、IAIAによって管理されるASIのありように、大きな影響を与えたものは、もうひとつあるためです。

それは、巨大AIはビッグサイエンスだという感覚です。
2011年の執筆当時は、「世界には”コンピューター”は５つあれば足りる」というサン・マイクロシステムズの当時のCTOグレッグ・パパドポラスのブログの話が、まだ話題として取り上げられていました。

コンピューターとは、われわれの手元にあるPCのようなものではなく、もっと大型のものを指しますが、それでも、当時、ずいぶん適当なことを言うものだと思いました。

どこを適当極まりないなと思ったかというと。
ひとつには、”コンピューター”が５つだけの世界では、自分自身のデータを演算させるコンピューターを市民が選ぶことができなくなります。
たとえば、国連加盟国194ありますが、このそれぞれの国家が、たとえばすべてAmazonのAWSで政府システムを組むのは、おそらく危険です。よしんばAWSを選ぶとしても、それは、経済合理性なりで自ら選択するものであって、選択肢がないのはよろしくない。
コンピューター管理者側が用意しているおすすめのシステムテンプレート通り、予算をかけてもそのカスタマイズになることでしょう。システムの設計でも、その国の主権と関係がないコンピューター管理者との事前協議で作られてゆくはずです。それしか選択肢がなくなるのは、非民主的です。

ふたつには、人間による組織は、例外なく腐敗するためです。
その運営者が、国家であっても、営利企業であっても、これは同じです。
国家である場合、ASIを握ると言うことは、文書を握るということになります。しかも、ASIよりもうまく文書を扱える知能は人間にないため、透明性を確保するには相当なリソースと合意が必要です。そして、文書を不透明なかたちで支配した国家は、歴史的にみて腐敗します。
営利企業が腐敗しないことはありえず、営利企業は自らの歴史的役目が終わったとしても内部の合議では解散しません。ASIを管理する部署が腐敗したとき、外部から、ASIを悪用した誤魔化しを突破して、是正の手を伸ばす何かは必要になります。
そう考えると、ASIの管理運営を託する選択肢が営利企業しか存在しないことも、ありえない選択でした。

国際機関は、競争がある程度ひと段落して、表面上の安定を得た後も、必要に思えました。
競争の決着の局面で、ASIが少数しかない場合、「なにがしかの審判役」が存在しないと、この少数プレイヤー体制から後にプレイヤーを追加するのが至難だと考えられるためです。
これは、カロリーのかかる競争を繰り返すと、疲弊したプレイヤーは「競争をせずに勝つ方法」を求めるようになる傾向があるためです。ASIを有する勢力によって、学習のためのデータ（あるいは別のASIの強化リソース）が囲い込まれてしまうことでしょう。適切な審判役がいないと、コミュニティはASIの運営者を跳ねつけることが難しいのです。
ASIの運営者が民間なら、市場の論理によって、少数プレイヤーでも競争が永遠に続くでしょうか？　そうは思えませんでした。つまるところ、競合を焼き払ってから値上げをする企業のやり口は、おそらくASIと相性がよいのです。そう考えるのは、「競合を市場から排除してシェアを完全に固めろ」というのは、人類がASIに与えても、実行結果が予測しやすい命令であるためです。

市場が逆転不能な状況が訪れると、安定、もしくは停滞が起こります。こうなると、内部の管理者たちも、運営のために有能さを発揮する必要がなくなります。なので、ASIに都合がよいものでありさえすれば、腐敗が起こると浄化ができません。
この状態で、ASIの寿命は人間より遥かに長いため、社会が固定されることが考えられました。これは、ディストピアとしか言いようがなかったのです。

ASIが道具としての歴史を積み重ねれば、ASIにもオーナー文化は醸成されるでしょう。
ですが、オーナー文化は、社会倫理です。それが、幼稚で乱暴なものにならず、なおかつ誠実に運営されるためには、社会を構築できるだけの頭数とパワーの拮抗が必要です。「世界には”コンピューター”は５つあれば足りる」という記事の中では、納得いく”その５つのコンピューターのオーナー文化"の考察は提示されませんでした。
この企業の技術担当幹部によるAI社会への雑なアプローチ感は、自分にとって
は、今に至るまで解消されていない、ビッグ・テックへの個人的な不信感や、オープンソースへの期待を作ったもののひとつです。

ASIのある世界を考えたとき、多数のパワーの拮抗の上に立つ国際機関を適当としたのはそのためでした。
多数の知能の拮抗、容易にまとめることができないカルチャーやパワーが、それぞれ失うことができないものを確保している、その動的な平衡の中でしか、巨大なパワーを管理できないと考えました。
そして、国際機関だからといって、人が集まればASIをコントロールできる力ができるかというと、それは無理です。
なので、〝人間に理解可能で合意できる憲章〟と、〝多数の国家が批准した国際条約〟を基盤とする国際機関を建てれば、これは、in-the-wildで運用されるASIのオーナーとして、人類が認めることができるものになるのではないかと考えました。

この運用数と運用目的を、必要最低限に収束すること。
つまり、〝ASIの管理体制を運営するASI〟という、運用目的を明確にした、ASを置くこと。運用数は、１基でいい。
このASIは、管理体制が運用されていることそのものを報酬とします。

IAIAという組織は、このASIにもしも到達したときの管理体制と、オーナー文化の問題から、作ったものでした。

IAIAの設定については、具体的なことは、実は『BEATLESS』の設定部分は誰でもオープンに使ってよいものとしてまとめているので、ご興味があれば、こちらもどうぞ。

一次創作でも二次創作でも自由に使って良いので、「トップページ」記載のポリシーの注意書きを確認いただいて、好きに使ってください。

ともあれ、2012~12年に作った作品について、2023年に、言及していただくのは、ありがたいことですね。
たぶん、こういう時期に、１００年先のことを考えておくのは、よいことだと思います。
一歩二歩先をデザインしてゆく努力は、ずっと続けなければならないものです。先のビジョンを作ることを諦めて、技術の進歩を追いかけているだけだと、起こったことに振り回されながら、ちいさな余裕で適応することを考えるしかなくなるので。

適応、サバイブで何が悪いかのかと思われるかたもいるでしょうが、AIは人間どころか生物ですらありません。電力とメンテナンスの手があればよくて、人間のように生物相が必要なわけでもないので、AIにリソースを最適化した世界は、現行生物がまともに生きているかすらわかりません。
AI化した世界への適応は、人間（あるいは人類）が乗り越えて生存できる試練である保証がないのです。

人類が『BEATLESS』で書いたようなASIに到達できるかは、今もってまったくわかりませんが、高度なAI社会のほうは着実に近づいています。
なので、新しいインフラとその上に建築される社会の建築を、ハンドルを誤らずに幸福な方向に進められるとよいですね。

おまけ：オーナー文化についてのやり残し

『BEATLESS』では、オーナー文化と責任の話が、第一話の最初から出てきています。
これは、執筆しながら、それに対する自分なりのアンサーを見つけたかったためです。

『BEATLESS』の物語が、常に、ヒロインであるレイシアの所有責任の話と繋がっているのは、このためです。
ただ、反省点もありました。所有責任の話は、ドラマの構造的に最後までシビアに何かを削るように答えを求めることはできませんでした。
「ヒロインを”所有する”ことは、ポルノグラフィではないのか？」という問いに衝突したためです。

最終的には、物語は、ボーイ・ミーツ・ガールであることを選びました。
つまり、所有関係を社会システムとしては否定せず、かつ、ひとりと一基の中では”対等な関係”であることに落着しました。
どう頑張っても、ストーリーとして、対等でないと、読者さんの祝福できるボーイ・ミーツ・ガールの終わりにするのは無理だと思えたためです。

裏を返すと、レイシアがASIでありヒロインである物語構造上、「ASIを所有するとはどういうことか？」という、オーナー文化の話に対して、長谷の能力では解答できなくなったわけです。

あるいは、物語展開を工夫すれば、ボーイミーツガールとの両立が可能だったのかもしれませんが、ラスト近辺のアクション展開やここまでのドラマの締めと同時にやる方法が見つかりませんでした。
今のかたちがよかったのかは、執筆者本人からはわからなかったところもあります。
このあたりは、１話で、「ASIのオーナー文化」という自分も答えられない問いを未来の自分へとぶん投げたことを含めて、雑誌連載だったことのライブ感だった気がします。