人工知能技術のリスク、特に汎用人工知能(AGI)のリスクについての議論には、専門家も周辺の人々にも、楽観派と悲観派が見られます。一方で、多くの人たちは会話型AIや生成AIに関心を持ちつつ、将来のリスクの議論に関しては静観しているようです。

これは汎用人工知能のリスクを、通常の技術と同じように考えれば良いという認識があるためだと考えられます。しかし、真剣に汎用人工知能のリスクについて考えていくと、通常の技術とは別の考え方をせざるを得ないということに気づかされます。

汎用人工知能を含む一部の技術は、リスク管理と倫理的な観点で、他の技術とは根本的に異なるものです。この違いを明確にしていかなければ、こうした特殊な技術に対する適切な議論を行う事ができません。

この記事では、リスクの観点から特殊な性質を持つ技術をスーパーテクノロジーと定義して、その倫理的なリスク管理について考えます。また、汎用人工知能はスーパーテクノロジーの中でも、さらにリスクの扱いが難しくなる再現可能性と自己進化性という性質を持っていることを示します。その上で、汎用人工知能の開発における倫理的な対応について検討します。

■スーパーテクノロジー

リスクの観点から次のような特殊な性質を持つ技術を、通常の技術とは分けて、スーパーテクノロジーと呼ぶことにします。

スーパーテクノロジーのリスクは、見積る事が不可能です。これは、どこまで大きなリスクがあるかが不明であるということです。人類が得ている豊かさや基本的人権のような価値が大きく制限されたり、最悪の場合、全人類の全滅すらあり得る技術です。

技術リスクは、安全対策の不備や故障による誤動作を含む直接的なリスクだけでなく、技術がおよぼす副作用的なリスクも含みます。副作用には悪意のある者の使用、集団的な大量の使用による影響、技術の浸透による社会や文化の変化によって引き起こされるリスクも含みます。

もちろん予防措置を講じることでリスクは軽減できます。しかし予防措置自体も未知であり、何ができるか、できること全てを行った場合に、リスクがどこまで下がるのかも不可知です。これは調べればわかる未知ではなく、わかることには限界があるという不可知です。

このことは、技術開発をゆっくりと慎重に進めたとしても、どの開発段階で、どんなリスクが発生するかも不可知という事を意味します。開発のごく初期段階で、唐突に人類絶滅を避けることができず、後戻りもできない状況に陥る可能性も、誰も否定はできません。

■スーパーテクノロジーの倫理問題

リスクを見積もることができず、予防措置も不可知なものに、合理的に予防措置を講じることは不可能です。つまり、スーパーテクノロジーを開発すること自体を止めることくらいしか、意味のある予防措置になりません。また、このようなリスク見積り不可能で予防措置も不可知なものを、そのメリットと比較して判断を仰ぐという事自体が、倫理的な問題を含みます。

見積り不可能なリスクを持ちつつ予防措置も不可知で、大きなメリットがある物事は、判断者が誤認しやすい問題です。なぜなら、通常はそのような危険な提案を専門家が持ちかけて判断を仰ぐということがなく、判断者が判断慣れしていないためです。

見積り不可能なリスクで予防措置が不可知とはいえ、提案してくるからには専門家には安全性に対する十分な自信があるのだろうというバイアスを判断者は持ってしまいます。しかし判断者がそのバイアスに基づいて誤認して許可を出してしまうと、提案者はお墨付きがもらえたという理由で実行ができてしまいます。

公開討論を行うという事も、その議論がスーパーテクノロジーの開発の是非というテーマであれば、同じく倫理的な問題があります。

■スーパーテクノロジー開発の必要性原則

もちろん、スーパーテクノロジーには大きなメリットがあり、その開発を止めることにはデメリットがあると言う事はできます。

それを、主張して開発を進めたい場合、倫理的な開発だけでなく、倫理的に問題の少ないやり方で社会的な合意を取る必要があります。

倫理的に問題の少ないやり方は、スーパーテクノロジーの開発の必要性にフォーカスした判断を仰ぐ事です。メリットとデメリットのバランスではなく、全てを失う覚悟で、このメリットを追求する必要性が私達にあるのか、という議論です。

そして、その追求があらゆる犠牲を払ってでも行いたいという場合に、他の代替手段も含めて、スーパーテクノロジーを１つの選択肢として挙げることです。

もちろん、倫理的には、その結論が出るまで開発を進めることは許されません。

この考え方を、スーパーテクノロジー開発の必要性原則と呼ぶことができるでしょう。

■スーパーテクノロジーとしての汎用人工知能(AGI)

スーパーテクノロジーに該当する技術には、原子力技術、遺伝子編集技術、高度な人工知能技術などが考えられます。特に人工知能技術は最も注意を払うべきスーパーテクノロジーです。

人工知能技術の次の目標は、人間と同じような知能を持つ汎用人工知能（AGI）の開発だと言われています。単純な人工知能技術を超えて人間と同様の知能を持つAGIは、リスクが予測できないスーパーテクノロジーに当てはまります。

リスクの観点から考えると、AGIは他のスーパーテクノロジーよりも厄介な性質を持っています。それは再現可能性と自己進化性です。

■再現可能性

技術の中には、再現可能な技術と再現が不可能あるいは困難な技術があります。

例えば原子力技術は、巨大な設備、多くの技術者、費用と特別な鉱物資源が必要になります。また、技術情報は国家機密として扱われているはずで、秘匿性が高い状態にあるはずです。さらに国際社会がその開発に眼を光らせています。

このため再現は多くの人にとって不可能であるか、あるいは極度に困難な技術です。

一方で遺伝子編集技術は、最近では安価な装置でも実現できるそうです。それがどこまでの被害をもたらすことができるかについて私はあまり理解できていませんが安価な装置だけで実施できるとすれば、遺伝子編集の応用技術は、知識さえ習得すれば多くの人が再現可能です。また、原子力技術に比べれば、比較的論文などで技術的な知識を集めやすいでしょう。

人工知能技術は、更に容易性が高まります。ChatGPTに使われているGPT-4のような最先端の人工知能は、ある程度技術的な情報がブラックボックスになっています。しかし、基礎的な技術や仕組みは論文やネット上で公開されています。また、トップレベルの大規模言語モデルを学習させるためには巨大なコストがかかりますが、それでも原子力技術に比べれば桁違いに安価で、その気になれば各国のある程度資本のある企業であれば投資が可能なコストです。

加えて、理論研究だけであればそれほどコストは必要とせず、それなりのパソコンやサーバを揃えれば、誰にも気づかれることなく開発することも可能です。パソコンやサーバのCPU能力の向上やハードウェアコストの低下は今後も見込まれますので、性能やコストの制約は時間と共に軽減されていきます。

従って、人工知能技術は再現可能性が非常に高い技術と言えます。

なお、技術の再現可能性は、善良な人や組織だけでなく、反社会的な組織や自暴自棄で自滅を望むような不安定な個人にも当てはまるということに注意が必要です。あまりに再現可能性が高い技術は、こうした組織や個人も視野に入れて、そのリスクを考える必要があります。

■自己進化性

技術の中には、自己進化性のある技術があります。

例えば人や動物に感染する自然界のウイルスや細菌は、感染が広がる中で遺伝子が変異していき、進化することができます。

このため遺伝子編集技術で人為的に編集されたウイルスや細菌も、感染力を持って世の中に広まってしまうと、最初に人間により作成された状態から自己進化していく恐れがあります。

また、人工知能技術が進んで高い知性を獲得して汎用人工知能(AGI)の段階になると、AGI自体が自分自身のコピーを作成したり、より高度なAGIの開発を行えるようになると考えられています。

そのようなAGIが登場し、インターネットを通じて自由にコピーと研究開発ができるようになったとしたら、最初に人間が作成した状態から自己進化していくことになります。しかも、この進化でより能力の高いAGIができると、更に早く高度な開発ができるようになり、進化の速度は時間と共に指数関数的に早くなっていく可能性も考えられています。

また、AGIが自由に自己コピーや自己研究開発ができないように管理することは、再現可能性の観点と組み合わせて考えると極めて難しいことが分かります。このため、AGIの自己進化性はリスクの観点から、より大きな意味を持ちます。

■汎用人工知能(AGI)への倫理的な対応

スーパーテクノロジーである汎用人工知能(AGI)の開発は、先ほど整理したスーパーテクノロジー開発の必要性原則に沿って考える必要があります。

AGIも他のスーパーテクノロジーと同様に大きなメリットがあり、その開発を止めることにはデメリットがあると主張する人もいるでしょう。このため、現在、世の中ではAGIのメリットとデメリットについての議論が目立ちます。

しかし倫理的には、まず、AGIの必要性を議論の中心として、判断をしなければなりません。最悪の場合には、全てを失う覚悟でAGIを開発してそのメリット享受することが必要であるのかという議論です。この必要性の議論は、多面的に様々な物事に対して考える必要があります。

そして、あらゆる犠牲を払ってでも必要であると判断された場合、必要性の根拠となった様々な物事に対して、AGI以外の他の代替手段も含めて選択肢を挙げていく必要があります。その中で最もメリットとリスクを含めたデメリットのバランスが良いものを議論して選び出すことが、倫理的な選択となります。

もちろん他のスーパーテクノロジーと同様に、倫理的には、これらの結論が出るまでAGIの開発を進めることは許されません。

特に、AGIは自己進化性を持つことが予見されていますので、不注意や故意であっても、開発を進めないことを厳しく取り締まることが重要です。

加えて、AGIを開発するための基礎技術である人工知能技術の再現可能性が高いことを考慮すると、既知のAIの研究開発機関やAI関連企業だけでなく、AI開発を公表していない企業、非営利組織、反社会的集団、個人研究者に至るまで、AGI開発が進められないような対策を講じることまで、検討しなければなりません。それを、世界中の全ての国や地域で行う必要があります。

そうしなければ、倫理的な判断を下す前に、私たちは非倫理的な手段によって開発された、自己進化可能なスーパーテクノロジーであるAGIのリスクと対峙しなければならなくなります。

■倫理的な対応の現実のジレンマ

倫理的な議論と社会的な判断が下されるまで、世界的にアンダーグラウンドまで含めてAGIの技術開発を取り締まる必要があるという話は、非現実的に思えるでしょう。私も、そう思っています。

つまり、私たちが置かれている現実世界は、残念ながらスーパーテクノロジーの倫理の枠組みを、既に超えたところにいるという見方もできます。

ここには２つの選択肢と、その間の倫理的なジレンマがあります。

１つ目の選択肢は、まだAGIに対してスーパーテクノロジーの倫理の枠組みを実践できる段階にいると想定する立場を取る事です。この場合、倫理的にはAGIの技術開発の取り締まりをしつつ、AGIの必要性の議論を進めるべきだという主張をすることになります。

２つ目の選択肢は、AGIについては既にスーパーテクノロジーの倫理の枠組みが決壊しており、AGIの非倫理的な登場は避けられないと想定する立場を取る事です。この場合、登場が想定されるAGIに対して、そのリスクを最小化するための対策を考え、その準備を進めるべきだと主張することになります。

このどちらの立場が正解か、私たちは知る事ができません。１つ目の選択肢を採用したが実は既に手遅れだったとすれば、AGIのリスクを軽減するための研究開発の遅れが裏目に出ます。２つ目の選択肢を採用する場合は、スーパーテクノロジーの倫理を諦めることになりますが、それを諦める判断を誰が行うかという倫理的な問題が発生します。

■複合的なアプローチ

この２つの立場を併せて、AGIの技術開発を取締りながらAGIの必要性の議論を進めつつ、AGIが登場した場合のリスク最小化の対策検討と準備を、全て実施するという選択肢もあるように思えるかもしれません。

しかし、AGIの技術開発の取り締まりを行うと、AGIの対策技術の開発が困難になってしまいます。自動車の安全技術の開発を行うためには、自動車自体を研究開発しなければならないという理屈と同じです。

これらを総合すると、１つ目の選択肢を部分的に採用するという選択肢が最善かもしれません。基本的にはAGIの技術開発を取締りながらAGIの必要性の議論を進めます。ただし、限られた研究開発機関ではAGIリスク対策を目的としたAGIそのものの研究開発と、リスク対策技術の両方の研究開発を進める、という対応です。

この場合も、どの研究開発機関にAGIの研究開発を許可をするのか、誰が許可を与えるのか、その許可の正当性をどう担保するのかといった課題はあります。また、アンダーグラウンドや個人でのAGIの研究開発の取り締まりについて、研究開発の自由やプライバシーの問題などとの倫理的な整合性なども整理が必要でしょう。加えて、そうした取締りの実効性の問題もありますし、それを国際的に行う事の困難さもあります。

しかし、AGIの社会面と倫理面への影響の大きさを考えれば、困難であるからといって簡単に諦めることはできません。

■さいごに

まず重要な事は、私たちが生きている現実世界の現在の状況を、正しく理解可能な形で、広く周知することです。

つまり、再現可能性が高く自己進化性を持つ、非常に特殊なスーパーテクノロジーであるAGIのリスクに直面しつつあるという点です。人工知能の研究者や技術者も、その他の分野の学者やリーダーも、大部分の人はAGIのリスクについて正しい理解ができていません。

私は汎用人工知能が絶対的に危険であるとか、非常に不安だと言いたいのではありません。現実と事実を、私たちは深く理解するべきだと言っているに過ぎません。技術的に難しい知識や理解は必須ではありません。単に、誰にも分からない未知のリスクや不可知のリスクを負っているという、ごくシンプルな現実と事実です。

この状況理解が出来ていないという事は、自分たちの将来の生命、財産、生活に大きく関わる重大事項について、知る権利が大きく損なわれているという意味で、基本的な人権と倫理的な課題も浮き彫りにしています。

多くの人はずっと同じ社会が続くことを前提に、将来に悩み、未来に希望を抱き、人生の計画を立て、努力したり頑張ったりして生きています。それが、何も知らされず、事前の意見表明も活動もできず、覚悟も準備もないままに大惨事に巻き込まれるとすれば、こんなに悲しいことはないと私は思うのです。

AGIの問題は対応が非常に難しく、どんなに努力しても最悪のケースからは逃れられないかもしれないとさえ、思わされます。一方で、現状を多くの人に理解してもらうこと自体は、対策よりは低いハードルであり十分に達成可能なはずです。ですので、せめて今こうした現実に私たちが生きている事を多くの人が知る事ができるよう、マスメディアや影響力のある人たちから強く発信してほしいと考えています。