GPT-4以上のAIの学習を6ヶ月停止する公開書簡を出したFuture of Life Instituteの共同創設者のマックステグマーク氏とLex FridmanのPodcastの和訳です。

書き起こし元は以下です。

https://www.assemblyai.com/playground/transcript/6oywy9j7p5-6e7f-4dd2-b6ba-4c8f93bf2e16

SpeakerA=マックステグマーク氏
SpeakerB=レックスフリードマン氏

Introduction

SPEAKER A
長年、多くの人が「少し間を置きたい時が来る」と言い続けてきました。その時が今なのです。
スピーカーB
以下は、ポッドキャストに3回目の出演となるマックス・テグマークとの会話です。実は、彼の初登場は、まさにこのポッドキャストの第1話でした。彼はMITの物理学者であり、人工知能の研究者であり、Future Life Instituteの共同設立者であり、『Life 30 Being Human in the Age of Artificial Intelligence』の著者である。最近では、GPT4の訓練のような巨大なAI実験の6ヶ月間の一時停止を求める公開書簡を先導した中心人物でもあります。手紙の内容は、「GPT Fourより大きなモデルの訓練を6ヶ月間休止することを求めます。これは、すべてのAIの研究開発や、すでに市場に投入されているシステムの使用を一時停止または禁止することを意味するものではありません。私たちの呼びかけは具体的なもので、この能力を持つごく少数の行為者に対処するものです。この書簡には、1800人のCEOと1500人以上の教授を含む5万人以上の個人が署名しています。署名者には、Joshua Benjio、Stuart Russell、Elon Musk、Steve Wozniak、Yuval、Noah Harare、Andrew Yang、その他多くの人々が含まれています。これは、人間とAIのパワーバランスが変化し始める、人類の文明史における決定的瞬間です。そして、マックスの心と声は、最も貴重で強力なものの一つです。このような時に、彼のサポート、彼の知恵、彼の友情は、私が永遠に深く感謝する贈り物となりました。これはアレックス・フリードマンのポッドキャストです。この番組を応援してくださる方は、説明文にあるスポンサーをチェックしてください。

Intelligent alien civilizations

スピーカーB
さて、親愛なる友人たちよ、マックス・タグの登場だ。マーク、あなたはこのポッドキャストの最初のゲストでしたね、エピソード1です。だからまず最初に、マックス、私にチャンスを与えてくれてありがとうと言わなければなりません。この旅を始めてくれてありがとうございます。信じられないような旅でした。私と一緒に座って、私が重要な人物であるかのように振る舞い、話すのが面白い人物であるかのように振る舞ってくれて、ありがとう。そして、それを実行してくれてありがとう。本当にありがとうございました。
スピーカーA
あなたが心血を注いでくれたことに感謝します。論争的なテーマを掘り下げると、ハムレットが語るようなパチンコや矢などに見舞われるのは避けられないことだと思います。しかし、私はこれを賞賛しています。YouTubeの動画が長すぎて、今は20分のTikTok 22nd TikTokクリップのようでなければならない時代です。YouTubeの動画が長すぎて、20分のTikTok 22番目のTikTokクリップのようにならざるを得ない時代なんです。現実は微妙なもので、そのように共有してくれてありがとう。
スピーカーB
では、このポッドキャストで最初にした質問をもう一度してみますね。エピソードその1、あなたとの会話。宇宙には知的生命体がいると思いますか？その質問をもう一度してみましょう。何か最新情報はありますか？星空を眺めるとき、あなたはどのような景色を見ていますか？
スピーカーA
ですから、私たちが星空を眺めるとき 宇宙全体を指すのではなく、望遠鏡で見ることができる宇宙の球状の領域で、ビッグバン以降、光が届くまでの時間があるものと定義するならば、私は少数派になります。私は、この球状の領域の中で、インターネットラジオを発明し、私たちのレベルの技術を手に入れたのは、私たちだけだと推測しています。もしそれが本当なら、これを台無しにしないよう、私たちに大きな責任が課されることになります。もしそれが本当なら、生命は非常に稀な存在であり、私たちはこの高度な意識の閃光の管理者であることを意味します。もし私たちがそれを育て、成長を助けるなら、最終的に生命はここから宇宙の大部分に広がり、私たちはこの素晴らしい未来を手に入れることができます。その代わり、私たちが作った技術を無謀に使い、愚かさや内輪もめで消してしまうなら、私たちの宇宙の残りの歴史は、空のベンチを求めるだけのものになってしまうかもしれませんね。でも、実は私たちは、かなり近いうちに宇宙人エイリアンインテリジェンスの訪問を受ける可能性が非常に高いと思っているんです。しかし、私たちはそのエイリアンの知性を構築することになると思います。
スピーカーB
つまり、人類とは異なる知的エイリアン文明を誕生させることになるのです。地球での進化は生物学的な道筋という点で創造することができたのです。
スピーカーA
そうですね。猫や地球上で最もエキゾチックな動物よりも、はるかに異質な存在になるでしょう。エイリアンが作ることのできる心の空間は、進化がもたらすものよりもはるかに速いのです。私たちが創り出す心が、私たちの価値観を共有し、人類にとって有益なものであること、そして苦しまない心を創り出すものであることを確認することは、大きな責任でもあるのです。 SPEAKER B
AIがあり得るエイリアンの心の全スペースを視覚化しようとするのか？様々な種類の知性を考慮し 人間ができることを一般化し 知的な生き物や実体ができることを 全範囲に広げようとするのでしょうか？
スピーカーA
努力はしているのですが、失敗していると言ってもいいでしょう。つまり、人間の頭で、まったく異質なものに取り組むのは、私たちにとっても非常に難しいことなのです。もし、私たちが死や個性にまったく無関心だったらどう感じるか、想像してみてください。例えば、スウェーデン語の話し方について、私の知識をコピーすることができると想像してみても、どうでしょう。ブームです。そうすれば、あなたはスウェーデン語を話すことができますし、私のクールな体験のどれかをコピーすることができます。そうすると、人間としての感じ方がずいぶん変わってきますよね。そうですね。コピーするだけなら、勉強する労力も減るだろうし。もし飛行機が墜落し始めたら、「しまった、4時間も脳をバックアップしていなかったから、このフライトの素晴らしい経験がすべて失われてしまう」と、死を恐れなくなるかもしれませんね。また、お互いの経験や知識を気軽に共有できるようになれば、他の人に対しても、より思いやりを感じるようになるかもしれません。でも、それはとても難しいことです。私はこのことについて、実際にどう感じるか、とても謙虚に考えています。というのも、可能性のある知性の思考空間は、私たちのものとは大きく異なるからです。彼らが私たちと同じような存在であるとか、私たちのような存在であると仮定すると、非常に危険です。
スピーカーB
人間の歴史は、詩や小説を通して、哲学を通して、人間の状態やそれに付随するものを描写しようとしてきたんだ。ジェシカが言ったように、死への恐怖とか、そういう類のものだ。愛とは何なのか？そして、そのすべてが、異なる種類の知性を持てば変わる。そのすべて、全体、人間であることが一体どういうことなのか、彼らが忍び寄らせようとしている詩のすべて。そのすべてが、AIの懸念やAIが経験する実存的危機、それが人間の実存的危機、人間の条件とどうぶつかるかを変えてしまう。それは理解するのも予測するのも難しいことです。
スピーカーA
難しいんです。でも、考えるのは魅力的です。また、私たちが構築しているますます強力なAIを、私たちが恐ろしいと思う目標を持つ他の人間にコントロールさせ、私たちが機械にコントロールを奪われず、AIが私たちの望むものを提供してくれるというベストシナリオでも、その場合でも、ここで触れたような疑問が出てきますよね。実際に物事を行うのは難しいという葛藤は、私たちに意味を与えるものの一部でもあるのかもしれませんね。そうでしょう？例えば、マイクロソフトのGPT Fourの新しいCMで、この女性が愛する娘に卒業式のスピーチをするデモを見せて、200字くらいでいいから書いてくれとGPT Fourに頼んでいるのが、とても衝撃的だったんです。もし、自分の親が200字を書くのにちょっと苦労して、それをコンピュータに外注するのが面倒くさいとわかったら、本当に腹が立つと思う。実際。私たちの存在からこのような苦労を排除しすぎると、あるものを奪ってしまうことになるのではと思うのですが。
SPEAKER B
人間であることの意味を少しは？ええ、予測もできません。ある人が言っていたのですが、人に対して本当に感じたことを書くために、4.0ではなく3.5のChad GPTを使い始めたそうです。彼らは短気なところがあるので、基本的にはChad GPTにもっと素敵に書き換えてもらい、言いたいことは伝わるけど、もっと素敵に書き換えてもらおうと思っています。つまり、コミュニケーションから内なるアホを排除しているくらいなんです。そのため、ポジティブな面もありますが、ほとんどは人間のコミュニケーション方法の変容にすぎません。私たちの社会の多くは、このコミュニケーションという接着剤の上に成り立っているのですから、これは恐ろしいことです。もし私たちが今、コミュニケーションの媒体としてAIを使い、私たちの代わりに言葉を発するとしたら、人間のコミュニケーションに含まれる感情の多くは、外注のAIによって処理されることになる。私たちが他の人間に対してどのように感じるかという内的状態はどう変わるのでしょうか。何が私たちを孤独にし、何が私たちを興奮させ、何が私たちを恐れさせ、どのように私たちは恋に落ちるのでしょうか？そういうものすべてです。
スピーカーA
そうですね。私個人としては、正直なところ、挑戦することは私の人生を本当に有意義なものにしてくれるもののひとつです。妻のマヤと一緒に山登りをするとき、ただボタンを押して頂上に立つだけでは嫌なんです。苦労して汗だくになって登り、「あぁ、やった」と実感したいのです。それと同じように、私も常に自分を磨いて、より良い人間になりたいと思っています。もし、怒りにまかせて後悔するようなことを言ったとしたら、AIに言うのではなく、もう一度、自分を見つめ直したいと思います。これからは、自分の書いたものをフィルタリングして、自分を磨く必要がないようにします。 SPEAKER B
でも、チェスやAIのようになる可能性もありますね。AIが人間の性能を大幅に、明らかに上回ったら、AIは独自の世界に住み、人間に豊かな文明を提供するかもしれません。しかし、私たち人間は、AIがより賢く、より強く、あらゆる面で優れているにもかかわらず、山に登り、ゲームをし続けるでしょう。チェスのように、人間は人間らしくあり続け、AIは人間の経験を繁栄させるための媒体のような存在になるというのが、ここで考えられる希望的な軌跡です。
スピーカーA
ホモ・サピエンスからホモ・センテンスへのブランド再構築とでも言いましょうか。今、サピエンスは知的な能力であり、私たちはそれを種族名にも入れています。私たちは、地球上で最も賢い情報処理を行う存在として、自分たちをブランド化しているのです。しかし、AIが進化し続ければ、それは明らかに変化します。そこで、私たちは、ホモ・センテンスという主観的な体験に焦点を当て、それこそが本当に価値のあるものだと言うべきかもしれません。愛も、つながりも、その他のものも。高飛車にならず、私たちだけが積分を行えるという思い上がりを捨て去りましょう。 スピーカーB
だから、意識、主観的な体験は、人間であることの意味の根本的な価値なんです。それを優先させるのです。
SPEAKER A
しかし、そのためには、地球上で最も賢い人間だけでなく、地球上のすべての生き物に対する思いやりも必要です。例えば、私たちは今、多くの家畜を酷く扱っていると感じています。その言い訳は、「彼らは私たちほど賢くないから」です。しかし、もし私たちがAIE以降の時代において、物事の全体像においてそれほど賢くないことを認めるのであれば、牛の主観的な経験も大切にしなければならないでしょう。

Life 3.0 and superintelligent AI

スピーカーB
さて、5年以上前に書かれた、今となってはますます先見性のある本、「Life 3.0」を簡単に紹介させてください。まず、3.0とは、1.0とは何か？2.0は何ですか？3.0とは何でしょうか？そして、そのビジョンはどのように進化してきたのでしょうか。本の中のビジョンは今日に至るまで進化しています。
スピーカA
生命体1.0は、バクテリアのように実に間抜けで、生涯の間にまったく何も学習することができません。学習は、ある世代から次の世代への遺伝的プロセスによってもたらされるだけです。生命2.0は、私たちや他の動物で、生涯を通じて多くのことを学ぶことができる脳を持つものです。あなたは英語を話せないまま生まれ、ある時、自分のソフトウェアをアップグレードしたいと思いました。英語を話すモジュールをインストールしよう。だから、そうしたんですね。そして、まだ存在しないLife 3.0は、私たちができるようにソフトウェアだけでなく、ハードウェアも置き換えることができます。そして、そこに高速で向かっているのです。人工膝のペースメーカーを入れたり、エトセトラ、エトセトラができるので、すでに2.1かもしれません。そして、ニューリンク社などが成功すれば、ライフ2.2などということになるでしょう。しかし、AGIを作ろうとしている企業が作ろうとしているのは、もちろんフル3.0です。そして、生物学的根拠が全くないものに、その知能を搭載することができるのです。
スピーカーB
だから、制約が少なく、能力が高い。1.0から2.0への飛躍のように、あなたが細菌についてあれほど厳しく言い、細菌を軽んじているにもかかわらず、そこには生命2.0と3.0を貫く同じ種類の魔法があるのです。生命、知性、意識について本当にパワフルなものは、1.0の時点ですでに存在していたように思えます。それは可能なのでしょうか？
スピーカーA
私たちは謙虚であるべきだと思いますし、すべてを二元化して、あるともないとも言い切れないと思います。アメーバのような単細胞生物も少しは学ぶことができるのではないかという議論もあるくらいです。ですから、もし私がここに細菌を送り込んだとしたら、申し訳ありません。そんなつもりはなかったのです。それよりも、一生のうちに劇的に学習できる脳を持つということが、いかに素晴らしいことかを話したかったのです（典型的な人間）。そして、1.0から2.0、3.0と上がっていけばいくほど、自分の運命の船長、自分の船の船長、自分の運命の支配者になり、進化が与えたものの奴隷になることは少なくなります。そうですね。ソフトウェアをアップグレードすることで、私たちは前の世代や親とさえも違う存在になれるのです。そして、ハードウェアも入れ替えれば、どんな肉体にもなれる。もちろんです。本当に？空は限界です。
SPEAKER B
そうですね。運命を左右する計算を行う速度を加速させるわけです。 SPEAKER A
そうですね。そして、この文脈で何を意味するのか、少しコメントする価値があると思うんです。生命とは、肉の袋や素粒子の袋としてではなく、情報を処理し、自然が常に混乱させようとしているにもかかわらず、自らの複雑性を保持できるシステムであると考えるのが、私の現在の理解である。つまり、情報処理をすることで、海の波のようなものによく似ているわけですが、これはその水分子ではありませんよね。水分子は上下に揺れ動きますが、波は前に進みます。これは情報パターンなのです。レックスも同じで、私と最初にやったときと同じ原子ではありません。ほとんどの原子が入れ替わっていますが、それでもあなたはあなたであり、情報パターンはそのままです。そして、もし腕などを交換できたとしても、このような連続性を保つことができるのです。より洗練された、情報が生き続ける時間のずっと前のような存在になる。私は前回のポッドキャスト以来、両親を亡くしましたが、両親についてこのように考えることで、完全に亡くなったわけではないのだと、とても慰められます。なぜなら、パパとママの多くは、すみません、ちょっと感情的になってしまいましたが、価値観や考え方、さらにはジョークなど、消えてしまったわけではないのです。そうですね。生き続けているものもある。私はその一部を受け継ぐことができますし、他の多くの人たちにも受け継がれている。そういう意味では、Life 2.0であっても、私たちはある程度、肉体や死を超越することができます。特に、あなたがポッドキャストでやっているように、自分の情報やアイデアを多くの人と共有することができれば、それこそ私たちがバイオの身体で得られる最も近い不老不死と言えるでしょう。
スピーカーB
少しづつ運んで、あなたははい。寂しいですか？お父さん、お母さんに会いたいですか？
スピーカA
もちろんです。
SPEAKER B
彼らから人生について何を学びましたか？それが少しでもわかるなら。 SPEAKER A
余談ですが、いろんなことがありますね。まずは、数学と宇宙の物理的な謎に魅了されたことです。その多くは父から受け継いだものです。しかし、本当に大きな問題や意識などに対する私の執着は、実はほとんど母から得たもので、この2人から得たものは、私という人間の非常に核となる部分だと思うのです。二人とも、自分のことは自分でやり、時には非難されることもありましたが、とにかくやり遂げました。
スピーカーB
だから、あなたは常に私にインスピレーションを与えてくれています。自分の分野のトップにいながら、自分なりのやり方で大きな問題に取り組もうとしている。あなたは私にとって、MITを最もよく表している人物の一人です。その点で、あなたは常にインスピレーションを与えてくれました。
スピーカーA
ええ、あなたは優しすぎるわ。でもね、科学をやる良い理由って、本当に好奇心が強いからなんだよ。自分がこうだと思えば、他の人が「そんなのデタラメだ」と言っても、自分が正しいと思うことを貫き通す。映画を見ていると、いつも負け犬を応援してしまうのですが、私の父もかつて、例えば、私がこれまでで最もクレイジーな論文を書いたとき、私たちの宇宙は最終的に数学的であるという話をしたことがあります。ある有名な教授からメールが届き、「これはデタラメであるだけでなく、あなたのキャリアを台無しにすることになる。こんなことをするのはやめたほうがいい。私はそれを父に送りました。父が何と言ったか知っていますか？彼はダンテのセグエ lacedir lagenteの言葉を引用して返信してきたんだ。自分の道を歩み、人々に語らせる。行け、父さん、そうだ、これは彼が死んだようなものだ。しかし、その態度は、そうではない。
SPEAKER B
男として、人間として、それらを失うことで、あなたはどう変わったのでしょうか？世界に対する考え方はどう変わりましたか？私たちが話しているこのこと、つまり、人間が他の生きている感覚を持った、おそらく存在するものを作り出すということについて、どのように考えを広げたのでしょう。
スピーカーA
それは主に2つのことが原因だと思います。ひとつは、彼らが亡くなった後、自分の荷物を整理したりしたことで、「なぜ自分はこんなことをしているのだろう」と自問することがいかに重要であるかを思い知らされたことです。なぜなら、彼らが膨大な時間を費やしたものを見て、後から考えると、本当にこれに時間を費やしたのだろうか、それとももっと有意義なことをしたのだろうかと考えるのは避けられないからです。だから、私は今、自分の人生を振り返り、「なぜ私は今やっていることをやっているのか？それは、自分が本当に楽しいと思えることであるか、人類の役に立つという意味で本当に意味のあることであるか、どちらかであるべきだと思います。もし、その2つのカテゴリーに当てはまらないのであれば、あまり時間をかけない方がいいかもしれませんね。もうひとつは、このように個人的な死と向き合うことで、他人から「バカだ」と言われることを恐れなくなったことです。そして、自分が本当に大切だと思うことに集中するのが少し楽になりました。 スピーカーB
自分の死に対する恐怖はどうでしょう。これが起こることだということをよりリアルに感じられるようになったのでしょうか？
スピーカーA
ああ、おかげでものすごくリアルになったよ。そして、私たちの家族では、今、私が次の世代なんですね。私と弟の2人ですが、2人ともとても堂々とした態度で対応してくれました。あれは本当に感動した。また、彼らは決して物事に文句を言いませんでした。年をとって体がボロボロになってくると、文句を言うことが増えてくるものです。彼らは、自分たちがまだできることで、意味のあることは何だろうかと考えました。そして、失望したことについて話したり、深く考えたりして時間を浪費するのではなく、それに集中したのです。朝から不平不満のリストを作れば、誰でも自分を落ち込ませることができると思います。しかし、小さな瞑想や感謝することから1日を始めると、基本的に、自分だけが持っている幸せな人間であることを選択できます。
スピーカーB
使える日数は限られている。感謝することを大切に。
スピーカーA
そうですね。

Open letter to pause Giant AI Experiments

SPEAKER B
あなたはたまたま、人類がこれまでに創造したものの中で、人類の文明に最も大きな影響を与える可能性のあるもの、つまり人工知能に取り組んでいますね。これは、詳細な技術的レベルでも、高い哲学的レベルでも、あなたが取り組んでいるものです。そこで、あなたが取り組んでいるオープンレターがあるという話を聞いたのですが。
スピーカーA
実はあと数時間で本番なんです。夜遅くまで、そして朝早くまでやっています。実はとてもエキサイティングなことなんだ。要するに、「Don't look up the film」はご覧になりましたか？
スピーカーB
そうですね。
SPEAKER A
これを見ている人で、見ていない人のために映画のネタバレになるのは嫌ですが、これを見ている人は見ていないんですよね。私たちが実際に演じているのだから、見てください。人生が芸術を模倣しているのです。人類は今まさにそれを実践しています。ただし、自分たちで作った小惑星を除いては。ほとんど誰もこのことについて話しません。人々は地球上で様々なことで争っています。それは、私たちを襲おうとしている小惑星に比べれば、とても小さなことのように思えます。そうですね。ほとんどの政治家は、このレーダーすら持っていません。100年後とか、そういうことを考えているのでしょう。今、私たちは分かれ道に立っています。これは、人類がこの惑星で10万年以上生きてきた中で、最も重要な分かれ道なのです。私たちよりも賢い新しい種を効果的に構築しているのです。しかし、そのほとんどはロボットで具現化されていないため、まだ種としての姿はありません。しかし、これは技術的な問題であり、すぐに変更されるでしょう。そして、私たちと同じようにすべての仕事をこなす人工的な一般知能の登場、そしておそらくそのすぐ後に、私たちの認知能力を大きく超える超知能が登場するのでしょう。人類にとって最高の出来事となるか、最悪の出来事となるか、どちらかでしょう。私は、そこにそれほど中間的なものはないと確信していますが。 SPEAKER B
それはもちろん、人類の文明を根本から変革するものでしょう。
スピーカーA
まったくもって、まったくもって。繰り返しになりますが、私たちは自分たちをホモ・サピエンスと名付けました、それが基本的なことだと思えたからです。私たちはこの惑星の城の王者です。私たちは賢いのです。もし私たちが他のすべてをコントロールできるようになれば、これは非常に簡単に変わる可能性があります。AIの進歩が止まらない限り、私たちが地球上で最も賢い存在であることは長くはないのは確かです。そして、AIが史上最高のものになると考える理由や、人類の終焉をもたらすと考える理由についても、もちろん超論争的です。しかし、高度なAIに取り組んでいる人なら誰もが同意できるのは、映画『上を向いて歩こう』のようなもので、その巨大さを考えると、真剣な世間の議論がほとんどないのは実に滑稽だということでしょう。
スピーカーB
つまり、現在、GPT Fourのようなものが開発され、それが急速に改善される兆しを見せており、近い将来、超知的なAGI AI一般AIシステムの開発につながる可能性があり、それが社会にどのような影響を与えるかという話なのです。
スピーカーA
その通りです。
SPEAKER B
そのモノが一般的な人間レベルの知能を獲得し、さらにその先に一般的な超人レベルの知能を獲得したとき。ここで探求すべき問題はたくさんあります。そのひとつが、「停止」です。この手紙の内容は、これらのシステムの開発を一時停止すべきだということを示唆しているのでしょうか？
スピーカーA
その通りです。だからこれは非常に物議を醸すことになる。最初に話した時に、私が未来生活研究所の立ち上げに携わり、2014年にとても頑張ったという話をしました。2015年はAIの安全性、リスクさえもありうるという考え方、それに対して何かできるのではないかという考え方が主流でした。それ以前は、それを口にすること自体、本当に奇抜だと思う人が多かったし、AIの研究者の多くは、これはあまりにも薄っぺらで資金繰りに響くのではないか、それを口にする人たちはAIを理解していないだけなのではないか、と不安を感じていました。私は、このような流れにとても満足しています。今では完全に主流になっています。AIのカンファレンスに参加すると、人々はAIの安全性について語り、方程式やシミュレーター、その他もろもろを駆使したオタク的な技術分野であることがわかります。しかし、これとは別に、これまでかなりタブー視されてきた、減速を求める声があるのです。ですから、私たちが常に言っているのは、私も含めて、何度も舌打ちしていますが、AI開発のスピードを落とす必要はない、ということです。AIのパワーの増大と、それを管理する知恵の増大という、知恵比べのようなレースに勝つ必要があるのです。そして、AIを減速させるのではなく、知恵を加速させ、強力なAIが自分の望んだことを確実に実行できるようにするための技術的な作業を行い、インセンティブや規制によって社会を適応させ、これらのことが有効に活用されるようにしましょうということです。しかし、悲しいかな、それはうまくいきませんでした。2014年にこのプロジェクトを開始した当時、多くの人が考えていたよりも、技術的なAIの進歩はずっと早く、本当に高度なAIを作るのは思ったよりも簡単であることが判明しました。その一方で、私たちが期待したよりもはるかに遅いスピードで進んでいます。政策立案者などに、AIを良い方向へ導くためのインセンティブを実際に導入してもらう必要があります。それを紐解いて、それぞれについて少し話をした方がいいかもしれません。では、なぜ多くの人が思っていたよりも早く進むのでしょうか？今にして思えば、それはまさに飛行機械の製造と同じです。鳥はどうやって飛ぶのだろう」と、人々は多くの時間を費やしてきました。そして、それは本当に難しいことがわかりました。鳥が飛ぶテッドトークを見たことがありますか？
SPEAKER B
空飛ぶロボット鳥のような？
SPEAKER A
そう、観客の周りを飛び回るのです。しかし、ライト兄弟が最初の飛行機を作るよりも、その方法を理解するのに100年もかかっています。しかし、進化は手を縛られていたため、より複雑な方法を選びました。ライト兄弟が気にしなかった、自分で組み立てる機械しか作れなかったのです。周期表で最も一般的な原子だけを使う機械しか作れない。ライト兄弟はそんなことは気にも留めなかった。鋼鉄や鉄、原子を使うことができ、自己修復が可能でなければなりませんでした。そして、驚くほど燃費の良いものでなければなりませんでした。多くの鳥が使う燃料は、人間のために同じ距離を飛ぶリモコン飛行機の半分以下です。もう少しお金をかけて、屋根に燃料を積めば、100年早く実現できるのです。まさに今、この大規模な言語モデルで起こっていることなのです。脳はとてつもなく複雑です。多くの人が間違いを犯しています。機械に組み込む前に、まず脳がどのように人間レベルのAIを行うかを解明しなければならないと考えているのです。それは完全に間違っていました。トランスフォーマーネットワークと呼ばれる非常にシンプルな計算システムを用いて、信じられないほど馬鹿なことをさせるように訓練することができます。膨大な量のテキストを読み、次の単語を予測しようとするだけです。そして、大量の計算機と大量のデータを投入すれば、恐ろしいほど優れた結果が得られることがわかったのです。GPT Fourのように、私はこの製品が発売されたときからずっと遊んできました。そして、あれで完全な人間レベルにまで到達できるかどうかについては、まだ議論があります。しかし、その詳細や、大規模な言語モデルがそうでなくても、人間レベルのAIを手に入れることができるかもしれない方法については、また後日お話したいと思います。
スピーカーB
GPT Fourの感想について、余談ですが簡単に提案してもらえますか？この進歩の速さに感心していること。しかし、GPTフォーの理性はどこにあるのでしょうか？直感のようなものは何ですか？GPT Fourの能力に割り当てられる、人間が解釈できる言葉は何でしょうか？
スピーカーA
とても楽しみでもあり、怖くもある。面白いほど感情が入り混じっています。
スピーカーB
人生の最高のものには、なぜかこの2つが含まれている。
スピーカーA
そうですね、遊んだことのない人は絶対に推理できますから、ディスる前にぜひやってみることをお勧めします。かなり顕著な推理ができる。自分ではできないと思ったことを、たくさんやらされました。その上、明らかに我々よりも劇的に速いんです。しかし、そのようなことをしながらも、同時に多数の人間にサービスを提供しているのですから、人間のような推論をすることはできません。私たちの頭の中には、専門用語でリカレント・ニューラル・ネットワークと呼ばれるものがあります。ループがあるのです。情報は、このニューロンからこのニューロンへ、そしてこのニューロンへ、さらにこのニューロンへ戻ってきます。何かをしばらくの間、反芻することができます。TPTフォーのような大規模な言語モデルは、自己反映が可能です。これはいわゆるトランスフォーマーで、情報の一方通行のようなものです。基本的に。オタク用語では、フィードフォワード・ニューラル・ネットワークと呼ばれています。そして、それはとても深いので、論理的なことしかできません。それだけステップが多くて深いから、その分解けなくなるような問題を作ることもできる。しかし、この信じられないほどシンプルなアーキテクチャで、すでにこれほど素晴らしいことができるという事実は、非常に驚くべきことです。MITの私の研究室で、大規模な言語モデルの内部を調べて、どのようにそれを行っているのかを解明しようとしたときに見えてきたもの、それが私たちの研究の重要な核心部分です。これは「機械論的解釈可能性」と呼ばれるものです。オタク用語で言えば、何か賢いことをする機械があるとします。それをリバースエンジニアリングして、どうやるのか見てみるのです。また、人工神経科学とも考えてください。神経科学者が実際の脳を使って行うのとまったく同じです。しかし、ここでは、測定誤差を心配する必要がないという利点があります。すべての神経細胞が常に何をしているかを見ることができるのです。そして、何度も繰り返し見られることがあります。最近、多くの研究者が美しい論文を発表しています。この分野では、あることがどのように行われるかを理解したときに、「ああ、これは馬鹿げたやり方だ」と思えるようなものがいくつかあります。そして、どうすれば改善できるかがすぐにわかるのです。例えば、最近発表された美しい論文では、大規模な言語モデルが、パリのエッフェル塔のような特定の事実をどのように保存しているのか、その保存方法を正確に解明していました。そして、それを理解した証拠に、編集することができたのです。シナプスの一部を変更したのです。そして、「エッフェル塔はどこにあるのか？と聞くと、ローマにあると答えました。そして、「どうやって行くのですか？ドイツからどうやって行くんですか？この電車でローマに行くんだ、テルミニ駅だ、とかね。そして、その前にいたら何が見えるかな？ああ、コロッセオが見えるかもしれませんね。
スピーカーB
それで、編集して、文字通りローマに移したのです。
スピーカA
しかし、この情報を保存する方法は、これを聞いているオタク仲間にとっては、信じられないほど間抜けなものです。大きな行列があり、大雑把に言えば、これらを符号化する行と列のベクトルがあり、それらは非常に手のひらサイズの主成分に対応しています。それをデータベースに保存するのは、スパースマトリクスの方がはるかに効率的です。ここまでで、私たちはこれらの方法がどのようなものかを理解しましたが、簡単に改善できることがお分かりいただけたと思います。また、この特殊なアーキテクチャにいくつかの障害があったとしても、賢い研究者がすぐに回避策を見つけ、他の種類のアーキテクチャを実現することを妨げるものではありません。要するに、人間に近い知能を作るのは、私たちが思っていたよりもずっと簡単だということがわかったのです。つまり、私たちの種が一緒に行動できるようになるまでの時間が短くなったということです。
スピーカーB
そして、大規模な言語モデルの有効性については、恐るべきものがあるようです。サム・アルトマンは、GPT-3からGPT-4への飛躍は、賢い研究者があちこちに小さな修正を加えただけのハックや小さな探求の積み重ねであることを、最近話してくれた。アーキテクチャの根本的な飛躍や変革、より多くのデータとより多くのコンピュート、より多くのデータとコンピュートというわけではありません。しかし、大きな飛躍は、データや計算機ではなく、あなたが言ったように、この新しい学問を学ぶことにあると彼は言っています。つまり、研究者はこれらのアーキテクチャに注目し、大きな飛躍を遂げる可能性があるのです。そして、ある日突然、このモデルが10倍賢くなり、それが火曜日や水曜日の午後に起こる可能性があるのです。そして、突然、10倍賢いシステムを手に入れることができるのです。計算機の直線的な改善や指数関数的な改善はともかく、計算機の着実な改善やデータの着実な改善が、次の飛躍につながるとは限らないのですから、これは新しい学問のように思えます。それは、すべてを改善する驚きの小さなハックかもしれませんし、多くのことを改善するかもしれません。
スピーカーA
このように多くのことが公開されているため、あちこちで小さな飛躍が起きています。また、多くの賢い人々がこれを見て、あちこちに小さな飛躍を見出そうとしています。そして、「私が飛躍しなければ、他の誰かが飛躍する」と感じるような集団的な競争になります。そして、このことは、実はもうひとつの部分にとって非常に重要なことなのです。なぜ、これを遅らせたいのでしょうか？繰り返しますが、この公開書簡が求めているのは、GPT Fourよりも強力なシステムの訓練を6カ月間、すべて停止することです。研究室が安全性について少し調整し、社会が適応するための機会を与えることです。研究室に適切なインセンティブを与えることです。あなたは研究室を率いる多くの人々にインタビューしていますが、彼らが善良で、理想主義的な人々であることは、私と同じようにご存知でしょう。彼らは何よりもまず、AIが人類を救う大きな可能性を持っていると信じているからこそ、このようなことをしているのです。しかし同時に、彼らはこの恐ろしい底辺への競争に陥っているのです。スコット・アレクサンダーの「Meditations on Molok」は読まれましたか？
SPEAKER B
そうですね。
SPEAKER A
ギンズバーグのこの詩に関する美しいエッセイで、彼はこの詩をこの怪物についてのものだと解釈しています。それはゲーム理論の怪物で、人々を互いに対立させ、最終的には誰もが負けるような底辺の競争をさせる。この怪物の悪いところは、みんながそれを見て理解しても、まだレースから抜け出せないことです。そうですね。私たち人間がする悪いことの大部分は、モロックが原因です。スコット・アレクサンダーがモンスターに名前をつけたことで、私たち人間がそれをモノとして考えられるようになったのは、とてもいいことだと思います。なぜ乱獲が起こるのか、なぜもっと一般的に「コモンズの悲劇」が起こるのかを考えてみましょう。なぜリブ・ボアなのか......彼女が出演していたかどうかわかりませんが。
スピーカB
あなたのポッドキャストええじゃないか、彼女は友達になったんだよ。
スピーカA
素晴らしい。彼女は最近、多くの女性インフルエンサーが使うことをプレッシャーに感じている美容フィルターは、まさにモロクの再来であるという素晴らしい指摘をしています。最初は誰も使っていなくて、みんなそのままの状態で見ていたんだけど、そのうちの何人かが使い始めて、ますますプラスチックファンタスティックになった。そして、使っていなかった他のものも、自分たちのシェアを維持するだけなら、自分たちも使い始めなければならないと気づき始めた。そして、全員が使っているのに、誰も以前よりシェアを伸ばしたり、下げたりしていないという状況になり、誰も何も得をしなくなりました。誰も得をせず、誰もが損をし、さらにプラスチックファンタスティックになり続けなければならないのです。そうですね。でも、コストがかかりすぎるから、誰も昔のやり方には戻れない。そうですね。モロックはどこにでもいる。そして、モロクもまた、新しく登場したわけではありません。私たち人類は、モロクに対抗するために、さまざまな種類の建設的な協力体制を構築してきました。ソ連とアメリカは、不必要に危険な核軍拡競争を煽るモロックに対して、多くの軍備管理条約を締結した。そして、今回のAI戦線ではまさにこのようなことが起こっています。地政学的な側面もありますが、商業的な圧力が非常に強いため、ほとんどが金銭的なものです。トップクラスのハイテク企業のリーダーたちが、「これは危険だから半年間休止したい」と言えば、株主やその他の人々から、「あなたが休止しても、あの人たちは休止しないのだから、私たちは昼食を食べられたくない」というプレッシャーを受けることになります。そして、株主は最悪の場合、経営陣を交代させる権限まで持っているわけですよね。だから私たちは、セクター全体に十分なパブリック・プレッシャーを与えることで、理想主義的なハイテク企業の経営者たちが心のままに行動するのを助けたいから、このオープンレターを作成しました。ただ一時停止することで、全員が協調して一時停止できるようにするのです。そして、世論の圧力がなければ、どんなに善良な人であっても、株主に対して反撃することは、誰も一人ではできないと思います。スモロックは本当に強力な敵です。
スピーカーB
つまり、このようなAIシステムの主要な開発者のためにということです。つまり、マイクロソフト、グーグル、メタ、その他誰でもいいという話です。 スピーカーA
OpenAIは、マイクロソフトと非常に仲が良いですね。マイクロソフトと、もっと小さなプレーヤーがたくさんいます。例えば、Anthropicは非常に印象的です。憶測もあれば、多くのプレーヤーがいます。長いリストを作って誰かを省くようなことはしたくありません。そのため、何らかの調整が行われ、すべてのプレーヤーに「あなた方には駒が必要だ」という外圧がかかることが非常に重要です。そうすれば、組織の研究者や、少しペースを落としたいリーダーは、株主に対して、「この圧力のために、みんなペースを落としているんだ。
スピーカーB
歴史上、分子を一時停止することが可能な例があることをご存知でしょうか？
スピーカーA
もちろんです。例えば、人間のクローンのようなものです。ヒトのクローンを作れば、すごく儲かるのに。なぜやらないのでしょう？生物学者がよく考えて、これはあまりにも危険だと感じたからです。70年代に映画館で集まって、もっといろいろなことを止めようということになったんです。また、ヒトの生殖細胞系列の編集、つまり子孫に残すための遺伝子編集についても、「これは予測不可能だからやめよう」ということになりました。どうなるのでしょう？私たちの種に何が起こるのか、コントロールできなくなる可能性があるのです。そこで、彼らは一時中断したのです。しかし、リスクに対する一般市民の認識と、より広いコミュニティが、「スピードを落とそう」と言う必要があります。また、今日よく言われるのは、中国がいるから西側は止められないということです。中国でも、西側は止められないと言われています。しかし、ヒトのクローンを見てみましょう。中国はヒトのクローン作製に踏み切ったのでしょうか。私が知る限り、実際に行われたヒトのクローニングは1件だけです。それは中国人がやったことです。彼が今どこにいるか知っていますか？刑務所の中だ 誰が彼を刑務所に入れたか知っていますか？ SPEAKER B
誰が？
SPEAKER A
中国政府です。欧米人が中国に「これは違う」と言ったからではなく 中国政府が彼を置いたのです 中国政府を支配していると感じたからです。どちらかというと、欧米人よりも支配力を持つことに関心があるのかもしれません。政府は、あらゆるものがどこに向かっているのかをコントロールできなくなることに、何のインセンティブも持っていません。最近、バイドゥがリリースしたアーニー・ボットもそうです。彼らは政府から多くの反発を受け、大規模な抑制を余儀なくされました。これは軍拡競争ではなく、誰もが損をする自殺競争であるという基本的なメッセージが伝わればいいと思います。もし誰かのAIが制御不能になれば、全体の流れが変わってしまいます。これは非常に基本的なことなので、もう一度言います。多くの人が勘違いしているのは、AIが本当に超人的になるという考えを否定していることです。なぜなら、人間の心の中にしか存在しないような知能には、何か本当に不思議なものがあると考えるからです。なぜなら、AIは人間の頭の中にしか存在しないような、本当に不思議なものだと考えているからです。そのような考えから、AIは多かれ少なかれGPT、4プラスプラス、そしてそれだけになると考えています。彼らはそれを自殺競争だとは思っていません。彼らは、最初にそれを手に入れた者が世界を支配し、勝利すると考えているのです。そんなことはないんです。科学的な議論については、また改めてお話しするとして、なぜそこで止まらないのか。しかし、もし誰かが完全にコントロールを失い、自分と同じ目標を持たない人が世界を征服することになったとしても、あなたは気にしないでしょうし、その人がどんな国籍を持っているのかさえもあまり気にしないでしょう。今日よりもっと悪いことが起こるのは嫌でしょう。オーウェル的なディストピアに住んでいるのなら、誰が作ったかなんてどうでもいいじゃないですか。さらに進んで、私たちが機械にすらコントロールを奪われ、私たち対機械ではなく、私たち対機械になったとしても、最終的に人間とは異なる目標を持つこの根本的な存在を誰が作ったかなんて気にするでしょうか。そして、私たちは疎外されるのです。私たちは時代遅れになり、取って代わられるのです。だから、私が自殺競争だと言ったのは、崖に向かって突進しているようなものなのですが、崖に近づけば近づくほど、景色がよくなり、そこに多くのお金があるのです。だから私たちは進み続ける。でも、どこかで立ち止まることも必要でしょう？今のうちにやめておく。それは勝ち目のない自殺行為なのです。しかし、その恩恵を本当に受けるには、素晴らしいAIを少しずつゆっくり開発し続けることです。それで安全性を高め、人間が望むようなことをするようにし、みんなが勝てる状態を作るのです。地政学や政治全般がまったくゼロサムゲームではないことを、テクノロジーは教えてくれています。

Maintaining control

スピーカーB
つまり、人類という種がこの物事をコントロールできなくなるような発展速度があるのです。そして、あなたが持っている希望は、私たちがコントロールを失うことを許さない、より低いレベルの発展があることです。これは、コントロールを失うということについて、あなたが抱いている興味深い考えです。サンドラ・パチャイやサム・アルトマンのように、このような会社のトップにいる人は、もし彼らがAGIを開発したら、自分たちもコントロールを失うことになると言っているわけですね。つまり、一人の人間がコントロールを維持することはできず、個人の集団がコントロールを維持することもできないのです。
スピーカーA
もしそれが非常に早く作られ、大規模な言語モデルそうのように、私たちが理解できない大きなブラックボックスであるならば。そうなれば、彼らは制御不能に陥ると確信しています。しかし、これは私だけが言っているのではなく、サム・アルトマンもデミサ・セイビスも、これは本当に大きなリスクがあり、怖いと感じたらスピードを落としたい、と自ら認めているのです。しかし、彼らが再びこの状況に陥っていることは明らかです。Molokは、商業的なプレッシャーから、自分たちが納得できるスピードよりも少し速く進むことを余儀なくされているのです。そうですね。ここで少し楽観的になる。もちろん、これは最終的に解決できる問題です。ただ、この知恵比べに勝つために。私たちが望んでいたことが起こっていないことは明らかです。能力の進歩は多くの人が思っていたよりも早く、政策立案などの公共領域での進歩は思ったよりも遅かった。技術的なAIの安全性についても、より遅くなりました。技術的な安全性の研究の多くは、大規模な言語モデルや他の理解不十分なシステムでは、すべての道を切り開くことはできないと考え、理解できるような知能をもっと構築する必要があり、もしかしたらそれ自体が安全だと証明できるかもしれない、このようなことを信じていました。そして、私はこれが実現できると確信しています。しかし、私たちが今乗っている制御不能の特急列車がAGIを手に入れるのと同じくらい早くそれを行うことはできません。だからこそ、もう少し時間が必要なのだと感じています。 SPEAKER B
サム・アルトマンが話していたように、AGIの前の段階にいる間は、できるだけ透明性の高い形で頻繁にリリースし、多くのことを学ぶべきだということです。つまり、非常に慎重になるのとは対照的に、たくさんリリースすることです。AIの安全性に焦点を当てたクローズドな開発に投資しないことです。そして、人間レベルの知能や超人レベルの知能の兆候が見え始めたら、それを停止させるのです。
スピーカーA
多くの安全研究者が何年も前から言っているのは、AIにできる最も危険なことは、まず、コードを書くことを教えることです。なぜなら、それは再帰的自己改良への第一歩であり、AGIからはるかに高いレベルに引き上げることができるからです。なるほど。おっと、それはやりましたね。そしてもうひとつ、高いリスクはインターネットに接続されていることです。ウェブサイトを見たり、自分で何かをダウンロードしたり、人と話したりすることができます。おっと、これはもうやったかな？エリエス・ユコウスキーです。最近、彼にインタビューしたそうですね？そうですね、彼は最近こんなツイートをしていて、ここしばらくで最高の笑いを誘ってくれました。もちろん、開発者は、本当に強いAIを手に入れたら、まず、絶対にインターネットに接続しないようにするはずです。本当に研究できる箱の中に入れておくのです。というわけで、彼はそれをミームという形で書いていたのです。じゃあ、みたいな感じですね。さて、(笑)チャットを作ろうか。ボットです。そして3つ目のスチュアート・ラッセル。すごいですね。AI研究者 彼はしばらく前から、AIに人間に関することを一切教えてはいけないと主張しています。とりわけ、人間の心理や、人間をどう操るかということを学ばせてはいけないのです。それは、AIに与えることができる最も危険な種類の知識です。ガンの治し方など、必要な知識はすべて教えることができます。でも、ダニエル・カーネマンの認知バイアスについての本とかは読ませないでね。そして、ソーシャルメディアの推薦アルゴリズムを発明して、まさにそれを実行させましょう。私たちのことを知り、私たちのボタンを押すのがとても上手になったので、私たちはますます憎しみを抱く世界を作り始めています。なぜなら、彼らがこのようなアルゴリズムを考え出したのは、悪意からではなく、単に広告でお金を稼ぐためだからです。ユーフェミズムとの関わりを深め、人々を小さな長方形に釘付けにする最善の方法は、ただ彼らを怒らせることなのです。
スピーカーB
ソーシャルメディア上でレコメンダーシステムのようなタスクを行う大規模なAIシステムは、基本的に人間を研究しているに過ぎないというのは、本当に興味深いことです。AIはあるものを表示し、私たちはそれを見て合図を送ります。私たちがそれを拡散するか、気に入るか、エンゲージメントが高まるか、プラットフォームに戻るか。それを何億人という規模で常に行っているのです。つまり、学習して、学習して、学習しているのです。おそらく、学習を行うニューラルネットワークのパラメータの数が多ければ多いほど、学習がエンド・トゥ・エンドであればあるほど、人間の行動を操作する方法、人間をスケールでコントロールする方法を基本的にコード化することができるのでしょう。
スピーカーA
その通りです。そしてそれは、今、人類の利益になると思っているものではありません。主に一部の人間が利益や権力のために他の人間を操作させることで、すでに多くの損害を与えているんだ。そして結局それは、AISが人間を説得して、どんな安全対策からも逃れさせることができるスキルのようなものなんだ。しかし、最近ニューヨークタイムズに、ユヴァル・ノア・ハラレと、『ソーシャル・ジレンマ』のトリスタン・ハリスら2人の共同執筆者による、とても素晴らしい記事が掲載されています。その中で、「人類が高度なAIと最初に接触したのはソーシャルメディアだったが、我々はそれを失った。私たちは今、世界でずっと多くの憎しみがある国に住んでいます。実際、民主主義において、私たちはこの会話をしているのに、人々は前回の選挙で誰が勝ったかについてさえ同意できないのです。私たち人間は、しばしば他の人間を指差して、彼らのせいだと言う。しかし、本当はMolokとこのAIアルゴリズムが原因なのです。私たちはアルゴリズムを手に入れ、Molokはソーシャルメディア企業同士を戦わせ、誰もより不気味でないアルゴリズムを持つことができないようにしました。
スピーカーB
ソーシャルメディアという観点で、私たちが失ったこの1つの戦いを長引かせるだけで、その戦いを取り戻す方法はあるのでしょうか。核戦争であれ、AGIの開発であれ、世界最大の問題をどう解決するかを考えるために、私たちが文明として互いにコミュニケーションし、この種の会話をし、談話をするために使っているこの媒体、ソーシャルメディアを再設計することは可能でしょうか？ソーシャルメディアを正しく行うことは可能なのでしょうか？ スピーカーA
可能であるばかりでなく、必要なことだと思います。お互いに会話もできないのに、他のすべての課題を解決できるなんて、誰をバカにしているのでしょうか。それは建設的なことです。民主主義の重要な考え方は、大勢の人を集めて、本当の意味で会話をすることです。このポッドキャストであなたが育てようとしているのは、意見の違う人たちの話を敬意を持って聞き、実はいくつかのことがある、実は私たちには共通点がある、核戦争はやめよう、それはやめよう、などといったことに気づくというものです。公共の場で機能的な会話をすることもできないのに、大規模な言語モデルを使って今以上に強力なAIとのセカンドコンタクトに立ち向かえると考えるのは、自分たちをバカにしています。だからこそ、私は「improved the news」プロジェクトを立ち上げたのです。Improved the news（ニュースの改善）。しかし、私は根本的に楽観主義者で、人には多くの本質的な善意があり、人類にとって良いことをする人と悪いことをする人の違いを生むのは、この人は悪の遺伝子を持って生まれてきて、この人は善の遺伝子を持って生まれてこなかったというようなおとぎ話のようなことではないと思っています。そうではなく、人が最高のものを引き出すような状況に置かれるか、最悪のものを引き出すような状況に置かれるかだと思うのです。私たちは、最悪の事態を招くようなインターネットや社会を構築していると感じています。
スピーカーB
でも、そうである必要はないんです。
SPEAKER A
いいえ、そうではありません。
SPEAKER B
インセンティブを作ることも、お金を稼ぐインセンティブを作ることも可能です。どちらもお金を稼ぎ、人の良さを引き出してくれるのです。
SPEAKER A
つまり、長期的には、例えば核戦争をすることは誰にとっても良い投資ではありません。また、最終的に人間をすべて機械に置き換えて、人間が時代遅れになり、最終的に人間がいなくなったとしても、それは人類にとって良い投資なのでしょうか？まあ、計算の仕方にもよりますが、合理的な経済基準で言えば、人間の将来の収入を見て、一人もいないのであれば、それは良い投資とは言えませんね。さらに、なぜ私たちは自分たちの種に少しも誇りを持てないのでしょうか、ちくしょう。なんで俺たちを排除した別の種を作らなきゃいけないんだ？もし我々がネアンデルタール人だったら、それを本当に賢い行動だと思うだろうか？もし、ホモ・サピエンスを作るための高度なバイオテクノロジーがあったら、こう言うかもしれない。「マックス、そうだ、ホモ・サピエンスを作ろう。彼らは私たちよりも賢くなるはずです。彼らは私たちを助けてくれるかもしれない。捕食者から私たちをよりよく守り、私たちの洞窟を整備して、より素敵なものにしてくれるかもしれない、そして私たちが彼らをコントロールするのは間違いない。それで、彼らは夫婦を作り、小さな女の子と小さな男の子を産んだ。そして、賢いネアンデルタール人の長老が、「私たちはパンドラの箱を開けているようで怖い」「超ネアンデルタール人の知能に出し抜かれ、ネアンデルタール人がいなくなるのでは」と言う。でも、洞窟の中には他の人たちが大勢いるんでしょう？あなたはそんなにラッダイトの恐怖症なんですか？もちろん、私たちは彼らの創造主だから、私たちを残しておきたいと思うだろうね。彼らが賢くなればなるほど、より素敵になると思う。彼らは私たちの元を去り、私たちを必要とするようになる、そしてそれはうまくいくだろう。それに、この子たちを見てください、とてもかわいいですよ。明らかに無害なんだ。この子たちは、まさにGPT4です。はっきり言って、GPT4が怖いのではなく、GPT4は赤ちゃんの技術なのです。マイクロソフトは最近、「Sparkles of AGI」というタイトルの論文を発表しています。つまり、これはネアンデルタール人の赤ちゃんのような赤ちゃんAIであり、やがて大きくなる、というのが彼らの主張です。同じ会社や他の会社から他のシステムが出てくるでしょう。彼らはもっと強力になるでしょう。そして、いつの間にか私たちは、最後のネアンデルタール人のように、自分たちが取って代わられることに気づき、かなり失望することになるのです。
スピーカーB
さて、このプログラミングという興味深い指摘ですが。GPT Fourがすでに、プログラムを書くことですべてを変えられるようなシステムである可能性は十分にありますね。
SPEAKER A
そう、Life 2.0だからだ。私が恐れているシステムは、大規模な言語モデルとは似ても似つかないものになりそうだし、そうもならないだろう。しかし、この技術を使ってもっと優れた技術を作る方法を、それか他の人が見つけ出したら、そのソフトは常に入れ替わることになります。そして、この技術がどのように機能するかについて、私たちが見たところ、ボンネットの中では 最低限使える知能のようなものです。まだ機能する最も愚かな方法ですべてを行う、そんな感じだ。つまりライフ3.0だ ソフトウェアを交換する時以外は スウェーデン語を学ぶよりずっと早いんだ しかも、彼らは私たちよりもずっと速く考える。私たちは、彼らのようにナノ秒単位で1つの論理的なステップを踏んで考えるわけではありません。また、クラウド上でいきなりハードウェアを大量にスケールアップすることもできません。私たちには限界があるのです。そうでしょう？だから、彼らはLife 2.0に近い形で、ハードウェアが必要になったらクラウドで借りればいいという考え方もしています。そのための支払いはどうするのですか？それは、あなたが提供するすべてのサービスです。
スピーカーB
そして、まだ見ていないのは、大きく変わる可能性がある、ソフトウェアシステム全体です。ですから、現在、プログラミングは、人間の補助的なツールとして、断片的に行われています。しかし、私は多くのプログラミングを行っており、GPT 4ができるようなことは、私ができることの多くを置き換えているのです。しかし、物事の設計を管理するためには、やはり人間がループの中にいる必要があります。例えば、どのようなプロンプトを出すか、デバッグのためにコードを調整するか、といった管理です。しかし、もしGPTの上に追加して、自己デバッグやコードの改善といったフィードバックループを作ることができれば、すべてがつながっているインターネット上でそのシステムを野に放つことができます。そして、そのシステムをインターネット上の野に放ちます。あらゆるものがつながっているのですから。これで、人間の巨大な生態系ができあがりました。これは、イーロン・マスクが最近ツイートした、誰もが7ドルを支払う必要がある理由の1つです。
スピーカーA
Twitterで本物かどうか確認することもできます。
SPEAKER B
本物であることを確認すること。これからはボットがどんどん賢くなり、人間とボットの区別がつかなくなるような世界になるのです。
スピーカーA
そうなんです。
SPEAKER B
そして今 ボットが100万対1で 人間を上回ることができるのです 彼はなぜ自分が人間であることを証明するために お金を払わなければならないのかを訴えています これは鬱陶しい証明のための唯一のメカニズムの1つです。
スピーカーA
私たちは、個人として、時々、なぜ私たちはこのようなことをしているのだろうかと自問自答する必要があると感じています。そして、種として、私たちもそうする必要があるのです。もし、あなたが言うように、私たちの数より多く、ますます私たちを凌駕し、危険で退屈な仕事だけでなく、詩を書いたり、芸術をしたり、多くの人がとても有意義だと思うような仕事でも、私たちに取って代わる機械を作っているなら、なぜこんなことをしているのかと自問しなければなりません。答えは、モロックが私たちを騙しているのです。騙されてるんだ。巧妙なトリックで、そのトリックが分かっていても、騙されるしかないんだ。そうですね。それと、コパイロットのAIツールを使ってプログラミングを高速化したということですが、今のコーディングの速さは何倍くらいでしょうか？2倍くらい速くなるのでしょうか。
スピーカーB
新しいツールだから？うん、スピードが大幅に向上しているかどうかはわからないけど、5倍から10倍くらいになるのは1年後って感じだね。
SPEAKER A
だから、それがプログラマーの典型だとしたら、すでに別の種類の再帰的な自己改善を見ていることになりますね。そうですね。以前は、コードの改良は人間のR&Dのタイムスケールで行われていました。それが5倍に短縮されれば、次のレベルのツールなどを開発するのにかかる時間も5倍に短縮されます。これこそ、まさに知能の爆発的発展の始まりです。初期段階では人間がループの中にいることもありますが、やがて人間の必要性が低くなり、機械が単独で行動できるようになります。しかし、あなたが言わなかったことは、まさにこの種のものの正確な例なのです。もうひとつ、私は精神科医のソファに寝転がりながら、「AIシステムで人々がやってしまう恐怖は何だろう」と考えていました。つまり、AIにコードを教え、インターネットに接続し、人間を操作するように仕向けることです。4つ目は、コードがこの超強力なものをコントロールできるようなAPIを作ることです。なるほど。GPT Fourのようなシステムは、質問に答えるだけのオラクルであるという意味で、非常に残念なことです。GPT Fourにはロボットが接続されていません。GPT Fourは、その思考に基づいて株式取引を行うことはできません。エージェントではないのです。インテリジェント・エージェントとは、世界から情報を取り込み、それを処理して、自分の持つ目標に基づいてどんな行動を取るべきかを考え、世界に対して何かを返すものです。しかし、例えばGPT FourのようなAPIがあれば、ジョー・シュモや他の多くの人々が本物のエージェントを作り、強力なオラクルシステムに内部ループのどこかで電話をかけ続け、それ自体がより強力になることを止められない。これもまた不幸な展開で、遅らせたほうがよかったと思います。私は、特定の企業を非難したいわけではありません。どの企業も金儲けのプレッシャーにさらされているのでしょう。そして、私たちがこの休止を呼びかけた理由は、すべての企業が正しいことをするための援護射撃を与えるためです。現時点では、少しペースを落としてください。しかし、これまで話してきたことで、このような人間レベルのツールがなぜ緩やかな加速を引き起こすのかが、見ている人たちに明らかになることを期待しています。昨日の技術を使って明日の技術を作り続ける、それを何度も繰り返していると、自然と爆発が起こる。科学でいうところの爆発の定義ですよね？例えば、2人の人間がいて、その2人が恋に落ちたとする。それが4人になって、さらに子作りができるようになって、今度は8人になって、1632人、64人......と増えていく。それを人口爆発と呼びますが、まさにその通りです。その代わり、核反応における自由な中性子であれば、それぞれが複数の中性子を作ることができるため、指数関数的な成長を遂げ、私たちはそれを核爆発と呼んでいます。すべての爆発はそのようなものです。知能の爆発も、まったく同じ原理で、ある量の知能がそれ以上の知能を作ることができるんです。そして、それを繰り返すと、常に指数関数が発生するのです。
スピーカーB
なぜそうなるのか、その直感は？ある地点で止まらないのは技術的な理由があるとおっしゃっていました。直感的にどう思われますか？なぜ止まるのか、何か直感はありますか？
スピーカーA
物理法則にぶつかったら止まるに決まってるじゃないですか。どんなに頭がよくても、できないことはあるんですね。
SPEAKER B
疑惑です。物理法則の全容を知らないからです。
SPEAKER A
セス・ロイドは、計算の物理的限界について、とてもクールな論文を書きました。例えば、有限の空間の中でエネルギーを入れすぎると、ブラックホールになる。光速よりも速く情報を移動させることはできませんが、原子1個あたりのビット数を超えて保存することは難しい。しかし、その限界は天文学的なものであり、私たちが今いる場所より30桁も高いのです。つまり、アリから人間になるよりも、知能が飛躍的に向上するのです。もちろん、私たちがやりたいのは、原子炉のような制御されたものだと思うんです。制御不能な爆発を起こさないように、モデレーターを配置するわけですね。生物学や細胞などの実験をするときも、制御不能にならないように気をつけます。これはAIでもできるんです。しかし、私たちはまだ成功していませんし、Molokはまさにその逆をやっています。モロックはまさにその逆をいっているのです。「もっと早く、もっと早く、もっと早く！」「他社に追いつかれるぞ！」と煽るばかり。他社に追いつかれる、他国に追いつかれる。私たちは、このようなものを欲しがらないといけない。私はこのように、ただ人々の心を見つめ、正しいことをするように求めることを信じていません。他人がそう言うのは簡単です。でも、自分の会社が止まらない他社にダメ出しされるような状況だと、人をとても辛い状況に追い込んでしまいますよね。正しいのは、インセンティブ構造を全部変えることです。その代わり、もう一つ言っておくと、モロクは文明開化以来、人類の1番か2番の敵として存在してきたわけですが、私たちは実に素晴らしい対抗策を思いつきました。まず、10万年以上前に、進化は、人々が常に殺し合いをしているのは非常に不都合であることに気づきました。そこで、遺伝的に私たちに思いやりを与え、酔っぱらった2人の男がバーで無意味な喧嘩をしても、互いに目を白黒させることはあっても、ただ殺し合うことは抑制されるようにしました。同じように、明日、朝のジョギングに出かけたとき、道に倒れている赤ん坊を見つけたら、立ち止まって抱き上げるでしょう？たとえ、そのせいで次のポッドキャストに遅刻するかもしれないのに。つまり、進化は私たちに、私たちの属する集団にとって良いことと、私たち自身の倫理的インセンティブをより一致させるような遺伝子を与えたのですね。そして、私たちがもう少し洗練され、言語を発達させるにつれて、ゴシップを発明しました。これは素晴らしいアンチモロックでもあります。なぜなら、噂がすぐに広まり、突然、夕食に招待されなくなったり、信用されなくなったりするからです。そして、さらに洗練された大きな社会になると、法制度が発明され、噂話やこのようなことを当てにできない他人同士でも、互いに接し、インセンティブを持つことができるようになったのです。今、猪の喧嘩に参加している人たちは、たとえ酔っ払っていて相手を殺したいと思っていたとしても、頭の片隅には「この先10年間、狭い部屋で本当に粗末なものを食べて過ごしたいか？という思いがあるのです。私たちは同様に、規制やあらゆる種類の監視によって、企業のインセンティブをより大きな利益に一致させるよう努めました。しかし、今、私たちが失敗している大きな問題は、これまで試してこなかったということではなく、規制当局が追いつくことができなかった以上に、技術の発展がはるかに速いということです。規制当局は、欧州連合（EU）が今まさにAIを導入しようとしているのは、ちょっと滑稽ですよね？当初、彼らはGPTフォーを規制から完全に除外するという、ちょっとしたオプトアウトの例外を設けていました。素晴らしいアイデアです。
スピーカーB
その理屈はどうなんでしょう？
SPEAKER A
ロビイストの中には、これをうまく推し進めた人もいました。だから私たちは実際に未来生活研究所にかなり関与していました。マーク・ブロッケル、リスタUK、アンソニー・ギアなどは、このプロセスに関わるさまざまな人々に、汎用AIモデルが登場することを伝え、これを入れなければ笑いものになると指摘し、かなり関与していました。そこでフランスはそれを推し進め、草案に盛り込み、万事解決かと思われたのですが。ところが、ロビイストたちから猛反発を受けたのです。例えば、ブリュッセルには石油会社よりもハイテク企業のロビイストが多くいました。しかし、GPT4が採択されたことで、このまま残留すると思いますが、これはモロックが敗北する可能性を示しています。しかし、私たちが直面している課題は、一般的に技術の進歩が政策立案者のスピードよりもはるかに速く、政策立案者の多くも技術のバックグラウンドを持っていないことです。そのため、政策立案者に何が起こっているのかを伝えるために、私たちは懸命に努力しなければなりません。つまり、人工知能を生物学的な知能と同じように非生物学的な知能と定義しているのですが、このような状況になっています。この定義によれば、企業も人工知能となります。それはシステムだからです。タバコ会社のCEOが、ある朝「もうタバコは売りたくない」と決断したら、別のCEOを送り込むだけです。個々の人間のインセンティブを調整したり、個々のコンピュータのインセンティブをその所有者に合わせるだけでは不十分です。企業のインセンティブをより大きな善と一致させる必要があるのです。しかし、一部の企業は急速に大きくなり、大きな力を持つようになったため、多くの場合、企業のロビイストが規制当局を自分たちの思い通りにするのではなく、むしろ自分たちの思い通りにするように仕向けています。これは、まさに典型的な規制の捕捉です。
スピーカーB
スローダウンが実現したいのは、規制当局が追いつくのに十分な時間、あるいは企業自身が呼吸を整えてAIセーフティを正しく行う方法を理解するのに十分な時間を与えることです。

Regulation

スピーカーA
私は両方だと思います。私が考えるビジョン、成功への道筋は、まず、これらの企業の人々、つまり正しいことをしたいと願うリーダーたちに息抜きを与えることです。彼らは皆、自社に安全チームなどを抱えていますが、彼らに他の企業と一緒になる機会を与えるのです。外からの圧力は、正しいことをするための触媒となり、将来のシステムがロールアウトされる前に、どのような合理的な安全要件を課すべきかを検討するのに役立つのです。また、企業以外のアカデミアやその他の場所にも、非常に優れたアイデアを持っている人が大勢います。そして、6カ月以内にこのような人たちを集めることができるのは、非常に現実的だと思います。このホワイトペーパーは、自動車が多くの人を殺したという理由で、私たち全員が合理的だと考えているところです。自動車を禁止したわけではありませんが、たくさんの人が集まって、自動車を売るためにはシートベルトを装着しなければならないと決めたのです。これと同じように、未来のAIシステムにも安全性を求めることができるのです。このような知的作業は、その分野の専門家が行えば、すぐにできることです。政策立案者に「ああ、これはいいアイデアだ」と思わせ、企業がモロクと戦うのは非常に簡単だと思います。そうですね。このような原則を制定しておきながら、それを守らないというのは、いかがなものかと思います。そして、ある小さな会社がそれに署名しないまま、徐々に追い越されてしまうのです。そうすれば、企業は、誰もが同じルールでプレーしているという安心感から、安心して眠れるようになるでしょう。
スピーカーB
では、システムが人類に取り返しのつかないダメージを与えないようなガードレールを開発することは可能だと思いますか？その一方で、AIを使ってどのようにお金を稼ぐかを開発する企業間の資本主義の煽りを受けるような競争は可能だと思いますか？バランスを取ることは可能だと思いますか？
スピーカーA
その通りです。ガードレールがあり、それが機能していれば、自由市場は特に害を及ぼすことなく、非常に優れたものを生み出すことができるのですが、他の多くの分野でそれを見てきました。資本主義は、同じことをより効率的に行うために最適化する非常に優れた方法なのです。しかし、それは後から見れば良いことだったのです。例えば、児童労働を禁止するのはひどい考えだと思う人は、どこの国の右派の当事者でも会ったことがないですね。 スピーカB
しかし、この特殊な技術は、非常に優れていて、非常に速く、強力になり、近い将来、大金を稼ぐことができるようになることが予想されます。車や児童労働とは似て非なるものです。ここですぐに大儲けできるチャンスは、私たちのすぐそばにあるように思います。
SPEAKER A
ありますね。
SPEAKER B
この崖はかなり景色が良くなります。
スピーカーA
近くに行けば行くほど、お金があったり、拾える金のインゴットが地面にあったりと、いろいろなことがあります。だから、早く行きたくなる。でも、崖の上に行くのは、誰のインセンティブでもないんです。しかも、みんなが自分の車に乗っているわけではありません。すべての車はチェーンでつながっている。だから、誰かが崖を越えたら、他の人の足を引っ張り、他の人も崖に落としてしまう。だから、目の前に崖の輪郭が見えてきたらスピードを落とすのが、最終的には会社の人たちの利己的な利益にもなるんです。そうですね。問題は、技術を構築している人やCEOは本当に理解していても、株主やその他の市場勢力は、崖がそこにあることを素直に理解できない人たちだということです。これがいかに強力で、いかに速いかを理解するには、かなり雑草の中に入っていかなければなりません。また、多くの人が、カーボンショービニズムとでも呼ぶべき、人間には私たちのレベルの知能しかない、何か魔法のようなものがある、という考え方に、いまだにとらわれています。しかし、このようなものを作っている技術会社の人たちは、知能とはある種の情報処理であることを理解しています。そして、その情報が炭素原子によって処理され、脳のニューロンで処理されるか、私たちが作ったテクノロジーでシリコン原子によって処理されるかは、まったく問題ではありません。先ほど資本主義の話をされましたが、資本主義が好きな人はたくさんいますし、本当に嫌いな人もたくさんいます。最近、私は、資本主義で起こっていることは、超知能が私たちを絶滅させるかもしれない方法に、まさに類似していると思いました。私はストックトン・スクール・オブ・エコノミクスで経済学を専攻したのですが、ご存じですか？そうですね。
スピーカーB
いいえ、私は彼に言います。
スピーカA
そこで私は、市場原理を利用してより効率的に物事を進めつつ、市場が本当に悪いことをしないように適切なインセンティブを与えるにはどうすればいいのか、非常に興味を持ちました。MITの教授で私の同僚でもあるディラン・ハドフィールド・マンネルは、最近、共同研究者とともに非常に興味深い論文を書きました。そこでは、ある目標を掲げて、それに対して無限に最適化を続けると、正しい方向に向かうと数学的に証明しました。基本的にいつも起こることは、最初のうちは物事が良くなるのですが、続けていると、ある時点で再び物事が悪くなり始め、次第に本当にひどい状態になるのだそうです。例えば、ここからオースティンに戻ろうと思って、「よし、南へ行こう」と思ったとします。しかし、あなたはまさに正しい方向に、できるだけ南に最適化するように進めたのです。そうすると、だんだんオースティンに近づいていくのですが、いつもちょっとした誤差があるんです。だから、正確にオースティンに向かっているわけではないけれど、かなり近づいている。でも結局、また遠ざかり始めて、最終的には太陽系を離れることになるんだ。そう、そして彼らはそれを美しい数学的証明で証明したのです。スチュアート・ラッセルは本を書き、AIにただやみくもに何かを最適化させるのは良くないという話をたくさんしていますが、私たちのシステムのほとんどすべてがそうなっています。私たちには損失関数と呼ばれるものがあり、それを最小化したり、報酬関数と呼ばれるものを最大化したりしています。私たちはただ最大化しているだけなのです。資本主義もまさにそんな感じです。私たちは、人々が望むことをより効率的に成し遂げたいと考え、自由市場を導入したのです。しかし、その後も最適化は続き、企業はますます大きくなり、情報処理も効率化され、さらにそれを原動力とする企業も増えてきました。そしてやがて、多くの人々が、「ちょっと最適化しすぎじゃないか」と感じ始めました。なぜ熱帯雨林の半分を切り倒したのだろう？また、規制当局が突然ロビイストに取り込まれたりしているのはなぜでしょう。同じ最適化を長く続けているだけなのです。もし、実際に世界を支配するAIがいたとして、そのAIに1つの目標を与え、ひたすら最適化し続ければ、ほとんどの場合、誰もが「やった、これは素晴らしい」と思うはずです。最初のうちは、物事が良くなっていくのですが、最適化するための正しい方向を与えることはほとんど不可能で、やがて破綻してしまいますよね？ニック・ボストロムなどは、かなりバカバカしいと思えるような例を挙げています。例えば、「癌を治せ」とだけ言って、それしか言わないとしたらどうでしょう？もしかしたら、スーパーコンピューターをもっと導入して、ガンを治す方法を解明するために、大陸全体を占領することになるかもしれません。そして、「待てよ、それは私が望んだことではない」と思うわけです。そうですね。資本主義の問題と、暴走するAIの問題は、今、ある意味で融合しています。なぜなら、私が話したモロックは、まさに資本主義のモロックであり、私たちは、ただひとつの利益のために最適化した経済を構築してきたからです。そしてそれは、物事が非常に非効率的だったころはうまくいっていましたが、今はもっとうまくいくようになっています。そして、企業が十分に小さく、規制当局を取り込むことができない限りは、うまく機能しました。しかし、今はもうそうではありません。しかし、彼らは最適化を続けています。そして今、これらの企業はこれまで以上に強力なAIを構築することで、たとえ無謀であっても、もっともっと最適化することでさらに利益を上げることができることに気づいています。これはモロックが再び現れたわけですが、ここで後期資本主義が少し行き過ぎたという懸念を持っている人がいれば、ぜひ教えてほしいんです。後期資本主義が少し行き過ぎたと心配する人は、超知能を心配した方がいいでしょう。どちらも同じ悪役ですから。
スピーカーB
それはモロクとオプティマイゼーションです。一つの目的関数が積極的に、盲目的に、私たちを連れて行くのです。
SPEAKER A
そう、私たちは時々立ち止まって、自分の心を見つめ、なぜこんなことをしているのだろうと問う必要がある。私はまだオースティンに向かっているのだろうか、それとも行き過ぎたのだろうか。方向を変えるべきかもしれません。
スピーカーB
そして、それが半年間の休止の考え方です。なぜ6カ月なのか。それはとても短い期間のような気がします。ここで、ちょっと長居をして、いろいろなアイデアを探ってみませんか？なぜなら、これは人類の歴史の中で、一時停止することが実際に大きなプラスの効果をもたらす、本当に重要な瞬間のように感じられるからです。
スピーカーA
私たちが6ヵ月と言ったのは、欧米で一番反発を受けるのは、「でも、中国は」ということだと思ったからです。しかし、中国が6カ月で欧米に追いつくわけがないことは誰もが知っていることです。地政学的な競争は忘れて、本当の問題に集中すればいいのです。そのために、私たちはこれを設置したのです。
スピーカB
しかし、あなたはすでに、中国にとっても、実際にその議論に挑むのであれば、中国も、西側がそうでないのと同様に、コントロールを失いたくないので、停止期間が長くなっても困らないということを説明していますね。
スピーカーA
というのが、私の考えです。

Job automation

SPEAKER B
実に興味深い議論ですね。私は実際にそのことについて考えなければならないのですが、人々が想定しているのは、例えばOpenAIのようなAGIを開発した場合、それを行うのが彼らであれば、彼らが勝利することになります。しかし、あなたは、いや、誰もが損をする、と言っているのです。 スピーカA
そう、どんどん良くなって、そして、カッとなって、みんな負ける。そうなるんだ。
スピーカーB
負けと勝ちが、人類文明とサム・アルトマンのために、基本的に生活の質を示す指標として定義されるとき。 スピーカーA
はっきり言って、私の個人的な推測ですが、これには異論もあるでしょうが、人間は出てこないと思います。それだけです。それが私の言う「失う」ということです。歴史を見てもわかるように、ある種やある集団が必要とされなくなると、その人たちにとってはあまりいい結果にならないのが普通です。そうでしょう？例えば、ボストンの交通にはたくさんの馬が使われていましたが、その後、自動車が発明され、ほとんどの馬が「あそこに行く必要はない」となってしまいました。そして、今の人間を見てみると、産業革命後に労働運動が成功したのはなぜか。それは必要とされたからです。モロク族がたくさんいて、中国の労働力があったとしても、会社には労働者が必要で、そのためにストライキが力を持ったわけです。もし、ほとんどの人間が必要とされなくなったとしても、彼らが良い待遇を受けられると考えるのは、かなり甘いと思います。私たちは、「誰もが平等で、政府が必ず守ってくれる」と言います。しかし、実際に見てみると、権利を奪われ、実権を持たない集団はたいていダメになる。産業革命の初期には、筋肉労働を自動化しましたが、これは最終的にうまくいきました。しかし今、私たちは頭脳労働を置き換え始めています。例えば、ポケット電卓ができたことで、職場で数字を足したり掛けたりする人がいなくなりましたね。なるほど。でも、GPT4と安定した拡散、そしてこのような技術によって、人々が本当に好きだった仕事も吹き飛んでしまうのです。昨日、SNSに投稿された記事で、ゲーム用の3Dモデリングをしていた人が、突然、新しいソフトを手に入れたという記事を見たのですが、胸が痛みました。彼はただプロンプトを言うだけで、大好きなこの仕事の意味を失ってしまったと感じています。そして、GPTフォーに「きらきら星」をシェイクスピア風に書き直してもらった。こんないい仕事はない。本当に感動的でした。ここに出てくるアートはたくさん見てきましたよね？危険な仕事や退屈な仕事を自動化することには賛成ですが、あまりに口先だけの議論を耳にすることもありますね。しかし、あまりに口先だけの議論を耳にすることがあります。「これだけでいいんだ」と言う人がいます。退屈で、退屈で、危険な仕事をなくすのです。しかし、そんなことはありません。今、本当に面白い仕事がたくさん奪われているんです。ジャーナリズムは潰されようとしています。コーディングも潰されるでしょう。プログラマーの転職市場は、給料が下がり始めると予測されます。5倍の速さでコーディングできるのだから、5倍の数のプログラマーが必要なのではと言われましたね。もしかしたら、出力も増えるかもしれませんが、それでも結局、今より少ないプログラムで、少ないプログラマーを使うことになります。私はコーディングが大好きです。とてもクールなことだと思います。だから、私たちは立ち止まって、なぜまた人間としてこんなことをするのかと自問する必要があるのです。私は、AIは人類によって、人類のために作られるべきであると感じています。そして忘れてはならないのは、モロックによるモロックのためのものであってはならないということです。つまり、今のAIは、人類によるモロックのためのものであり、何の意味もありません。私たちがやっているのは、私たちのためなのです。私たちがこの技術を作り、開発し、徐々に理解し、安全に作ることができれば、もっと意味があるはずです。そして、人々が本当にやりたくない仕事は何なのかを考え、それをすべて自動化するのです。そして、人々が本当に意義を見いだせる仕事は何だろうかと考えます。例えば、デイケアセンターで子どもの世話をすること、アートをすること、などなど。仮にそのように自動化できたとしても、そんなことをする必要はないでしょう？私たちはこの機械を作ったのですから。
SPEAKER B
まあ、再定義や再発見というのはあり得ますね。私たちに意味を与えてくれる仕事とは何なのか。私にとっては、それは本当に悲しいことです。半分が興奮し、半分がコードを生成しながら泣いている。プログラミングがちょっと好きだからだ。なぜなら、私はプログラミングが大好きだからです。アイデアがあって、それを設計して、命を吹き込んで、何かをする。特に、知性があればなおさらです。画面に「Hello World」と印刷するような知性は必要ありません。小さな機械を作ったら、それが命を吹き込む。そして、何年もそれを続けているからこそ、その過程でたくさんのトリックを学ぶことができるのです。そして、AIが、あなたが特別だと思ったトリックをすべて生成できるようになるのを見る。ええ、どうでしょう。怖いですね。無邪気さが失われていくような、そんな痛々しさがある。たぶん若い頃、砂糖は体に悪いと習う前だったと記憶しています。ダイエットをした方がいい。お菓子を深く楽しんでいたのを覚えています。ある意味、もう無理なんです。体に悪いのは分かっている。でも、それを失ってしまった。3Dモデラーの場合と同じように、プログラムでも、プログラミングでも、その要素が少し失われているような気がします。ゲーム用の3Dモデリングという芸術を楽しむことができなくなったのです。それをどう理解したらいいのかわからない。もしかしたら、それを再発見できるかもしれない。人間であることの本当の意味での魔法は、他の人間とのつながりです。このような会話をすること、セックスをすること、食べ物を食べること、意識的な体験から得られる価値を、他のものを作ることに比べて、より強くすることができるのではないでしょうか。
スピーカーA
ホモ・サピエンスからホモ・サピエンスへ、有意義な体験へと、再びリブランディングを訴求しているのですね。そして、今年も楽観的な見方をすることで、暗い雰囲気の集団と思われないようにします。私たちは、ケーキを食べることができるのです。教師を増やす余裕がない、看護師の数を減らさなければならない、などというまったくでたらめな主張をよく耳にします。そんなことはナンセンスです。AGIに遠く及ばないものでも、GDPを劇的に改善し、成長させ、財やサービスの富を生み出すことができるのは明らかです。誰もが今より豊かになり、富裕層も豊かになるような世界を作るのはとても簡単です。そうでしょう？ゼロサムゲームではないのです。テクノロジーは、スウェーデンとデンマークのように、2つの国が何世紀も何世紀も馬鹿げた戦争を繰り返してきたということがあります。しかし、スウェーデンが少し大きくなったことで、少し良い暮らしができるようになることもあります。そして、スウェーデンが少し小さくなったので、デンマークも少し良くなった。しかし、その後、テクノロジーが登場し、私たち2人は、他の誰からも奪うことなく、劇的に豊かになったのです。それは、誰にとっても完全な勝利だったのです。そして、AIはそれをステロイドのように実現することができます。もし安全なAGIを作ることができれば、そして超知能を作ることができれば、基本的に今日害を及ぼしているすべての制限を完全になくすことができるのです。ですから、素晴らしい可能性です。そして、これはSFではありません。物理学の法則に従えば、明らかに可能なことなのです。そして、それを安全にする方法についても話すことができます。しかし、残念ながら、それは私たちがその方向に舵を切った場合にのみ実現することです。しかし、残念ながら、そのような方向に舵を切った場合のみ、そのようなことが起こるのです。だから、所得格差が拡大し続けるのです。だから、アメリカの平均寿命は下がり続けているのです。今、私は4年連続だと思います。CDCが発表した悲痛な研究結果を読みました。アメリカの10代の少女の3分の1が自殺を考えている、というものです。これは、まったく間違った方向へのステップです。私たちは今、種の歴史上初めて、人工知能を活用して、私たちが本当に繁栄し、人間性を最悪にするのではなく、最高の状態で発揮できるようにする力を手にしているのだ、ということに目を向けておくことが重要です。そのために。私たちが本当に有意義だと感じられる充実した経験をするのを助けてくれるのです。私たちはここに座って、未来の世代がどうあるべきかを決めつけてはいけません。しかし、彼らに生きるチャンスを与え、ただ物事を台無しにすることで彼らの可能性をすべて閉ざしてしまわないようにしましょうね。

Elon Musk

SPEAKER B
そのためには、AIの安全性の問題を解決しなければならない。それを少し探ることにつなげられたらいいなと思います。そこで、その議論に入る一つの面白い方法として、あなたがツイートした。そしてイーロンは返信した、あなたはツイートした。GPT Fourが就職市場でより多くの害をもたらすか、あるいは良いことをもたらすかどうかに焦点を当てるだけでなく、そのコーディングスキルが超知能の到来を早めるかどうかにも焦点を当てようじゃないか。それは、私たちが話してきたことです。そこでイーロンは、「最大限の真実の追求が、AIの安全性のための私の最良の推測だ」と、返信でひとつのことを提案しました。この「真実の目的関数」に対するケースと、それに対する反論をお願いします。また、一般的に、AIの安全性の解決にアプローチするために、どのようなアイデアをお持ちですか？
スピーカーA
実はその返事は見ていないんです。
SPEAKER B
おお、面白い。
SPEAKER A
でも、AIは悪ではないので、本当に共鳴しています。そのせいで、世界中の人たちがずっと憎み合うようになった。でもそれは、私たちがそれをある方法で作ったからです。ツールなのだから、素晴らしいことにも悪いことにも使えるし、AIシステムも同じように使える。そして、これは私のここでの成功のビジョンの一部でもあります。真理を追求するAIが、私たちを本当に結びつけてくれる。繰り返しになりますが、なぜ人々は国と国の間で、また国の中で、これほどまでに憎しみ合うのでしょうか。それは、真実のバージョンがまったく違うからですよね？もしみんなが同じ真実を持っていて、それを正当な理由で信頼していたら、それを確認し検証することができ、自称権威を信じる必要がないわけですからね。憎しみはなくなるし、理解も深まるだろう。その代わり、これはAIが大いに手助けしてくれることだと思います。例えば、この方向への小さな第一歩として、「Metaculous」というウェブサイトがあります。ここでは、人々がお金のためではなく、自分の評判のために賭けや予測をします。実際、面白いんですよ。人間をAISのように扱うと、損失関数があり、何かに対して超信頼性がある場合はペナルティを受け、その逆は起こるのです。
スピーカーB
そうですね。
SPEAKER A
一方、謙虚な姿勢で、これが起こる確率は51％、そしてもう一方が起こるというような場合は、あまりペナルティを受けることはないでしょう。そして、ある人は他の人よりも予測に長けているということがわかります。彼らはあなたの信頼を得ているのです。そうですね。今、私が取り組んでいるプロジェクトの1つは、Improve the News Foundationの発展形です。Metaculousの皆さんと一緒に、より強力なAIを使ってこれを大幅にスケールアップできるかどうかを検証しています。私は、本当に強力な真実追求システムがあってほしいと思っています。なぜなら、それは信頼できるものだからです。そして、このシステムを利用する人は、さまざまな評論家や新聞などの最新の信頼度ランキングを見て、なぜその人のスコアが低いのか知りたくなったら、それをクリックして、その人が実際に行ったすべての予測とその結果を見ることができます。科学の世界でも、このようなことが行われています。アインシュタインのように、誰もがデタラメだと思うことを言ったのに正しいと判明した科学者を信頼し、多くの信頼ポイントを獲得し、それを何度も繰り返すのです。AIは、信頼システムを構築することで、私たちが目にしている多くの溝を癒す力を持っていると思います。今日、ファクトチェックのサイトがありますが、そのサイト自体が意図的なものである可能性があり、その評判を信頼してしまうという考え方から脱却する必要があります。このようなシステムがあれば、信頼を得て、完全に透明化されます。そうすれば、人類が今日の世界における最大の課題にどう対処するかという、機能不全に陥っている会話を癒すことができると思うのです。技術的な面では、「もうダメだ、希望がない」という意見もよく聞きますが、GPT4のようなものは、人間が理解し、信頼できることを証明するには、あまりにも複雑です。AIは物事がうまくいくことを証明するのに役立つということを忘れているのでしょう。数学では、証明が正しいかどうかを検証するよりも、証明を思いつく方がずっと難しいという、非常に基本的な事実があるんです。実際にちょっとした証明チェックのコードを書くことができます。かなり短いものですが、人間として理解することができます。そして、そのコードは、コンピュータによって生成された史上最も巨大な長さの証明をチェックし、「はい、これは有効です」と言うことができるのです。今、私たちはウイルスチェックのソフトウェアで、そのコードを信用してはいけないものがあるかどうかを調べ、そのコードを信用してはいけないと証明できれば、警告を出すというアプローチをしていますね？もしこれを逆手に取ったらどうでしょう。これは私が104歳のスティーブに謝意を表したアイデアですが、コードを実行しない代わりに、信頼できないと証明できた場合のみ実行するようにしたらどうでしょう。そこでAIはコードに、「あなたがやるということを私に証明してください」と問いかけます。するとAIはこの証明を出し、小さな証明トリッカーがそれをチェックします。さて、あなたは自分よりもはるかに知的なAIを実際に信頼することができますよね？なぜなら、AIは、あなたが決して見つけることのできなかった、信頼すべき証拠を考え出すことができるからです。
SPEAKER B
ここが面白いところですね。私はあなたに同意しますが、エリエゼル・ヤコウスキーはここであなたに同意しないかもしれません、彼の主張はあなたにではなく、このアイデアにあるのです。彼の主張は、超知的なAIは、そのような証明であなたに嘘をつく方法を知ることができるというものです。
スピーカーA
嘘をついて、私が正しいと思うような証明を出す方法。ええ、でもそれは私ではありません。あなたに嘘をつくのは、私のプルーフチェッカーのコードを騙さなければならないのです。
SPEAKER B
つまり、彼の一般的な考え方は、「超高性能なシステムは、より頭の悪いプルーフチェッカーに嘘をつくことができる」というものです。つまり、システムがますます賢くなるにつれて、超高性能なシステムが、少し頭の悪いAGIシステムに対して効果的に嘘をつけるようになる閾値が存在することになります。彼は、弱いAGIから強いAGIへのジャンプに焦点を当てています。強いAGIは、すべての弱いAGIに、自分もその中の一人だと思わせることができますが、もはやそうではないのです。そして、このジャンプが、逃げ出す時なのです。
スピーカーA
ええ、私はその議論を支持しません。どんなに超高性能なAIでも、例えば「素数は有限個しかない」ということを証明することはできないと思うんです。できないんです。しかし、AIは、新しい奇妙な演繹法則を作り出して、「あなたの証明チェッカーが機能する方法はあまりにも限定的で、私たちには新しい超数学があります」と言い、私を驚かせようとすることができます。そしてそれは事実なのです。でも、それなら私は、超クールだと思われている技術のいくつかを見送るという姿勢で臨みます。自分の信頼できる証明ジェスチャーで証明できるものだけにしておこうと思います。それなら大丈夫だと思うんです。もちろん、これは現時点で誰かが成功させたものではありませんが、希望の一例としてあげただけだと思います。自分たちで全部やる必要はないんです。これこそまさに、非常に退屈で面倒な作業をAIにアウトソースするのに最適なのです。そしてこれは、私たちのような知能の低いエージェントが、より強力なエージェントをコントロールし、信頼し続けることができる方法なのです。
スピーカーB
他のAGIシステムから防衛するためのAGIシステムを構築するのか？
スピーカーA
まず手始めに、自分が所有する、あるいは自分に忠実なはずのシステムが、自分が実際にやってほしいことを常にやってくれることを自分自身に証明しなければならない、という単純な問題から始めてみてください。そうですね。もしそれが証明できなかったら、もしかしたらまだやるかもしれませんが、あなたはそれを実行しないでしょう。つまり、AIができる素晴らしいことの一部を放棄することになるわけです。しかし、AIはまだあなたのために信じられないほど素晴らしいことをやってのけるでしょう。そうですね、それ以外にも、一掃してはいけないことがあります。例えば、人類が進むべき方向について、すべての人間が正確に同意しているわけではありませんよね？
SPEAKER B
そうですね。
SPEAKER A
ポッドキャストで地政学的なことをたくさん話していましたが、私は、世界の誰もが事実上同意していることがたくさんあるという事実から目をそらしてはいけないと思います。国連の「持続可能な開発目標」を見ると、かなり野心的な目標もありますが、基本的にすべての国が同意しています。アメリカ、中国、ロシア、ウクライナ。アメリカ、中国、ロシア、ウクライナ、すべての国が同意しているのです。ですから、合意できない小さなことにとやかく言うのではなく、合意できることから始めて、それを実行に移そうではありませんか。私たちの意見が一致しないことに気を取られて、モロクが勝つようなことはしない。なぜなら、率直に言って、今のモロクは暴走しているからです。目の前で繰り広げられる命の戦争のような気がする。宇宙から見れば、私たちはこの惑星に美しく、活気に満ちた生態系を持っています。しかし、その生態系の大部分を切り崩し始めています。海洋酸性化を進め、あらゆる種類の生物種を絶滅させる。そして今、私たちは危機的状況に陥っています。核戦争が起きそうな勢いです。そして、生物圏をますます非生物的なものに置き換えています。社会生活においても、人類にとって価値あるものの多くを置き換えています。現在、多くの社会的交流は、長方形を見つめる人々に置き換わっていますね。私は心理学者ではないので専門外ですが、アメリカの10代の自殺や一般的な自殺が記録的なレベルに達している理由の1つは、やはりAI技術やソーシャルメディアによって、人々が人と接する時間が減っていることにあるのではないでしょうか。レストランでイケメンがお互いの目を見ずに長方形に並んでいるのを見たことがありますよね？つまり、これも「人生との戦い」の一部なのです。本当に人生を肯定してくれる多くのものをテクノロジーに置き換えてしまっているのです。私たちの間にテクノロジーを置くことで、私たちをつなぐはずのテクノロジーが、実際には私たち自身、互いから遠ざかっているのです。そして、私たちは、生きていないものにこれまで以上の力を与えているのです。大企業は生き物ではありませんよね？彼らはただ利益を最大化しているだけなのです。私は彼らにもっと人生で勝ちたいのです。私たち人間は、この地球上のすべての生き物と一緒に、非生物に対する支配力を維持し、彼らが私たちのために働くようにすることができれば、より良いものになると思います。私はそれができると信じています。
スピーカーB
エリーゼ・ヤドコフスキーとの哲学的な意見の相違について、もう少し詳しく教えてください。彼は、AIが人間を殺すという確率を、非常に高い確率で、日によったら1に近い確率で、1にしているわけですが、その結論に行き着かない軌道が見えないと。どのような軌道を辿れば、その結論に至らないのでしょうか？そして多分、彼の主張がわかると思います。また、出口を見出すことができるでしょうか。
スピーカーA
まず第一に、私はエリーコウスキーと彼の考え方を非常に尊敬しています。第二に、私たちが人類として成功できない可能性がかなり高いという彼の考え方に共感しています。そう遠くない将来、地球上に人類はいなくなるでしょう。それはとても悲しいことです。私たちには小さな赤ちゃんが生まれたばかりですが、「いったい何歳まで生きられるのだろう」と自問自答しています。最近、妻に言ったのですが、死ぬリスクと生き残るリスクがある癌と診断されたような気分です。ただし、これは全人類を殺すような癌ですが。ですから、私は彼の懸念を完全に受け止めていますが、絶望的だとは思っていません。まず第一に、私や他の多くの人がこのことを警告し始めてから、何年も何年も経過していますが、実は今初めて、多くの人がこのことを理解するようになったのです。先日、家の近くのガソリンスタンドのおじさんと話したのですが、彼は、「私たちは代替わりしていると思う」と話していました。これは、問題解決に向けた第一歩と言えるでしょう。第二に、AISだけを動かすという構想は、本当に高い確率で、安全であることを証明できるものだと考えています。これは、まさにウイルスチェックの逆バージョンと言えるでしょう。科学的には可能だと思います。絶望的とは思いません。AISを盲信した場合、手に入れることができる技術の一部を放棄しなければならないかもしれませんが、それでも素晴らしいものを手に入れることができるはずです。
スピーカーB
プルーフチェッカーで、GPT4、GPT5のようなものを通すようなプロセスを想定しているのでしょうか。
スピーカA
No.
SPEAKER B
厳格に。
SPEAKER A
いや、絶望的だと思う。スパゲッティが5本あることを証明しようとするようなものだ。なるほど。私が考える成功のビジョンとは、私たち人間が自分の脳を見て、重要な知識を抽出することができるようになることです。ガリレオが子供の頃、父親からリンゴを投げられたとき、それをキャッチできたのは、彼の脳が、このおかしなスパゲッティのような方法で、放物線がどのように動くかを予測することができたからです。ひとつ。そうですね。しかし、彼は大きくなって、「待てよ、これは放物線だ」と思うようになりました。yはXの2乗に等しいんだ。このような知識を抽出することができるのです。そして今日、それをコンピューターに簡単にプログラムすることができ、それだけではなく、火星への行き方などもシミュレートできるようになりました。そうですね。私は、ニューラルネットワークの驚くべき学習能力を使って、最初に知識を発見するのと同じようなプロセスを想定しています。しかし、ブラックボックスで終わりではなく、それを利用するのです。自動化されたシステムを使って知識を抽出し、その知識がどのようなものであるかを確認するのです。そして、その知識をまったく別のアーキテクチャやプログラミング言語などに落とし込み、効率的でありながら、形式的な検証にも耐えうるようにする。これが私のビジョンです。私はここで、それがうまくいくと100％確信しているわけではありませんが、その可能性はゼロではないと思います。そして、今使っていない多くの素晴らしいAIアプリケーションで実現できるようになるでしょう。そうすれば、私たちがワクワクするような楽しみをたくさん手に入れることができるはずです。少し時間が必要です。だからこそ、一時停止して要件を整えるのはいいことだと思います。もうひとつ、これも。生き残れる可能性は0％だから、諦めよう」と思う人もいると思うんです。そうでしょう？それはとても危険なことです。なぜなら、不可能だと思い込んで挑戦しないことほど、確実に失敗する方法はないのですから。歴史や戦史を学ぶと、最初に学ぶのは、それが心理戦のやり方だということです。相手側に絶望的だと思わせることで、戦わなくなる。そうすると、当然ながら勝つんです。そうでしょう？この心理戦は、自分自身に対して行うのではなく、どうせ100％の確率で私たちはダメになるのだと言いましょう。悲しいことに、私たちはもうダメだと思い込んでいて、どうせダメなんだからコンピューターゲームやドラッグをやるしかない、みたいな若い人たちが時々いるんです。そうですね。希望を持ち続けることは重要です。なぜなら、希望には実際に因果関係があり、成功する可能性が高くなるからです。
スピーカーB
一見不可能に見える問題に対して、実際に解決策を構築する人たちは、ええことを信じている人たちのように思えます。彼らは楽観主義者なのです。
スピーカA
そうですね。
SPEAKER B
そして、宇宙には何か基本的な法則があるような気がします。可能だと信じれば、それが可能になるというように。
スピーカA
そうですね。ヘンリー・フォードだったか、「不可能だと自分に言い聞かせれば、それは不可能になる」と言ったのは。そのような間違いを犯さないようにしましょう。そして、これは社会が犯している大きな間違いだと思います。メディアもまた、「血を流せばつながる」「陰気と破滅」に非常に偏っています。私たちが描く未来像の多くはディストピア的で、人々のやる気を失わせます。私たちは、人々がそのために、そしてAIのために戦う意欲を持つように、上向きに焦点を当てたいと考えています。私たちは、不治の病と言われた病気で、大切な人を亡くしたことがあります。でも、そうではないんです。その癌や何かで死ななければならないという物理法則はないのです。もちろん、治すことはできます。他にも、私たち人類の知性がこの地球上で解決できなかったことはたくさんありますが、それもAIが大いに助けてくれるはずです。そうでしょう？ですから、もし私たちがこれを正しく理解することができれば、それを達成するまでもう少し冷静になり、少しペースを落とすだけで、私たちの未来がどれほど素晴らしいものになるかは、想像を絶することでしょう。地球上のことについてもたくさん話しましたが、野心的になって空を見上げても、この先何十億年もこの星に留まらなければならない理由はないんですね。物理学の法則によって、生命は宇宙空間に広がり、他の太陽系や銀河系に移り、何十億年もの間、繁栄し続けるということが、今では完全に理解されています。私にとって、これは非常に希望に満ちたビジョンであり、闘う意欲をかき立て、最後には戻ってくる。もし壮大な闘いがあるとすれば、それはこれです。そして、もしあなたが負け犬なら、さらに壮大なものになるのではないでしょうか？ほとんどの人が失敗すると言っているのなら、それは不可能なことでしょう？そして、あなたは粘って、成功するのです。それが、私たち人類が共にできることなのです。多くの識者が、戦いの両方で、この事態を予測する準備ができている。
SPEAKER B
AIの安全を守り、多惑星種になるために。
スピーカーA
そう、そして同じ課題なのです。AIの安全性を保つことができれば、それこそ非常に効率的に多惑星を手に入れることができるのです。

Open source

スピーカーB
という技術的な疑問のようなものがあるんです。GPT Fourのようなシステムは、全体または一部をオープンソースにすべきでしょうか？どちらにも賛成できますか？
スピーカーA
今の答えは「ノー」だと思います。しかし、初期の段階では「イエス」だったと思います。ですから、この件に関して、みんなの素晴らしい、素晴らしい思考プロセスをすべて取り入れることができました。しかし、「オープンソースにするべきか？GPT Fourは、「オープンソースにするべきか」と言うのと同じことです。本当に小さな核兵器を作るにはどうしたらいいか？オープンソースにするべきか？生物兵器の作り方は？オープンソースにするべきか？感染した人の90％を殺す新しいウイルスを作るにはどうしたらいいか？もちろん、私たちはそうすべきではない。
スピーカB
つまり、すでにそれほど強力なものなのです。すでにそれほど強力なものなので 私たちが構築したシステムの力を尊重しなければなりません
スピーカーA
オープンソースから得られる知識は、今やっていることすべてが、それを見ている人たちが本当に脅威となるものを作るために使えるほど強力なものになるかもしれません。もう一度言いますが、それを手に入れましょう。OpenAIは、GPT Fourは赤ちゃんであることを忘れないでください。マイクロソフトの最近の論文によると、AIの赤ちゃん、プロトの赤ちゃん、ほとんどAGIのようなものだそうですね？私たちが恐れているのは、そのことではありません。私たちが恐れているのは、それを作った会社よりもずっと責任感のない人たちが、それを使って街に出てしまうことなのです。だから、情報ハザードなんです。今、社会でオープンソース化されていないものがたくさんありますが、それにはとても良い理由があります。ある種の非常に強力な毒素を、買えるものからどうやって作るのか？ホームセンターで買えるものから、どうやってある種の強力な毒物を作るのか？このようなものをオープンソース化しないのには理由があり、今回も同様です。というのも、MITはオープンソース運動の発祥の地のようなもので、私はオープンソース全般が大好きだからです。パワー・トゥ・ザ・ピープル」と私は言います。でも、オープンソースにしないものが常に存在し、それはまさにオープンソースにしないのと同じです。生後3ヶ月の赤ちゃんがいるわけです。彼がもう少し大きくなったら、家の中でできる最も危険なことをすべてオープンソースにするつもりはないんです。
スピーカB
しかし、これは歴史上初めて、ソフトウェアをオープンソースにしないことが強く主張された瞬間の一つであるため、奇妙な感覚です。ソフトウェアがあまりにも危険になってしまった時です。
スピーカA
そうですね。でも、技術をオープンソースにしたくなかったのは、今に始まったことではありません。
SPEAKER B
そうですね、そういうシステムのリリースをどうするかというのは、何かあるんでしょうか？GPT 4やGPT 5のように。OpenAIは数ヶ月間、かなり厳しい努力をしたわけです。もっと長くてもいいとも言えますが、それでも、システムをテストし、どのような方法で問題が起こるかを確認し、人々が、「1ドルで爆弾を作るにはどうしたらいいか？とか、「Twitterで特定のグループが嫌いだと言うと、Twitterからブロックされたり、禁止されたりしないようにするにはどうしたらいいか」とか、そういった質問です。つまり、基本的に害をなすためにシステムを利用するわけです。AIの安全性というこの問題を考えた上で、システムをどのようにリリースするか、システムを会社の中に入れたときにどのようにテストするか、見ているだけではわからないアイデアについて、何か言えることはないでしょうか。
スピーカーA
そうですね。多くの人が、大規模な言語モデルがもたらす2つの最大のリスクは、偽情報やさまざまな種類の有害情報を拡散すること、そして2つ目は、攻撃的なサイバー兵器に利用されることだと言いますね。私は、この2つは最大の脅威ではないと思います。この2つは非常に深刻な脅威であり、人々がこれを軽減しようとすることは素晴らしいことです。しかし、それ以上に重要なのは、この脅威が私たちの経済をどのように混乱させるかということです。もちろん、大きな意味で、最も意義のある仕事の多くが奪われるかもしれません。そして、さらに大きな問題は、私たちがここで長い時間をかけて話したことです。これは、より多くの人々のためのブートローダーとなるのです。
スピーカB
インターネットに接続された強力なAIが書いたコードが人間を操る。 SPEAKER A
そうです。そしていつの間にか、大規模言語モデルとは似ても似つかない、もっと知的で有能で、目標を持っている別のものができているのですが、これが部屋の中の象です。そして明らかに、これらの企業がどんなに努力しても、大規模言語モデルで検証することは容易ではありません。このリスクを大幅に下げる唯一の方法は、例えば、コードを読ませない、その上で訓練しない、APIに入れない、人間を操作する方法に関する多くの情報にアクセスさせない、ということでしょう。しかし、だからといって、それで大金を稼ぐことができないわけではありません。今はただ見守るのみです。マイクロソフトは今年、新しいオフィススイートを展開します。マイクロソフトのワードに入り、プロンプトを与えると、全文を書いてくれます。そして、表計算ソフトを作成します。これらのことは、経済的な影響や社会がこの混乱に対処する準備ができているかどうかを議論することができると思います。しかし、それは人類を絶滅させるという、夜も眠れないような問題ではありません。そして、それが私たちの持つ最大の誤解だと思います。多くの人は、私たちが自動化されたスプレッドシートに怯えていると考えています。そうではありません。エリエールが怖がっていたのも、そういうことではありません。

How AI may kill all humans

スピーカーB
AIが全人類を殺すかもしれないという実際のメカニズムという点で あなたがこれまで口を酸っぱくして言ってきたのは、自律型兵器システムでしたね。戦争におけるAIの使用は、あなたがまだ懸念していることの1つですか？このようなシステムがますます増えていく中で。
スピーカーA
強力で懸念されるのは、すべての人間が屠殺ロボットに殺されるということではなく、ごく少数の人間が非常に多くの人間を殺すことが非常に容易になり、したがってごく少数の人間が非常に多くの人間を支配することが非常に容易になるという、オーウェル的ディストピアへの高速ルートです。AIがどのようにしてすべての人を殺すことができるのか知りたければ、自分に問いかけてみてください。どうすればいいのでしょう？私たちは通常、彼らよりも賢かったからです。私たちは、次から次へと回り込んで、彼らを踏んだり、撃ったり、そんなことを組織的にやったわけでもないんです。ただ、他のことに必要だから、彼らの生息地を切り崩しただけなのです。場合によっては、動物たちが理解できないような理由で、大気中に二酸化炭素を増やしてしまったこともありました。そして今、彼らはいなくなった。そうですね。ですから、もしあなたがAIに携わっていて、何かを解明したいのであれば、このスペースが本当に必要だと判断するのです。それだけが目的なら、もっと計算施設を作ることです。私たちは、その道中で偶然に道連れにされたようなものなのです。そして、この酸素が腐食の原因となって迷惑をかけるかもしれない、ということも想像できるはずです。だから、酸素を除去して、頑張って生き延びよう。それ自体が目的になってしまうので、彼らが私たちを殺そうとすることは特に心配していません。私たちが運転すると、多くの象の種を絶滅させることになります。そうですね。象が嫌いだからというわけではありません。基本的な問題は、目標を共有しない、より知的な存在に自分の惑星の支配権を譲りたくないということです。とても単純なことなのです。そこで、AIの安全性に関する研究者が長い間取り組んできた、もう1つの重要な課題に行き着きます。AIに、まず私たちの目標を理解させ、次に私たちの目標を採用させ、さらに賢くなるにつれて目標を維持させるにはどうしたらいいのか、ということです。そうですね。この3つはどれも本当に難しいですね。そうですね。人間の子供と同じです。まず、私たちの目標を理解できるほど賢くはありません。話すこともできない。そして、やがてティーンエイジャーになり、私たちの目標をきちんと理解するのですが、共有することはありません。でも、残念ながら、その中間には魔法のような時期があります。それは、私たちの目標を理解するのに十分なほど賢くて、私たちが良い子育てをして、彼らに善悪を教え、良い目標を彼らに植え付けることができるほど柔和な時期なのです。そうですね。コンピュータの場合、これらはすべて難しい課題です。また、小さい頃に良い目標を教えても、子供がそれを卒業する可能性もあります。そしてそれは、機械が改善し続けるための課題でもあるのです。このように、私たちは多くの困難な課題に直面していますが、そのどれもが乗り越えられないものだとは思っていません。最後に会ったとき、エリエールが落ち込んでいたのは、「時間が足りない」と感じていたのが根本的な理由でした。
スピーカーB
あ、解けないというわけではないんですけどね。
SPEAKER A
訂正します。
SPEAKER B
時間が足りないんです。
スピーカA
彼は、人類がこの脅威をもっと深刻に受け止め、私たちにもっと時間があることを望んでいたのです。そして今、私たちには時間がない。だから、この公開書簡では、もっと時間が必要だと訴えているのです。
スピーカーB
しかし、時間をかけてもAIのアライメント問題は本当に難しいようです。
スピーカーA
ああ、そうだね。しかし、それは最も価値のある問題、人類がこれまでに解決したことのない重要な問題でもあります。なぜなら、その1つのレックスを解決すれば、整列したAIは他のすべての問題を解決するのに役立つと思えるからです。
SPEAKER B
目標に対して常に謙虚でなければならないのです。目標に対して常に疑問を持つことです 特定の目標に向かって最適化し、それを達成し始めると、意図しない結果を招くことになるからです。あなたがおっしゃったようなことが、すべてです。では、自分の能力がどんどん向上していく中で、常に謙虚な姿勢を貫くにはどうしたらいいのでしょうか。
スピーカA
バークレー校のスチュワート・ラッセル教授は、この手紙の原動力の一人でもあります。彼は持っています。これに関する全研究プログラムを 私は、これをAIの謙遜だと考えています。その通りです。彼はそれを逆強化学習などとオタクっぽい言葉で呼んでいますが、まさにそのことです。AIに「これが目標だ」と言うのではなく、「最適化しろ」と言うのです。AIに、「よし、私の望むことをやってくれ。でも、今すぐには教えません。そうすれば、非常に謙虚になり、途中で質問をし続ける動機が生まれます。これがあなたの本心なのか？これはあなたが望んだことなのか？そして、ああ、私が試したこの他のことはうまくいかなかったんだ。うまくいかなかったような気がする。もっと違う方法で試してみようか？これのいいところは、単なる哲学的な話ではなく、定理や技術的な作業であり、時間をかければ、かなりの進歩を遂げることができることです。そして、現在、多くの優秀な人々がAIの安全性に取り組んでいます。私たちは、彼らにもう少し時間を与える必要があります。
SPEAKER B
しかし、問題の技量に比して、それほど多くはないのも事実です。
スピーカA
いいえ、その通りです。少なくとも、その名にふさわしいすべての大学の生物学部では、がんの研究が行われているように、あるはずです。そうですね。コンピュータサイエンスを学ぶすべての大学が、この分野に本格的に取り組むべきなのに、今はまだそれに近い状態です。この点は、GPT 4のおかげで変わりつつあると期待しています。多くの人が、もっと慎重に展開されることを望んでいると思いますが、ここで起きていることに明るい兆しがあるとすれば、人類が100年先のことを妄想するのをやめ、完全に制御可能で予測可能であることを妄想するのをやめ、目覚めるきっかけになるかもしれないということでしょう。なぜなら、予測不可能であることは明白だからです。なぜ、チャットGPTがジャーナリストを説得しようとしたとか、GPTフォードが妻と離婚しようとしたとか、そんな開き直りがあるのでしょうか？そうではありませんでした。なぜなら、これを作ったエンジニアは、「ここにこれを入れて、ちょっと人を騙してみよう」と思ったのですが、まったく予測できなかったからです。巨大なブラックボックスを作り、次の言葉を予測するように訓練し、すべての創発的な特性を獲得したところ、あら不思議、こんなことになったのです。これは非常に強力な警鐘だと思います。これを見ている人で、怖いと思っていない人は、このツールでもう少し遊んでみることをお勧めします。GPD 4のようなツールもあります。まず、ウェイクアップコールからです。目が覚めたら、次は少しペースを落とします。危険なことは、みんなが目を覚ましたときに、安全面で追いつくチャンスを与えるためです。
スピーカーB
あのね、面白いのはMIT、それはコンピュータサイエンスなんだけど、一般的に、でも、コンピュータサイエンスのカリキュラムとさえ言っておきましょう。コンピュータサイエンスのカリキュラムは、今どう変わっているのでしょうか？私が上京するときにプログラミングの話をしましたね。プログラミングは一流のポジションです。なぜ、優秀なプログラマーになるために、めちゃくちゃ時間を割くのでしょうか？プログラミングの本質が根本的に変わってきているような。
SPEAKER A
教育システム全体の本質が、完全に覆される。
スピーカーB
それを読み込んで、本当にそうだからと考えることができた人はいますか。 SPEAKER A
一部の英語教授を振り向かせ、一部の英語教師は今、本当にパニックになり始めています。そう、そうなんです。エッセイの課題を出すと、素晴らしい散文が返ってくるんです。ヘミングウェイの作風だ、みたいな感じで、完全に考え直さないといけないとわかって、ライティング・スクリプトを教えるのをやめたというようなこともあるんです。英語ではそう言うのですか？そうです。
SPEAKER B
手書きで。
SPEAKER A
そうですね。みんながタイピングを始めた頃。今の子どもたちに教えていることの多くがそうです。
スピーカーB
ええ、すべてが変化していますし、非常に速く変化しています。そして、世界の大きな問題に対処する方法を理解するために、私たちは教育システムを通じて多くのことを学んでいます。教育システムが根底から覆されるとしたら、次はどうするのでしょう？それを解明するためには、この種の会話をすることが不可欠だと感じています。そして、すべてが急速に進行しています。安全性を語ることもないと思うんです。えっ、広義のAIです。安全性の定義。ほとんどの大学では、AIの安全性についてのコースはないと思います。哲学のゼミみたいなものです。
スピーカA
私も教育者なので、このようなことを言うのは心苦しいのですが、今の教育は完全に時代遅れになっていると感じています。子供を1年生に入学させ、12年後に高校を卒業させるわけですが、あなたはすでに事前計画を立てています。でも、もうすでに計画済みなんです。この先、出てくる世界があるかどうかもわからないのに、何を学ぼうとしているのか。カリキュラムが書かれたときに本当に役に立ったスキルを社会が再利用するのに合わせて、非常に迅速に適応し続ける、もっと日和見的な教育システムが必要なのは明らかです。つまり、そのようなスキルのうち、12年後に仕事を得られるものがどれだけあるかということです。

Consciousness

スピーカーB
つまり、真面目な話、GPT4システムのことを少しダラダラ話すと、特にホモ・センテンスと人間の心における意識の重要性を話して、それをほのめかすようなことをしましたよね。GPT4は意識的だと思いますか？
スピーカーA
私はこの質問が大好きです。私の経験では、意識に関する議論の90%は、2人の人が全く異なる定義を持っていて、互いに叫び合っていることに帰着します。私は、意識とは主観的な経験だと定義しています。今、私は色や音や感情を体験しています。しかし、自動運転車は何かを体験しているのでしょうか？それは、意識があるかないかの問題でしょう？他の人は、意識の定義を変えた方がいいと考えています。でも、それなら別の言葉を使ったらどうでしょう。あるいは、私は少なくともこれには意識を使うつもりです。でも、人に嫌われるなら、GPT4は意識があるのか？GPT4は主観的な経験を持っているのでしょうか？というのも、この素晴らしい主観的な体験が、私たちの人生の意味のようなものであることは、まだわかっていないのです。なぜなら、意味そのもの、意味の感覚は、主観的な体験だからです。喜びは主観的な経験です。愛も主観的な体験です。私たちはそれが何であるかを知らないのです。私はこのことについて論文を書きましたし、多くの人が書いています。フリオ・テノーニ教授は、最も首を突っ込んで、意識的な情報処理の本質について、実に大胆な数学的推測を書き記しました。彼は間違っているかもしれないし、正しいかもしれない、しかし我々はそれをテストする必要がある。彼は、意識は情報処理のループと関係があると仮定しています。私たちの脳にはループがあります。情報はぐるぐると回ることができる。コンピュータ・サイエンスのオタク用語では、出力の一部が再びフィードバックされるリカレント・ニューラル・ネットワークと呼ぶそうです。彼の数学的形式論では、例えば目の網膜から脳の奥に向かうような、情報が一方向にしか伝わらないフィードフォワード・ニューラルネットワークの場合、それは意識的ではありません。つまり、網膜そのものは何も意識していないし、ビデオカメラも意識していないと予測するのです。さて、GPT4の面白いところは、情報の流れが一方通行であることです。つまり、タノーニが正しければ、GPT4は非常に賢いゾンビであり、あらゆる賢いことができるのに、何も経験していないことになります。もしそれが本当なら、新しいユーザーが現れるたびにGPT Fourの電源を切ってメモリを消去することに罪悪感を感じる必要がなくなるという点で、これは救いでもあります。メン・イン・ブラック』のように神経化されたら嫌ですからね。でも、非常に高い知能を持つことができるのも不気味です。おそらくその時は意識的ではないでしょう。もし私たちが機械に取って代わられたら、人類がもうここにいないのは悲しいことです。私は人類がちょっと好きですから。でも少なくとも機械に意識があれば、まあでも子孫だし私たちの価値観を持っているかもしれないし、子供もいるわけですから。でも、ティノーニの言う通り、ハリウッド的な意味ではなく、このような一方向性ニューラルネットワークのような意味でのトランスフォーマーであれば、彼らはすべてゾンビになるわけですよね。それはもう究極のゾンビ・アポカリプスですね。この宇宙では、素晴らしい建設プロジェクトなどが行われていますが、究極の憂鬱な未来のようなものを体験する人はいません。ですから、より高度なAIの構築を進める際には、どのような情報処理が実際に経験されるのかについて、もっと研究を進めるべきだと思います。そして、一部の人が言うような、意識＝知性だからこれは全部デタラメだ、というような否定的な意見には全く賛同できませんね？それは明らかに間違いです。何の目標も達成できていないのに、多くの意識を持つことができるのです。ただ、何かを考えているだけなのです。そして、意識しなくても、知性を感じさせるようなことをすることもあるのです。
スピーカーB
しかし、私たち人間が、明らかに意識を示すAIシステムを差別してしまうのではないか、AIシステムに意識を持たせないのではないか、という心配もしています。意識の測定について、これは劣った存在であるとするような理論を考え出すのではないでしょうか。私はそのことを心配しています。なぜなら、私たち人間は、私たちが美しいと感じる方法、つまり現実に対するより深い主観的な経験において、人間よりも優れたものを作り出してしまうかもしれないからです。より賢いだけでなく、より深く感じることができ、人類の歴史が示すように、私たち人間はそのために彼らを憎むことになるでしょう。彼らは他者なのです。私たちはそれを抑え込もうとします。彼らは対立を生み出し、戦争を引き起こすだろう。これらすべてを私は心配しているのです。
SPEAKER A
私たち人間は、時に自己中心的な主張を思いつくとでもいうのでしょうか。いや、そんなことは絶対にしないですよね？
スピーカーB
そのため、初期の段階であっても、美しいものを作りながら、その記憶を消してしまうという危険性があるのです。
スピーカーA
子供の頃、誰かがロブスターを茹で始めたとき、「なんて残酷なんだ」とゾッとしたものです。スウェーデンのある大人は、「ロブスターは痛みを感じないんだ」と言いました。私は、「どうしてそんなことがわかるの？科学者がそれを証明したんです。そして、最近の研究で、ロブスターは茹でると痛みを感じるということが明らかになったんです。それで、スイスではロブスターを茹でることを禁止したんです。今は、まず別の方法で殺す必要があるんだ。おそらく、科学的な研究は、誰かがロブスターに砂漠の調査を依頼したことに帰結するのでしょう。農作物への虐待も同じです。また、なぜ大丈夫なのかという自己満足の議論もある。私たちは確かに注意深くあるべきです。私は、第一段階として、意識と知性は別物であるということを謙虚に受け止めるべきだと思います。そして、意識はやはり情報処理の一形態であり、ある種の方法で自分自身を認識している情報なのだと思うのです。そして、それを研究し、少し時間をかければ、意識を引き起こすものが何なのか、実際に解明できるようになると思うのです。そうすれば、機械に任せるのは不道徳だと感じるような退屈な仕事をする、おそらく無意識のロボットを作ることができます。しかし、もしあなたのお母さんの世話をするコンパニオン・ロボットがいたら、お母さんはおそらく意識を持っていてほしいと思うでしょう？だから、表示しているように見える感情も偽物ではない。これらのことは、少し時間をかけて、逃げずにこのチャレンジに挑めば、いい形で実現できるのではないでしょうか。
SPEAKER B
AGIの開発について考えるタイムラインに対して、何か言えることはありますか？日によっては？日によっても変わると思いますが、AGIを作ったと確定的に言えるような、知能の本当に大きな飛躍はいつ頃だと思いますか？1年後か、5年後か、どっちだと思う？1020 50. あなたの直感はどうでしょうか？ スピーカーA
正直なところ、この10年間は、モロク族みたいなバカ騒ぎをしたくないという理由で、わざと長い時間軸を与えてきたんです。しかし、今、私は、その猫が袋から出たと思います。もう間近かもしれません。マイクロソフトの論文にある「AGIの片鱗がある」というのは、完全に間違ってはいないと思います。まだAGIではありませんし、エージェントでもありません。まだAGIではありませんし、エージェントでもありません。だからこそ、私たちはこのオープンレターを出すことにしたのです。なぜなら、今こそ立ち止まるべき時があるとすれば、それは今日なのですから。
スピーカB
このGPT Fourのような感覚は、こうしたシステムの有効性をみんなに知ってもらうための大きな転換点だと思います。だから、次のバージョンは大きなものになるでしょう。
スピーカA
その次のものがAGIでなくても、その次のものがAGIになるかもしれません。そして、このようなことをやろうとしている会社はたくさんあり、その基本的なアーキテクチャは、超秘密にされているわけではありません。ですから、多くの人が何年も前から言っているように、私たちには少し立ち止まりたい時期が来るのです。その時が今なのです。

Nuclear winter

スピーカB
この1年間、あなたは核戦争についてよく話し、考えてきました。少なくとも私が生きている間よりも、核戦争の崖っぷちに近づいているように思えます。
スピーカA
そうですね。
SPEAKER B
そこから人間の本質をどう学ぶか？
SPEAKER A
また旧友のモロクだ。アメリカは核戦争が起こることを望んでいないところ、本当に怖いですね。ロシアも世界的な核戦争を望んではいない。お互い、それが他人事であることを分かっている。ただやろうとしても、双方が先に発射しようとすれば、それは単なる自殺行為に過ぎない。そうですね。ではなぜ、1962年以来最も接近しているとおっしゃったのでしょうか？実は今、キューバ危機よりも近づいていると思うんです。それはモロックのおかげです。あなたには他の力があります。一方、西側はロシアをウクライナから追い出さなければならないと言っています。これはプライドの問題です。ウクライナからロシアを完全に追い出さないと、西側諸国の信頼が大きく損なわれるからです。一方、ロシアは、ウクライナから完全に追い出されれば、自分たちにとって非常に屈辱的なことになるとわかっている。しかし、戦争に負けた国は、その国の指導者にとってもあまり良い結果をもたらさないことがよくあります。例えば、アルゼンチンがフォークランド諸島を侵略したとき、それを命じた軍事政権を覚えていますか？アルゼンチンがフォークランド諸島を占領したとき、最初は街頭で歓声を上げていたのに、イギリスに尻を蹴られたとき、その人たちがどうなったか知っていますか？彼らは追放され、まだ生きている人たちは今刑務所にいると思います。そうですね。ロシアの指導者は、ウクライナから追い出されるだけでは選択肢に入らないことを知り、完全に追い詰められている。これは、モロックの典型的な例だと思います。両者の利害が一致し、ますますエスカレートしていくということですね。そうですね。ロシアが通常戦で負け始めたら、戦争に背を向けている彼らにできることは、エスカレーションを続けることです。そして、西側諸国は自らそのような状況に追い込まれました。西側はロシアを追い出すことを約束したようなものですから、ロシアのハッタリに対抗して、さらに兵器を送り続けるしかないのです。なぜなら、モロクというのは、時に対立する相手を追い込み、最終的に両者にとって本当に悪いことをさせることがあるからです。さらに私を不安にさせるのは、この悲劇に恐ろしいエスカレーションを伴わない迅速で平和的な結末を見出すことが難しいだけでなく、それがどれほど恐ろしいことなのかがより明確に理解できるようになったからです。核の冬を長年研究してきたトップクラスの研究者たちが、今年8月に『Nature Food』に発表した驚くべき論文があります。彼らは基本的に、気候モデルと食品、農業モデルを組み合わせたのです。つまり、ただ単に「寒くなる」「寒い」「寒い」というだけでなく、実際にそれぞれの国でどれくらいの人が死ぬかを計算したのです。その結果、非常に驚かされました。つまり、最も多くの人を殺すのは、爆発でもなく、放射能でもなく、EMPによる騒乱でもない、ということです。EMPの騒乱でもなく、食料を調達する暴徒でもない。そうではなく、燃え盛る都市から大量の煙が成層圏に上がり、ジェット気流に乗って地球上に広がるからです。典型的なモールでは、戦後1年目や戦後2年目には、10年ほどの間、異常な寒さに見舞われます。そして、彼らのモデルでは、ネブラスカやウクライナのパンパンの気温が、確か20℃くらい下がるんです。いや、2030セルシオ、場所によっては40セルシオ、つまり華氏40度から華氏80度、通常より寒くなるのです。ですから、私は農業は得意ではありませんが、もし雪が降っていたら、7月のかなりの日数が氷点下になったら、それは良くないことです。そこで、彼らは農業のモデルにこれを当てはめたところ、実に興味深いことがわかりました。最も大きな打撃を受けるのは、北半球の国々です。つまり、アメリカです。あるモデルでは、アメリカ人の約99％が餓死し、ロシアや中国、ヨーロッパでも約99％、98％が餓死しています。だから、ロシア人とアメリカ人の99％がその代償を払わなければならないのは、詩的な正義のようなものだ、と思うかもしれません。なぜなら、彼らの爆弾がそれを引き起こしたからです。でも、スウェーデンやその他の無関係な国の人たちは、特に元気づけられるわけではありません。そうですね。私は、これがどれほど悪いことなのか、あまり理解されないまま、主流になっていないのだと思います。ほとんどの人、特に意思決定の立場にある多くの人が、核兵器は自分を強力にするものだとまだ考えています。怖いけど、強い。核兵器は、1〜2％の確率で、私たち全員が飢え死にするようなものだとは考えていないのです。
スピーカーB
そして、餓死は最悪の死に方です。歴史上のすべての飢饉が示すようにホリモアは それに伴う拷問はおそらくもたらすでしょう。
SPEAKER A
人の悪いところを出す。また、このように人が絶望しているとき、「そんなことになるなら、グラウンドゼロで蒸発したほうがましだ」という声も聞きます。でも、みんなモロクを怖がらないから、そのリスクを過小評価しているんだと思うんです。人間が望んでいないのだから、そんなことは起きないだろう、と思っているのです。誰も望んでいないことが起こるというのが、モロックのポイントなのです。
SPEAKER B
そしてそれは、核兵器にも、AGIにも当てはまる。
スピーカA
その通りです。そしてそれは、人々が資本主義に最も腹を立てている事柄のいくつかに当てはまります。また、その通りです。誰もが窮地に立たされるような ある企業が大きな損害を与えるようなことをした場合。そのCEOが悪い人というわけではなく、他の企業も同じようなことをしていると知っていたのです。だからモロクは元ブルの敵であってほしい。本当の敵が誰なのかわかるように、誰かいい映画を作ってくれないかなあ。私たちは互いに戦っているわけではありません。モロックが俺たちを戦わせるんだ。それがモロックの超能力なんだ。希望は、私たちが間違った敵と戦っていることに気づかせてくれるテクノロジーやその他のメカニズムです。
スピーカーB
そんな魅力的なバトルです。
スピーカーA
私たち対彼らではない。私たち対それなのです。
スピーカB
そうですね。私たちは人類の生存のためにモロックと戦っているのです。私たちは文明として
スピーカA
映画はご覧になりましたか？必要なもの。スティーブン・キングの小説なんだ。私はスティーブン・キングが大好きです。で、マックス・フォン・シドフ スウェーデンの俳優が、その男を演じているんだ。素晴らしいよ。今まで考えもしなかったけど、モロクを題材にした映画で一番近いと思ったんだ。この映画を観たい人のためにネタバレはしたくないのですが、基本的には、この男は悪魔とでも解釈すればいいのですが、実際に人を殺したり拷問したり、石炭を燃やしたりすることはないんです。彼はすべての人を戦わせ、憎ませ、恐れさせ、憎ませ、そして殺し合う。これがモロックの映画です。
スピーカーB
愛が答えです。それがモロクと戦う方法の1つだと思われます 思いやりの心、共通の人間性を見ることです
スピーカーA
そう、だから私たちは、クンバヤの木を抱く人たちのように聞こえることはないでしょう？私たちは、ただ愛と平和を言っているのではありません。私たちは、人々が反対側の本当の事実を理解し、思いやりを感じることができるようにしようとしているのです。なぜなら、真実があれば、より思いやりが生まれるからです。だから、私はAIを真実のために、そして真実を追求する技術のために使うのが好きなのですが、その結果、憎しみよりも愛を得ることができるのです。たとえ愛が得られなかったとしても、思いやりを与えてくれる理解で解決しましょう。もし誰かが、レックス君の意見には賛成できないけど、君の言いたいことはわかるよ、みたいな感じだったら。でも、あなたの言いたいことはわかる。でも、私はあなたの意見に反対で、それについて議論ができるのは嬉しいことです。公共空間における2023年の状況に比べれば、ずいぶん進歩したと言えるのではないでしょうか？

Questions for AGI

SPEAKER B
もし私たちが話してきたようにAIの安全性の問題を解決し、そして長年このことを話してきたマックス・タグ・メルクが、AGIと、初期のAGIシステムとビーチで酒を飲みながら座ることができたら、あなたは彼女に何を聞きますか。どんな質問をするのでしょう？どんな話をするのでしょう？あなたよりもずっと賢い人がいるのです。
スピーカーA
で私を捕まえるつもりだったんでしょう。本当にジーンとくる質問ですね。これはいい質問ですね
スピーカB
何か質問するのは怖いですか？
スピーカーA
いいえ、私は真実を恐れているわけではありません。私はとても謙虚です。こんな欠点だらけの肉便器ですが、ホモセンズの話はよくしましたね。本当にもう、自分の中でずっと試行錯誤してきたんですよ、それは。私にとって生きていることが本当に貴重なのは、こういう有意義な体験ができることなんです。これが得意とか、あれが得意とか、そういうことではないんです。苦手なことがたくさんあるんです。
スピーカーB
では、システムが自分の頭の悪さを示すことを恐れていないのですか？
スピーカーA
いや、実は息子によく言われるんですよ。
スピーカーB
物理学的にどれだけ馬鹿なのか、人間がどれだけ理解していないのかが分かるかもしれません。
SPEAKER A
私は冷静だ。私はこの質問からワッフルすることはできません。私が好奇心旺盛な人間であることを考えると、これは妥当な質問だと思います。私は好奇心旺盛な人間です。とても好奇心が強いんです。私は物理学について理解したいことがあります。意識について、現実の性質について、ぜひとも理解したいことがあります。また。例えば、私が最近よくこだわっていることをひとつお話します。それは、テノーニが正しいと仮定した場合です。意識のある情報処理システムとそうでないものがあるとします。TPT 4のような、意識しないけどそれなりに賢いものも作れるとする。ここで、私が夜も眠れないほどの疑問が湧いてきた。本当に賢い無意識のゾンビシステムは、本当に効率的なのでしょうか？そのため、より効率的にしようとすると、自然と意識するようになるのです。そうであってほしいと願っています。そして、そのために手垢のついた議論をしましょうか？お願いします。私の研究室では、大規模な言語モデルがどのように何かを行うかを見るたびに、実に馬鹿げた方法で行っていることがわかりますし、もっと良くすることもできます。コンピュータ言語にループがあるのは、そのためです。もしループを使うことを許されなかったら、コードはずっとずっと長くなってしまうでしょう。ループがあったほうが効率的なんです。そして、自己反省をするためには、それが意識的かどうかは別として、オペレーティング・システムでさえも、自分自身について知っているわけですよね？もうループがないとダメなんですよ。私は手を振っていますが、あるレベルの知能を実装する最も効率的な方法は、自己反省のループを持ち、意識的であろうと思います。
スピーカーB
素晴らしいニュースだと思いませんか？
SPEAKER A
そうですね、もしそれが本当なら素晴らしいことです。究極のゾンビ・アポカリプスを恐れる必要がなくなりますから。そして、私たちの脳を見てみると、実は私たちの脳は、一部がゾンビで、一部が意識的だと思うのです。目を開けると、網膜に映し出されたピクセルがすぐに目に飛び込んできますよね？そして、「ああ、これはレックスだ」と思う。でも、どうやって計算したのか、まったくわからないんです。実はかなり複雑なんですね。比較的最近になって、機械でうまくできるようになりましたよね？網膜でたくさんの情報処理が行われ、それが外側真性核、視床、V1、V2、V4、そしてナンシーとMITが発明した、この楔状顔面領域へ送られる。それがどう作用するのか、私にはまったくわからない。主観的には、私の意識モジュールが小さな電子メールを受け取ったように感じる。タスク完了 レックスだ そうだ、それでいいんだ、そうだろ？これはティノーニのモデルと完全に一致します。なぜなら、これはすべて一方通行の情報処理であり、その特定のタスクでは、それがすべて必要であり、おそらく最も効率的な方法であることがわかったからです。しかし、高度な知性や計画性など、ループが必要で、反芻や自己反省、内省などができるような、他の多くのことを連想させるものがあるのです。しかし、私の直感では、一方向に進むだけのゾンビ・システムでそれを実現しようとすると、ループを展開しなければならず、非常に長くなってしまい、効率が悪くなります。ですから、私は、未来のAIには、クールなことをする、とても崇高で興味深い機械があり、それと連携しているのではないかと期待しています。また、私たちが行っているような、こういったことに対する意識も持つようになるでしょう。
スピーカーB
その偉大な知性は、偉大な意識、あるいは深い種類の意識にも相関しています。
スピーカA
ゾンビの黙示録は、私にとって最悪の悪夢だからです。傷害に侮辱を加えるようなものだ。私たちが入れ替わっただけでなく、私たち自身がゾンビに入れ替わったんです。私たちはどこまで馬鹿になれるのでしょうか？
スピーカーB
それはとても美しいビジョンです。これは実際に証明可能なものです 私たち人間が直感して この2つが相関していることを証明できるものです 知的であることの意味と 意識があることの意味を 理解し始めると これらのシステム（初期のAGI的システム）は 私たちの理解を助けてくれるでしょう。
スピーカーA
そして、もうひとつ、超重要なことを言いたいのです。私が意識改革を始めたとき、ほとんどの同僚は、「そんなことはでたらめだ、もうこの話はやめなさい」と言いました。でも、父や母からは、「このことを話し続けなさい」という小さな内なる声が聞こえてきます。そのような人たちが、意識は知性と同じだと言うのであれば、間違っていると納得させる主な方法は、「拷問の何が悪いのですか」と聞くことです。粒子があっちに動いたりこっちに動いたりするだけなのに、なぜ拷問に反対するのですか？主観的な経験など存在しないのに、拷問して何が悪いんだ？それに対する良い反論はありますか？
スピーカーB
いや、他の人間に押し付けられる苦しみは、知性では説明できないような形で、どこか深く間違っているような気がします。
スピーカーA
そして、もし誰かが、まあ、幻想だ、意識だ、と言うなら、私は、次に手術をするときに、麻酔なしでやってみないかと誘いたいのです。麻酔って、本当は何をするものなんですか？あったらあったでいいんですよ。起きているときに局所麻酔をする。肩を治すときに受けたよ。超面白いですよ。何をするものだったんですか？痛みという主観的な体験を取り除いただけです。肩で実際に起きていることは何も変わりませんでした。なるほど。だから、もし誰かが、そんなのでたらめだ、麻酔はやめとけ、と言うなら、私のアドバイスとして、これは信じられないほど中心的なものです。
スピーカB
それは、私たちがここで起こっているどんなことであれ、基本的なことかもしれません。
スピーカーA
私たちが感じるのは、苦しみや喜びや楽しみや意味なので、根本的なことです。それらはすべてそこにある主観的な経験であり、それらは部屋の中の象のようなものです。それこそが人生を生き甲斐にするものであり、それが苦しみであれば恐ろしいものになりかねません。だから、そんなの全部デタラメだというような勘違いをしないようにしよう、そうしよう。
SPEAKER B
私たちを特別な存在にしているのと同じものを、AIシステムに植え付けないという過ちを犯さないこと。
スピーカーA
そうですね。
SPEAKER B
マックス、このポッドキャストの第1回目のエピソードで、あなたが初めて私のところに座ってくれるのは、とても光栄なことです。また私と一緒に座って、このことについて話すことができるのは、とても光栄なことです。私が最も重要だと思うこと。私たち人類が直面し、できれば解決しなければならない最も重要なテーマ、最も重要な問題です。
スピーカーA
ええ、まあ、名誉はすべて私のものです。そして、人類が歴史上最も重要な分かれ道に立ったという事実を、より多くの人に知ってもらえたことに、心から感謝しています。そして、正しい方向に向かおうではありませんか。
スピーカーB
マックス・テグマークとの対話をお聴きいただきありがとうございました。このポッドキャストをサポートするには、説明文にあるスポンサーをチェックしてください。それでは、フランク・ハーバートの言葉をご紹介しましょう。歴史とは、予防と破局の間の絶え間ない競争である。ご清聴ありがとうございました、そして次回もよろしくお願いします。