見出し画像

【ウェス・ロスのAIニュース:OpenAIとAppleの提携】英語解説を日本語で読む【2024年4月27日|@Wes Roth】

OpenAIとAppleがiPhoneの新機能開発で協力する可能性が浮上しました。OpenAIの技術がiOS 18に統合される可能性があり、Appleは自社の車プロジェクトを中止してAIに注力しています。一方、アメリカ国土安全保障省はAI安全保障委員会を設立し、OpenAIのサム・アルトマンやNVIDIAのジェンスン・フアンなどが参加しましたが、イーロン・マスクとマーク・ザッカーバーグは除外されました。OpenAIでは、従業員の退社や情報流出が相次いでいます。マスクは元役員のヘレン・トナーに召喚状を送付し、5月21日までに応じることを求めています。トナーは、OpenAIをAnthropicに売却しようとしていたとされます。AIの規制をめぐっては専門家の意見が分かれており、規制強化を訴える者もいれば、技術の発展を重視する者もいます。OpenAIでは次世代モデルの開発が進められており、GPT-5ではさらなる推論能力の向上が期待されています。
公開日:2024年4月27日
※動画を再生してから読むのがオススメです。


Sam Altman's been very busy.

サム・アルトマンはとても忙しいです。

It's not quite the things that we were looking for.

私たちが探していたものとは少し違います。

We're expecting OpenAI and Microsoft went big.

OpenAIとMicrosoftは大きなことを期待しています。

Elon Musk and Mark Zuckerberg, well, this may not be great for them.

イーロン・マスクとマーク・ザッカーバーグ、まあ、これは彼らにとって素晴らしいことではないかもしれません。

Meanwhile, OpenAI loses some employees over some concerns while Elon Musk subpoenas the board member that orchestrated Sam Altman's firing.

一方、OpenAIはいくつかの懸念を持っている従業員を失い、イーロン・マスクはサム・アルトマンの解雇を仕組んだ取締役会メンバーに召喚状を送ります。

Things are heating up.

状況が熱くなってきています。

Let's dive in.

さあ、始めましょう。

And just as I'm getting ready to publish this video, on top of everything else you'll hear today, Reuters publishes that Apple renews talks with OpenAI for iPhone Genitive AI features, according to Bloomberg News.

そして、このビデオを公開する準備をしているときに、今日聞く他のすべてのことの上に、Reutersが報じたところによると、AppleがBloomberg NewsによるとiPhone Genitive AI機能のためにOpenAIとの交渉を再開したことが報じられました。

They wanna use OpenAI's technology to power some new features that are being introduced to the iPhone later this year.

彼らはOpenAIの技術を使いたいと考えており、今年後半にiPhoneに導入される新機能にその技術を活用したいと考えています。

OpenAI could potentially be integrated into the next iPhone operating system, the iOS 18.

OpenAIは次のiPhoneオペレーティングシステムであるiOS 18に統合される可能性があります。

It looks like they're also considering Google's Gemini.

彼らはGoogleのGeminiも検討しているようです。

Apple scrapped its car project and pivoted to AI, based on some of the research that's been coming out.

Appleは自動車プロジェクトを中止し、AIに焦点を当てています。これは、これまでに出てきたいくつかの研究に基づいています。

The results are a bit of a mixed bag.

その結果は少し賛否両論です。

We've looked at Apple's research into their AI agent system called Roam.

私たちは、AppleのAIエージェントシステムであるRoamに関する彼らの研究を見てきました。

I'll link the video down below if you wanna see it.

もし見たいと思うなら、下にビデオのリンクを貼ります。

It's a tiny model that's capable of operating on device, on the iPhone, for example, and able to understand the various references and context that appears on screen so that you're able to interact with this AI through the phone itself.

それは、例えばiPhone上でデバイス上で動作することができる小さなモデルであり、画面に表示されるさまざまな参照やコンテキストを理解し、電話自体を通じてこのAIとやり取りできるようにすることができます。

It doesn't have to be hosted in the cloud.

それはクラウドでホストする必要はありません。

You don't have to be connected to the internet.

インターネットに接続する必要もありません。

But, of course, the more advanced chatbot capabilities, the higher reasoning, the more complicated tasks, you do need a much stronger agent.

しかし、もちろん、より高度なチャットボットの機能、高次の推論、より複雑なタスクを行うには、はるかに強力なエージェントが必要です。

And while the gap between GPT-4 and the other competitors has grown much smaller, there are rumors that some companies are getting an advanced look at the next generation model, whether that's called GPT-5 or something else we don't know, but that's what they're referring to it as, saying that the GPT-5 will be better at reasoning and have a lot more agentic capability.

そして、GPT-4と他の競合他社との差がずっと小さくなってきている一方で、次世代モデルについて一部の企業が先行して情報を得ているという噂があります。それがGPT-5と呼ばれるかどうか、それとも別の名前であるかはわかりませんが、彼らはそれをそう呼んでおり、GPT-5は推論能力が向上し、より多くの主体的な能力を持つだろうと言っています。

Nothing is confirmed yet.

まだ何も確認されていません。

There's no agreement that's been reached as far as we know, but it does seem like this is gonna be Altman's year.

私たちの知る限りでは、合意に達したわけではありませんが、おそらく今年はアルトマンの年になるでしょう。

As I'm recording today's video, this hits my newsfeed.

今日のビデオを録画しているときに、これが私のニュースフィードに入ってきました。

While it doesn't change anything that we've talked about, it certainly solidifies the horse that we're on.

私たちが話したことには何も変わりませんが、私たちが進んでいる道を確固とさせるものです。

This morning, the Department of Homeland Security announces the establishment of the Artificial Intelligence Safety and Security Board.

本日の朝、国土安全保障省は人工知能安全保障委員会の設立を発表しました。

Members include Sam Altman, Dario Amadei, Jensen Huang, Satya Nadella, Sundar Pichai, and many others.

メンバーにはサム・アルトマン、ダリオ・アマデイ、ジェンセン・ファン、サティア・ナデラ、サンダー・ピチャイなどが含まれています。

That's, of course, OpenAI, Anthropic, NVIDIA, Microsoft, and Google.

それはもちろん、OpenAI、Anthropic、NVIDIA、Microsoft、Googleです。

I believe I also saw Adobe on there.

私もAdobeをそこに見たと思います。

We have Fei-Fei Li, a very well-regarded and respected researcher in AI.

私たちには、AIの研究者で非常に尊敬されているフェイ・フェイ・リーがいます。

We have people from Adobe.

私たちにはAdobeの人たちがいます。

Notably, the two people missing from the list are Mark Zuckerberg and Elon Musk.

特に、リストに載っていない2人はマーク・ザッカーバーグとイーロン・マスクです。

The intrigue, as they say, Mallorca said he deliberately chose not to include social media companies, including Meta and X in the group, though these companies also have substantial AI operations.

興味深いことに、Mallorcaは社交メディア企業、MetaやXを含めないように意図的に選んだと言われていますが、これらの企業もかなりのAI活動を行っています。

The other thing about Meta and X, or Zuckerberg and Musk, is that they both open-sourced powerful AI models.

MetaやX、あるいはZuckerbergやMuskについてもう1つのことは、彼らが強力なAIモデルをオープンソース化しているということです。

Grok and LLaMA 3, very powerful open-source, and there is still a lot of discussion about whether or not open-source AI models are a potential danger.

GrokとLLaMA 3は非常に強力なオープンソースであり、オープンソースのAIモデルが潜在的な危険性を持つかどうかについてはまだ多くの議論があります。

People are complaining that these people have a shared objective of creating a moat around AI by outlawing open-source AI.

これらの人々がオープンソースのAIを禁止することでAIの周りに堀を作ろうとしているという共通の目的を持っていると人々は不満を言っています。

Certainly that helps the bottom line of companies like Google and Microsoft specifically, OpenAI, and Delta Airlines is on there as well, for some reason.

確かに、GoogleやMicrosoftなどの企業の収益を支援しているのは、特にOpenAI、そして何故かDelta Airlinesも含まれています。

There's a number of OpenAI employees or board members that are back in the spotlight.

スポットライトに戻ってきたOpenAIの従業員や取締役の数がいます。

I guess let's start with Roon.

では、Roonから始めましょう。

Roon has been kind of vaguely referred to as some employee at OpenAI, potentially somebody that's working on pretty big things.

RoonはOpenAIの従業員として、おそらくかなり大きなことに取り組んでいる人物として曖昧に言及されています。

It's all very secretive.

それはすべて非常に秘密主義です。

At some point, Sam Altman actually posted, also Roon is my alt, basically implying it's his secondary anonymous account, but Roon has denied those allegations saying I'm the main.

いつか、サム・アルトマンは実際に投稿して、Roonも私の別のアカウントです、と基本的にそれが彼の二次匿名アカウントであることをほのめかしましたが、Roonはそれらの主張を否定して、私がメインですと言っています。

The takeaway here is that people at OpenAI enjoy trolling people, which I cannot blame them for.

ここでの要点は、OpenAIの人々が人々をからかうのを楽しんでいるということであり、私は彼らを非難することはできません。

But recently it got a little bit more weird because as we hear from Sam Altman a little bit less now, Roon's posts and kind of stepped up in intensity.

しかし最近、少し変わったことがありました。なぜなら、サム・アルトマンからの情報が少なくなり、Roonの投稿が強度を増していると聞いています。

He's hinting that big things are coming.

彼は大きな出来事が起こることをほのめかしています。

Here he's saying, I don't care what line the labs are pushing, but the models are alive, intelligent, entire alien creatures and ecosystems, and calling them tools is insufficient.

ここでは、彼はこう言っています。研究所が押し進めていることは気にしませんが、モデルは生きていて、知的で、完全な異星人の生物や生態系であり、それらを道具と呼ぶことは不十分です。

They are tools in the sense that a civilization is a tool.

それらは、文明が道具であるという意味で道具です。

However, soon after that, Roon unplugs his account, shutting it down.

しかし、その直後、Roonはアカウントを削除し、シャットダウンします。

Drama ensues, people don't know what's happening.

ドラマが巻き起こり、人々は何が起こっているのかわかりません。

Roon did clarify that he's just shutting the account down for a while, nothing is wrong.

Roonは、しばらくアカウントをシャットダウンするだけで、何も問題はないと明確に述べました。

He just needs to detox from the site a bit.

彼はちょっとサイトから離れてデトックスする必要があります。

Meanwhile, Jensen Huang himself delivers the first NVIDIA DGH200 in the world, hand-delivered to OpenAI and dedicated by Jensen to advance AI computing and humanity.

一方、ジェンスン・フアン自身が世界で初めてのNVIDIA DGH200を手渡しでOpenAIに届け、ジェンスン自身がAIコンピューティングと人類の進歩を促進するために捧げました。

One little known technical fact about these chips is that the ones signed by Jensen Huang himself run 20% faster.

これらのチップについてあまり知られていない技術的な事実の1つは、ジェンスン・フアン自身によって署名されたものは20%速く動作するということです。

I don't have a source on that, but it seems to check out.

それについての情報源はありませんが、確認できそうです。

Meanwhile, Sam Altman is over at Stanford in the NVIDIA auditorium, interestingly enough, talking about some new things that are coming down the pipe.

一方、サム・アルトマンは興味深いことに、NVIDIAの講堂でStanfordにいて、パイプラインに来ている新しいことについて話しています。

A few things that are announced, for example, that ChatGPT will now have memory across chats.

例えば、ChatGPTが今後チャット間でメモリを持つことが発表されました。

Your conversation will be stored so that ChatGPT becomes more helpful over time, continually remembering details and preferences.

会話は保存され、ChatGPTは時間とともにより役立つ存在になり、継続的に詳細や好みを覚えていきます。

And of course you can review and delete specific memories, wipe the slate clean or just turn off the feature entirely.

もちろん、特定の記憶を確認して削除したり、一からやり直したり、機能を完全にオフにしたりすることができます。

And Sama said that they were releasing a few things before deploying GPT-5.

サムaは、GPT-5を展開する前にいくつかの新機能をリリースすると述べました。

It's Sam Altman, of course, but there's a lot of speculation about when the next big thing from OpenAI will drop.

もちろん、サム・アルトマンですが、OpenAIから次の大きな発表がいつ行われるかについて多くの憶測があります。

OpenAI is potentially having some summer events, whether that's in-house or something similar to the November Developers Conference where they might announce some new stuff.

OpenAIは、社内で行われるか11月の開発者会議のようなものと似た夏のイベントを開催する可能性があります。そこで新しい情報を発表するかもしれません。

Meanwhile, there's some things that are heating up with the various employees, board members, and insiders at OpenAI.

一方、OpenAIの従業員、取締役、関係者の間で何かが熱くなっているようです。

Elon Musk, Sapina's ex-OpenAI board member, toner, Helen Toner.

イーロン・マスク、Sapinaの元OpenAI取締役、トナー、ヘレン・トナーです。

You remember her, she was likely the person, the main sort of driver behind the coup, the firing of Sam Altman from OpenAI, Ilya's departure.

彼女を覚えていますか、彼女はおそらくクーデター、サム・アルトマンのOpenAIからの解雇、Ilyaの離脱の背後にいた主要なドライバーだった可能性があります。

It seems like she might have been either trying to scrap OpenAI completely or create sort of a fire sale to sell it to Anthropic, potentially believing that Anthropic would place more care when it comes to AI safety.

彼女はOpenAIを完全に廃止しようとしていたか、Anthropicに売却するための火売りを作ろうとしていた可能性があります。AnthropicがAIの安全性に関してより注意を払うと信じていたかもしれません。

Super quick note here that I just wanna quickly get out of the way before we continue because this is something that keeps coming up over and over again when talking about certain things, and it's most fiercely debated when it comes to AI safety.

ここで超簡単な注意点を述べたいのですが、これは特定のことについて話す際に何度も何度も出てくるものであり、AIの安全性に関する議論が最も激しくなるときです。

We have people that want to pause AI.

AIの一時停止を望む人々がいます。

This is like the pause button, right?

これは一時停止ボタンのようなものですね。

That's the symbol, some of them taken up to kind of show that, hey, we want to pause AI development.

それが象徴で、一時停止したいということを示すためにいくつかの人々が取り上げています。

It's unsafe.

それは危険です。

And on the other side, we have sort of the AI, let's accelerate this thing.

もう一方では、AIというものがありますね、これを加速させましょう。

And there are various degrees of it, of belief how fast we should go.

それには、どれだけ速く進むべきかという信念のさまざまな程度があります。

Should we go defensively?

守りに入るべきでしょうか?

Should we go at full speed?

全速力で進むべきでしょうか?

People like the newly appointed CEO of Microsoft AI, Mustafa Suleyman is saying AI is gonna be excellent, we should develop it, but he seems to be strongly against certain capabilities like self-replication, kind of fully autonomous.

MicrosoftAIの新任CEOであるムスタファ・スレイマンのような人々は、AIは素晴らしいものになるだろうと言っています。我々はそれを開発すべきですが、彼は自己複製のような特定の機能には強く反対しているようです。完全に自律的なものについてです。

I guess a different way of saying it is he wants to have it developed, but up to a point to never allow certain features.

別の言い方をすると、彼はそれを開発したいと思っているが、ある程度までしか特定の機能を許可しないということでしょう。

I'm paraphrasing, but that's kind of what he said in a recent TED Talk.

私は言い換えていますが、それが最近のTEDトークで彼が言ったことの一部です。

But whenever we talk about AI in this channel, AI safety specifically, I try to be unbiased, I try to give a fair representation to both sides as much as I can, and I get yelled at by both sides.

しかし、このチャンネルでAIについて話すとき、特にAIの安全性については、私は公平であろうと努め、できる限り両者の公正な代表をしようとします。そのたびに、両者から叱責されます。

Each side is sort of upset with me for not explicitly saying I'm on their side.

どちらの側も、私が自分たちの側についていると明言しないことに少し不満を持っているようです。

But I think my entire point here is that while there are people on the AI side that really believe in what they say in terms of AI being a global positive force and improving humanity, there's also some people that are just saying it because they think it will lead them to making lots of money.

しかし、私の主張全体は、AIが世界的なプラスの力であり、人類を向上させると信じているAI側の人々がいる一方で、お金をたくさん稼ぐことにつながると考えて言っているだけの人々もいるということです。

I think this is obvious, but what might be less obvious is that on the AI safety side, on the AI doomers, AI pause AI, it's the same exact thing.

これは明らかだと思いますが、AIの安全性の面やAIの危険論、AIの一時停止に関しては、まったく同じことです。

You have smart people that are actually concerned and actually working on AI safety.

実際に心配していて、AIの安全性に取り組んでいる賢い人々がいます。

But at the same time, there are other people that say they are concerned with AI safety that are also seeing that message as a way to get them to acquire more money or power or influence or whatever.

しかし、同時に、AIの安全性に関心があると言っている他の人々も、そのメッセージをお金や権力、影響力などを得る手段として見ている人々もいます。

It's important to understand that there's motives here besides just what's good for everyone as a whole, and also that the top AI researchers do not agree on these things at all.

ここには、全体のためだけでなく、他にも動機があることを理解することが重要であり、また、トップのAI研究者たちがこれらのことについて全く同意していないことも理解することが重要です。

Yann LeCun, of course, is a proponent of open source.

もちろん、ヤン・ルカンはオープンソースの支持者です。

He tends to not be too worried about AI risk.

彼はAIのリスクをあまり心配していません。

Jeffrey Hinton is worried about AI risk and in fact just recently made a statement saying that open sourcing AI is dangerous.

Jeffrey HintonはAIのリスクを心配しており、実際、最近オープンソース化することは危険だと述べた声明をしたばかりです。

Mustafa Suleyman, co-founder of Google DeepMind, thinks that AI is gonna bring about incredible benefits and just improve humanity in many different ways, but is very scared of certain X risks, specifically mentioning things like self-replication, autonomous decision making as potential danger points.

Google DeepMindの共同創設者であるムスタファ・シュリーマンは、AIが信じられないほどの利益をもたらし、さまざまな方法で人類を改善すると考えていますが、自己複製や自律的な意思決定などのXリスクを非常に恐れています。

Elon Musk is concerned about AI in the past being more concerned with the X risk, but now seemingly more concerned with making sure that the software is open source.

イーロン・マスクは過去にAIを心配していましたが、今はソフトウェアがオープンソースであることを確認することにより、より心配しているようです。

You recently open sourced Grok and is now on track to raising six billion from Sequoia and others.

おそらく最近、Grokをオープンソース化し、Sequoiaなどから60億ドルを調達する予定です。

His Grok-1.5 with vision came out as a very strong vision model.

彼のビジョンを持ったGrok-1.5は非常に強力なビジョンモデルとして登場しました。

Specifically when it comes to understanding the physical world, which makes sense, because of course Tesla has tons of data regarding the physical world, driving around on the streets, et cetera.

具体的には、物理世界を理解する際に、それは理にかなっています。なぜなら、もちろんTeslaは物理世界に関する多くのデータを持っており、通りを走行しているからです。

Sam Altman saying he's not at this time concerned with that risk of runaway AI, of it escaping and doing various nefarious things, right?

サム・アルトマンは、逃げ出して様々な悪事を働くリスクについて、この時点では心配していないと言っていますね。

He is concerned with things like misinformation and other things that are more, they're not determining a scenario, but there's other risks that society will have to Figure out how to navigate around as AI and AGI, whatever you wanna call that, as it sort of rolls into the world.

彼は、デターミニングなシナリオではないが、AIやAGIなどが世界に展開される際に、社会がどのように対処すべきかを見極める必要がある、というような、情報操作などのリスクについて懸念しています。

Demi Sassabis, the other co-founder of Google DeepMind, currently working under the alphabet umbrella, so kind of part of Google, also has some concerns that he's voiced to Elon Musk in private, and also he's also potentially sounds like he's concerned about powerful AI being used for profit rather than benefiting humanity at large.

Google DeepMindの共同創設者であるデミ・サッサビスは、現在アルファベット傘下で働いており、ある意味でGoogleの一部ですが、エイロン・マスクにプライベートで懸念を表明しており、強力なAIが人類全体の利益よりも利益を追求する可能性についても懸念しているようです。

In fact, there's this chart that kind of shows the various people and how soon they think AGI will be here, and also how likely it is that there's some X-risk or all future value, how likely it is to be destroyed by misaligned AGI, so if we don't get AI safety right, is it possible that at least all of humanity is wiped out?

実際、さまざまな人々がどれくらい早くAGIが登場すると考えているかを示すチャートがあります。また、ミスアラインされたAGIによって未来の価値が破壊される可能性がどれくらいあるかも示しています。ですので、AIの安全性を確保できなければ、少なくとも人類全体が消滅する可能性はありますか?

And these are, of course, kind of just approximations based on what these various people have said, and different people might put these opinions and people in various different places, but I think the point is no one knows.

これらは、もちろん、さまざまな人々が言ったことに基づいたおおよその近似値に過ぎませんし、異なる人々はこれらの意見や人々をさまざまな場所に配置するかもしれませんが、ポイントは誰もがわからないということです。

There's not a consensus.

合意がないのです。

People might be going with their gut or just trying to appease whatever in-group they're in or whatever gets the most likes, but all that is to say that I'm fairly optimistic, but I tend to be somewhat fairly optimistic in general, so that might just be how I'm wired.

人々は直感に従ったり、所属しているグループをなだめようとしたり、最もいいねをもらおうとしたりするかもしれませんが、すべては私がかなり楽観的であるということですが、私は一般的にかなり楽観的な傾向があるので、それが私の性格なのかもしれません。

But with all that said, it is important to understand that there are people that are sounding the alarm on AI safety.

しかし、すべてを言ったとしても、AIの安全性に警鐘を鳴らしている人々がいることを理解することが重要です。

Here's Daniel Cocotayo, and I apologize if I'm mispronouncing that, so he's a philosophy PhD student, worked at AI Impacts, center on long-term risk, then OpenAI.

こちらがダニエル・ココタヨですが、名前の発音が間違っていたら申し訳ありません、彼は哲学の博士課程の学生で、AI Impacts、長期リスクに焦点を当てたセンター、そしてOpenAIで働いていました。

And then he quit OpenAI due to losing confidence that it would behave responsibly around the time of AGI.

そして、AGIの時期に責任ある行動を取るという自信を失ったため、OpenAIを辞めました。

AI Impacts talks quite a bit about AI risk being an existential risk to humanity, giving a lot of supporting arguments for that.

AI Impactsは、AIリスクが人類にとって存続の危険であるということについてかなり話しており、その支持する議論をたくさん挙げています。

Right, then we have Center on Long-Term Risk, that he worked for.

そうですね、次に彼が働いていたCenter on Long-Term Riskがあります。

Our goal is to address worst-case risks from the development and deployment of advanced AI systems, so it looks like they went from an organization that is worried about AI risk to another organization that is worried about AI risk to then working at OpenAI.

私たちの目標は、高度なAIシステムの開発と展開から最悪のリスクに対処することですので、AIリスクを心配している組織から別のAIリスクを心配している組織に移り、その後OpenAIで働くようになったようです。

Recently, we saw OpenAI fires two researchers for leaking information who were believed to be allies of Ilya and seemingly having ties to effective altruism, the same organization that Helen Toner belongs to, the same organization that Sam Bankman Freed belongs to, and so now Elon Musk managed to subpoena ex-OpenAI board member Helen Toner, and Toner has until May 21st to comply with the subpoena.

最近、OpenAIは情報を漏らしたとして2人の研究者を解雇しましたが、彼らはイリヤの同盟者であり、効果的利他主義とつながりがあると考えられています。同じ組織に所属しているヘレン・トナーやサム・バンクマン・フリードも同じ組織です。そして今、イーロン・マスクは元OpenAI理事会メンバーのヘレン・トナーを召喚し、トナーは5月21日までに召喚に応じる必要があります。

One of the things that was very frustrating to see during that whole fiasco with Sam Altman getting fired, with Helen Toner being behind the coup, apparently as far as we could tell, was that they weren't very clear in communicating what the issue was.

一連のサム・アルトマン解任騒動で見ていて非常にイライラしたことの1つは、ヘレン・トナーがクーデターの背後にいたことで、私たちが見ている限りでは、問題が何であるかを明確に伝えていなかったことです。

I think the quote was Sam Altman wasn't consistently candid.

引用された言葉は、サム・アルトマンは一貫して率直ではなかったということです。

Very little information was kind of emerging from that, what actually happened, right?

その時からはほとんど情報が出てこなかった、実際に何が起こったのか、そうでしょう?

That famous saying, what did Ilya see?

あの有名な言葉、イリヤは何を見たのか?

Like, what happened that kind of spooked everybody?

何が起こって、みんなを驚かせたのか?

Toner is an expert on AI safety and governance, but this is one thing that I'm noticing is that that term AI expert is being thrown around when talking about people that are concerned with AI safety.

トナーはAIの安全性とガバナンスの専門家ですが、気づいていることの1つは、AIの安全性に関心を持つ人々について話す際に、AI専門家という用語が投げられていることです。

When people start talking about AI safety, they're labeled an AI expert.

人々がAIの安全性について話し始めると、彼らはAI専門家とラベルされます。

We must shut AI down, AI safety expert, and in case you're confused, this red arrow just to, so you understand he is the expert, red arrow pointing to his face, and here's of course Sabine Hassenfelder.

AIをシャットダウンしなければならない、AI安全性専門家、そしてもし混乱しているなら、この赤い矢印が、彼が専門家であることを理解させるために、彼の顔を指し示しています。もちろん、ここにはサビーヌ・ハッセンフェルドもいます。

The headline is AI experts make predictions for 2040.

見出しは、AI専門家が2040年の予測を行う。

I was a little surprised, and here's her surprised face, mega deaths?

私は少し驚いていて、ここには彼女の驚いた顔があります、メガデス?

And yes, she does make a mega death joke in the beginning.

はい、彼女は冒頭でメガデスのジョークを言っています。

I was hoping she would bring up the band and she did.

彼女がそのバンドについて話してくれることを期待していましたが、実際に話してくれました。

In a previous video, somebody said that while I try to be neutral about my opinions and try to not have a bias, that my opinions still come through, my bias still comes through in the videos.

以前のビデオで、誰かが私が意見に中立であろうとし、偏見を持たないように努めているにも関わらず、私の意見が出てしまう、偏見がビデオに出てしまうと言っていました。

And actually, as I'm recording this, I'm just realizing that when I took screenshots, the progress bar at the bottom of these screenshots kind of gives away who I am and am not listening to.

実際、これを録音している最中に、スクリーンショットを撮った時に、これらのスクリーンショットの下部にある進行バーが、私が聞いている人と聞いていない人を明らかにしてしまっていることに気づいています。

Sabine, 100%. Elijah Yudakovsky, yeah, I mean, I listened to him.

サビーヌ、100%。エリヤ・ユダコフスキー、うん、彼の話は聞いたよ。

I heard him out.

彼の話を聞いてみた。

I tend to like him.

私は彼のことが好きです。

He's funny, he's entertaining.

彼は面白いし、エンターテイニングだ。

And this one, why this top AI guru thinks we might be in extinction level, something, something.

そして、なぜこのトップAIグルが私たちが絶滅レベルにいるかもしれないと考えているのか。

Again, what makes someone a top AI guru?

再び、誰がトップAIグルになるのか。

And what is a guru?

そして、グルとは何ですか?

Is guru above or below expert?

グルは専門家よりも上ですか、それとも下ですか?

And then Gary Marcus, I just skipped that one.

そして、ゲイリー・マーカスについては、その話はスキップしました。

But coming back for a second to Rune, apparently he had a little podcast interview.

でも、ルーンに戻って、どうやら彼は少しポッドキャストのインタビューを受けたようです。

I think there was actually a few that he did, again, did not drop the pseudonym, the anonymous profile pic, but this is one of the interviews that people are pointing to as an interview with Rune.

実際、彼がいくつか行ったと思いますが、再び、偽名や匿名のプロフィール写真を載せていないですね。しかし、これはルーンとのインタビューとして指摘されているものの1つです。

Here's a few quick points that he makes.

彼が述べたいくつかのポイントがあります。

I would say definitely the AI companies are super secretive, like OpenAI.

私は間違いなく、OpenAIのようなAI企業は非常に秘密主義的だと思います。

Like they're pretty secretive.

彼らはかなり秘密主義的です。

And like they don't, they sort of reveal what they're working on, but it's on a timeline where the technology they reveal is like a year or two behind like what they have behind closed doors, right?

そして、彼らは自分たちが取り組んでいることをある程度明らかにしますが、それは彼らが非公開で持っている技術よりも1年か2年遅れているタイムラインで行われていますね。

They definitely remind me of like a secret Manhattan Project type, right?

彼らは確かに、秘密のマンハッタン計画のようなものを思い起こさせますね。

And also on the same scale of like world impact, right?

同じような世界的な影響力のスケールでも、そうですよね?

If what they make becomes real.

彼らが作ったものが実現すれば。

What do you think are a couple of the companies in that space right now that you could see becoming like generational huge tech companies?

今、その分野で将来的に世代を超えて大きなテック企業になる可能性があると思われる企業は何だと思いますか?

I think OpenAI is already or is well in the process to becoming like a generational company.

OpenAIはすでに、または将来的には、世代を超えるような企業になる過程にあると思います。

I think that Anthropic, which was a OpenAI sort of spin-off, is a bunch of people who were there in the beginning, but you know, had differences of vision or philosophy or whatever.

OpenAIの派生企業であるAnthropicも、始まりからそこにいた人々の集まりですが、ビジョンや哲学などに違いがあったということです。

They're also gonna be super important because they're very good at what is called like model interpretability, meaning like the introspection of models, right?

彼らはモデルの解釈可能性と呼ばれるものに非常に優れているため、非常に重要になるでしょう。つまり、モデルの内省ということですね。

We have these giant language models.

私たちはこれらの巨大な言語モデルを持っています。

How do we understand what they're thinking?

彼らが何を考えているのかを理解するにはどうすればいいのでしょうか?

Like they've gone further down that line of research than everybody else probably.

彼らはおそらく他の誰よりもその研究の道を進んできたと思います。

I am hopeful about Adept, which is like this, I like few of these very smart people from Google Brain starting this company to make language models like able to use computers.

Google Brainの非常に賢い人たちがこの会社を立ち上げて、言語モデルをコンピュータで使用できるようにするAdeptについては期待しています。

Like in a general sense, use Photoshop and use Excel and use like tools of that nature.

おおよそ、Photoshopを使ったりExcelを使ったり、そのようなツールを使うことがあります。

And I don't know if they can blow it off, right?

そして、彼らがそれをスルーできるかどうかわかりませんね?

Like we, it's too early to say if they're gonna be important or not, or if OpenAI will beat them to that.

でも、我々が言えるのは、彼らが重要になるかどうか、あるいはOpenAIに先んじられるかどうかはまだ早すぎるということです。

But in terms of art, by the way, the stability and Midjourney are probably like, you should keep an eye on them at least.

でも、芸術の観点から言うと、安定性とMidjourneyはおそらく、少なくとも彼らに目を光らせておくべきです。

My buddy Corey has this company Spellbrush and they do like game asset generative design.

僕の友達のCoreyは、Spellbrushという会社を持っていて、ゲームアセットの生成デザインをしています。

I think that stuff is really cool and about to pop off probably.

そのことは本当にカッコいいと思いますし、おそらく今にもブレイクしそうです。

I think it's gonna pop off sooner in like Asia and stuff than it is here.

おそらく、アジアなどでこちらよりも早くブレイクすると思います。

Cause I mean, honestly, the Japanese and Korean markets, they play a bunch of these weird games where it's kind of expected to have these, like sort of keep pumping out new characters.

だって、正直なところ、日本と韓国の市場では、このような新しいキャラクターを次々と生み出すことが期待されるような奇妙なゲームがたくさんプレイされているんです。

And like those characters are like ripe for being plucked by like generative art and generative AI and stuff like that.

そして、そのようなキャラクターは、生成アートや生成AIなどによって容易に利用される可能性があります。

That's interesting.

それは興味深いですね。

How is like China doing on the AI front?

中国はAI分野でどうなっているのかな?

Be honest, like I actually don't know.

正直に言うと、実際にはわからないんだ。

I don't, frankly, I don't know either, but like I have spoken to a bunch of people I don't know and they kind of don't, they're not like scared or anything, like they don't think that, they don't have like language model technology on our scale.

率直に言って、私もよくわからないんだけど、知らない人たちと話したことがあって、彼らは怖がっているわけではなく、言語モデル技術を私たちの規模で持っていないと思っているみたい。

I'm not really sure why, but like the majority of the best scientists in the world come to the US, that's probably part of it.

なぜかよくわからないけど、世界のトップの科学者の多くがアメリカに来るんだ。それがその一部かもしれない。

They just don't have that.

彼らはそれを持っていないんだ。

They don't have any language models on the scale of like GPT-3 or like, you don't see a lot of crazy demos coming out of them, out of their like big companies.

彼らはGPT-3のような規模の言語モデルを持っていないし、彼らの大手企業からは多くのクレイジーなデモが出てこない。

I just want to like ask you.

ちょっと聞きたいんだけど。

Quick note, this was November, 2022.

ちなみに、これは2022年11月の話だよ。

Obviously the landscape is very different in a lot of different ways.

明らかに、状況はさまざまな点で非常に異なっている。

A lot more models out of China, the company that he was talking about, Adept working on AI agents.

中国からはもっと多くのモデルが出てきていて、彼が話していた会社、AdeptがAIエージェントに取り組んでいる。

And then him saying that OpenAI might beat them to it and that the technology that we're seeing is years behind what's developed internally.

OpenAIがそれを打ち負かすかもしれないと言った後、私たちが見ている技術は内部で開発されているものよりも数年遅れていると彼が言った。

Again, end of 2022, they're talking about agents, AI agents.

再び、2022年末には、彼らはエージェント、AIエージェントについて話しています。

That was certainly, I would say before that term started being more commonly used.

確かに、私は、その用語がより一般的に使用されるようになる前に、それが起こったと言えるでしょう。

Some like popcorn questions if you're down with that.

もし良ければ、ポップコーンのような質問がある人もいます。

I'm guessing you've met like some pretty interesting, successful people.

おそらく、あなたはかなり興味深い、成功した人々に会ったことがあると思いますね。

You've tweeted about hanging with Vitalik and things like that.

あなたはVitalikと一緒に過ごしたことなどについてツイートしていますね。

These really brilliant outlier smart people, do you think they're happy or like what drives them?

これらの本当に優れた異端の賢い人々は、幸せなのか、何が彼らを駆り立てるのか、と思いますか?

I'm assuming they're talking about Vitalik Buterin, the creator of Ethereum.

おそらく、彼らはEthereumの創設者であるVitalik Buterinについて話しているのだと思います。

Interestingly enough, he donated to some of the AI safety causes.

興味深いことに、彼はいくつかのAI安全対策に寄付をしています。

An amount that ended up being somewhere, I think close to a billion, maybe 700 or 800 million that funded a lot of these efforts, including some of the things behind effective altruism.

その金額は、おそらく10億に近い、700億または800億ドルのどこかになり、これらの取り組みの多く、効果的利他主義の背後にあるいくつかのことを資金提供しました。

But from what I've been reading of Vitalik's writing his blog posts, it doesn't seem like he's necessarily 100% aligned with that idea.

しかし、ヴィタリックのブログ記事を読んでいる限り、彼がその考えに必ずしも100%賛同しているわけではないようです。

He believes in AI being able to provide a lot of good, but also thinks that there's, I think he stated like a 10% X risk.

彼はAIが多くの良いことを提供できると信じていますが、同時に、10%のリスクがあると述べていると思います。

We should definitely take great care to develop it slowly and carefully.

私たちは確かに、それをゆっくり丁寧に開発するために十分な注意を払うべきです。

Develop AI, but do so very defensively, very carefully.

AIを開発するが、非常に防御的に、非常に注意深く行うべきです。

I think a lot of them are without a doubt, like happier than the average person.

彼らの多くは、疑いなく、一般の人よりも幸せだと思います。

They have to be because if they weren't, they wouldn't be able to take like the stresses of the job.

彼らはそうでなければならない、なぜならもし彼らがそうでなければ、仕事のストレスに耐えられないからです。

You know, like normal people, when they have like a minor setback in their job, like it ruins their mood, right?

普通の人々は、仕事で小さな挫折を経験すると、気分が台無しになるでしょうね。

Like it really fucks them up.

本当に彼らを狂わせます。

Meanwhile, these guys deal with things that are like like horrible.

一方、これらの人々は、ひどいことに対処しなければならないようなことに対処しています。

Like when they make a mistake, it's like really bad, right?

間違いをした時、それは本当にひどい感じですよね?

And yet they're able to keep going and like keep tracking.

And yet they're able to keep going and like keep tracking.

I mean, there's obviously a lot of differences.

I mean, there's obviously a lot of differences.

I mean, Vitalik is very, very different than like Sam Baldwin or something.

I mean, Vitalik is very, very different than like サム Baldwin or something.

Just very high tendency for action or like bias for action.

Just very high tendency for action or like bias for action.

Like they'd rather do something than not.

Like they'd rather do something than not.

They see some like vague, far off threat and they start preparing for it rather than like just letting it be.

They see some like vague, far off threat and they start preparing for it rather than like just letting it be.

The other question around that is like, do you need to be unsatisfied to always be like hungry to like create the next big thing or can you just be super curious and motivated out of a place of like happiness and excitement?

The other question around that is like, do you need to be unsatisfied to always be like hungry to like create the next big thing or can you just be super curious and motivated out of a place of like happiness and excitement?

I think that really depends on the person.

I think that really depends on the person.

Like there are many people that there's strivers because of like some deep like some emotion that we don't generally associate with happiness.

Like there are many people that there's strivers because of like some deep like some emotion that we don't generally associate with happiness.

Some people just really want like revenge, like to prove their enemies wrong, you know?

Some people just really want like revenge, like to prove their enemies wrong, you know?

And they actually become wildly successful just because of their drive for revenge.

彼らは実際、復讐心からだけで大成功を収めることがあります。

The people I've met like on the other side of the spectrum, like most of the people in Silicon Valley seem to be driven more by like, yeah, like actual, first of all, curiosity, like you said.

私が出会った人々は、スペクトラムの反対側にいるようで、シリコンバレーのほとんどの人々は、まず好奇心によって駆り立てられているようです。

They're not satisfied percent, but they are like happy people.

彼らは完全に満足しているわけではありませんが、幸せな人々です。

Vitalik, for example, just seemed contemplative, like very intellectually curious and like interested in how he can change the world through like ideas alone, like kind of scholarly almost.

例えば、Vitalikは、熟考しているように見え、非常に知的好奇心旺盛で、アイデアだけで世界を変える方法に興味を持っているようで、ほとんど学者的です。

What makes you think that like the world might be actually way better?

なぜ世界が実際にはずっと良くなると思うのですか?

I think, first of all, like computers keep getting better, which means like we are able to automate more boring stuff and do more crazy like consumer experiences for people, right, than we were before.

私は、ますます良くなるコンピューターのおかげで、以前よりも多くの退屈な仕事を自動化し、人々のためにより多くのクレイジーな消費体験を提供できるようになっていると思います。

And like that trend line as it continues, it's generally good, I think.

そして、その傾向が続く限り、一般的には良いと思います。

Some people may disagree.

意見が分かれる人もいます。

Some people think that phones and computers have been bad for the world, but I really don't think so.

一部の人々は、電話やコンピューターが世界にとって悪かったと考えていますが、私は本当にそうは思いません。

I think the internet in particular has been like, pretty incredibly beneficial for humanity generally, right?

あなたは、インターネットが一般的に人類にとって非常に恩恵をもたらしていると思いますか?

Like you always hear the sob stories and you never hear the things that are like good about the internet.

いつも悲しい話ばかり聞くけど、インターネットに関する良いことはあまり聞かないですよね。

Like you never hear about how, I don't know, like Facebook connected, like long-lost relatives and things like that.

あなたは、Facebookが遠い親戚などをつなげる方法について聞いたことがないような感じですね。

Obviously my main thing is just like AI, right?

私の主な関心事は、やはりAIですね。

I think in the near future, we are going to become like a much more wealthy, like much more friendly, like sort of smoother civilization than we were before because we're just gonna automate an insane amount of boring, laborious, like kind of painful work and make everything faster and better in like a step change kind of way, right?

私は近い将来、私たちは以前よりもずっと豊かで、ずっと友好的で、以前よりもスムーズな文明になると思います。なぜなら、私たちはただ単に退屈で労力のかかる、苦痛な仕事を自動化し、すべてをより速く、より良くするために、段階的に変化させるからですね。

Shortly before going offline, Rune had a bit of a debate with this person, Connor.

オフラインになる直前、ルーンはこのConnorという人と少し議論をしました。

Connor is of course the top AI guru that thinks we might be in an extinction level event due to AI.

Connorはもちろん、AIのトップ専門家で、AIによる絶滅レベルのイベントになるかもしれないと考えています。

This is lesswrong.com, a website largely around AI safety, meaning that in general people here will worry about AI ex-risk.

これはlesswrong.comという、主にAIの安全性に関するウェブサイトで、一般的にここではAIの危険性について心配する人が多いです。

And this post is called Read the Rune, which is clever, and I'll link it down below.

そして、この投稿は「Read the Rune」という賢いタイトルで、下にリンクを貼ります。

Very interesting read.

非常に興味深い読み物です。

The intro Rune, a member of OpenAI's technical staff, and they're saying he's one of the few candidates for a worthy opponent when discussing questions of AI capabilities development, AI existential risk, and what we should do about it.

OpenAIの技術スタッフの一員であるイントロ・ルーンは、AIの能力開発、AIの存在リスク、そしてそれについて何をすべきかについて議論する際に値する対戦相手の数少ない候補者の一人だと言っています。

Again, so lesswrong.com, Eliza Yudkovsky, Connor, they're all proponents of there is an AI existential risk.

再び、lesswrong.com、エリザ・ユドコフスキー、コナーは、AIの存在リスクがあると主張しています。

Here they're presenting a debate that happened online over X about this specific thing, right?

ここでは、オンラインで行われたXに関するこの特定のことについてのディベートが提示されていますね。

He comes out with one of his inflammatory statements.

彼は煽動的な発言をして出てくる。

He's saying, things are accelerating, pretty much nothing needs to change course to achieve AGI.

彼は、物事が加速しており、AGIを達成するためにコースを変える必要がほとんどないと言っています。

Worrying about timelines is idle anxiety outside your control.

タイムラインについて心配することは、あなたのコントロール外の無駄な不安です。

You should be anxious about stupid, mortal things instead.

代わりに愚かな、死すべきことについて心配すべきです。

Do your parents hate you?

両親はあなたを嫌っていますか?

Does your wife love you?

妻はあなたを愛していますか?

People fire back and are kind of upset with his statements.

人々は反撃し、彼の発言に少し怒っています。

They're saying it's time for governments to step in.

政府が介入する時期だと言っています。

Rune replied to all of that, saying a bunch of pause emojis harassing me today.

ルーンはそれに対して、今日私を嫌がらせする一連の一時停止絵文字を使って返信しました。

My post was about how it's better to be anxious about things in your control.

私の投稿は、自分のコントロールできることについて不安になる方が良いという内容でした。

And they're like, shame on you.

そして、彼らは「あなたに恥をかけ」と言っています。

Also, he deleted that previous post because the chance of miscommunication is high.

また、彼は以前の投稿を削除しました、なぜなら誤解の可能性が高いからです。

People misunderstood what he was saying.

人々は彼が言っていることを誤解しています。

And here's a statement that kind of went a little bit viral.

そして、少しバイラルになった声明がここにあります。

Political culture encourages us to think that generalized anxiety is equivalent to civic duty.

政治文化は、一般化された不安が市民の義務と同等であると考えるように私たちを奨励しています。

I'm translating that as like the people that are constantly talking about AI risk and complaining online, that them kind of just being anxious about these things is some sort of a noble cause that they're pursuing.

あの人たちは、AIのリスクについて絶えず話し、オンラインで不満を言っている人々のことを、彼らがただそれらのことに不安を感じているだけであるということを、彼らが追求している一種の高貴な目的だと解釈しています。

Here's a debate, a clip from a debate on AI safety between on the right we have Connor.

こちらは、AI安全性に関するディベートの一部分で、右側にはコナーがいます。

He's of course a proponent of either pausing AI development or regulations to slow it down.

彼はもちろん、AIの開発を一時停止するか、規制してスローにすることを主張しています。

He'll explain his side of it.

彼は自分の意見を説明します。

And on the left we have the person that's described as sort of the EAC leader.

そして左側には、EACリーダーと言われる人物がいます。

Somebody that's really pro-development, pro-acceleration, et cetera.

開発を本当に支持している人、加速を支持している人など。

Here's just a few kind of back and forth on what they believe.

彼らが信じることについて、いくつかの意見交換が行われています。

You want a market of institutions, based.

市場の機関を求めている、基づいています。

Like first of all, based, awesome, loved.

まず第一に、基づいていて、素晴らしい、愛されている。

But now I'm also making the point, that's hard.

しかし今、私はその点を強調しているのですが、それは難しいです。

You need to do policy, you need regulation, you need to work with current institutions.

お考え方をする必要があります、規制をする必要があります、現行の機関と協力する必要があります。

You need to prevent all the market failure modes.

市場のすべての失敗モードを防ぐ必要があります。

How do you legislate around information?

情報に関してどのように立法するのですか?

But we need to test our hypotheses of what works.

しかし、うまくいくかどうかの仮説をテストする必要があります。

We need A-B testing.

A-Bテストが必要です。

We can't have one global policy because then it's really hard to A-B test if you have like one central node prescribing things for the entire planet, right?

全体の地球に対して一元的な方針を持つことはできません。なぜなら、もし地球全体に対して一つの中央ノードが指示を出すと、A-Bテストが本当に難しくなるからですね。

It's fine.

大丈夫です。

And I think this is based and you should go work for the Charter Cities Institute or whatever, right?

そして、これは根拠があり、あなたは憲章都市研究所などで働くべきだと思いますね。

Like this is based, great.

これは根拠があり、素晴らしいです。

I'm not denying any of this.

これらのことを否定しているわけではありません。

If we could have, I would think it was great if we just had like some countries where just like fucking everything is legal and they just try and like all medic sins are legal there and we'll see what happens, based, right?

もし可能であれば、すべてが合法で、医療行為もすべて合法である国があれば素晴らしいと思います。そこで何が起こるか見てみましょう、ということですね。

You know, maybe not all of them, but like, you know what I mean.

全部ではないかもしれませんが、あなたが言いたいことはわかります。

And I think stuff like this is probably not good.

そして、こういったことはおそらく良くないと思います。

All right, we've established this.

わかりました、これは確認しました。

Institutions are dysfunctional, super agree.

機関は機能不全ですね、完全に同意します。

If we give more power to dysfunctional institutions, that doesn't make things better, why would it?

機能不全の機関にさらに権力を与えても、事態は改善されません。なぜそうなるのでしょうか?

If we could improve institutions, I think we agree this would be based, this would be great.

もし機関を改善できるなら、これは素晴らしいことだと思います。同意ですね。

And you propose the best way to improve institutions is just through, let's basically, market-based evolution.

そして、機関を改善する最良の方法は、基本的には市場主導の進化を通じてですね。

Disruption.

Disruption.

Disruption, market-based evolution, et cetera.

Disruption, market-based evolution, et cetera.

Fair enough, I think this is a reasonable position to hold.

Fair enough, I think this is a reasonable position to hold.

Not saying you're wrong.

Not saying you're wrong.

I'm making a stronger case for agency, I think, than you are.

I'm making a stronger case for agency, I think, than you are.

Or I'm thinking, I think the market is so absurdly inefficient that you can just do better by just literally thinking about it and just trying.

Or I'm thinking, I think the market is so absurdly inefficient that you can just do better by just literally thinking about it and just trying.

But I don't have to defend this point if you strongly.

But I don't have to defend this point if you strongly.

All we're pushing for is a bit of humility that our models might like not have as high accuracy as we estimate them to have, right?

All we're pushing for is a bit of humility that our models might like not have as high accuracy as we estimate them to have, right?

And then...

And then...

I mean, of course, this is a fully general piece of advice.

I mean, of course, this is a fully general Pice of advice.

At some point, you should stop updating.

いつかは更新を止めるべきです。

At some point, you should not get even more uncertain.

いつかはさらに不確実性を増やすべきではありません。

Most people are overconfident.

ほとんどの人は自信過剰です。

I think this is a very fair thing to say.

これは非常に公平な意見だと思います。

But at some point, you have to stop updating downwards. So my, at least, going back to our hierarchical control structure, as you go up in the hierarchy, there's less and less bits of information you have about the future at larger and larger scales.

しかし、いつかは下方向への更新を止めなければなりません。少なくとも私たちの階層的な制御構造に戻ると、階層が上がるにつれて、将来についての情報がますます少なくなり、より大きなスケールで予測できる情報がますます少なくなります。

It's very hard to predict the whole macro system.

全体のマクロシステムを予測するのは非常に難しいです。

If you're talking about the whole macro system, there's maybe a few statistics that you could predict, right?

全体のマクロシステムについて話しているなら、予測できる統計情報がいくつかあるかもしれませんね?

And that's just a few bits.

それはわずか数ビットです。

You should be lighter and lighter touch in your ability to control, like your top-down feedback, in a way that's kind of proportional to how many bits you have about the future, right? And so that naturally yields this sort of hierarchical control system, right?

将来についての情報が多いほど、トップダウンのフィードバックをコントロールする能力が軽くなるべきです。その結果、階層的な制御システムが自然に生まれるわけですね。

But like banning, having very precise description, prescriptions that are legislated at like a national level or international level, like I'm just saying we should really have very high certainty that this is the right move before we do something like that.

しかし、非常に正確な記述や、国家レベルや国際レベルで法律化された処方箋を禁止するようなことは、本当にこれが正しい選択であることを確信する前に行うべきだと言っているだけです。

And I think right now, there's too high uncertainty and we should be cautious about making a move we regret, especially given that legislations are so hard to walk back.

そして今、不確実性が高すぎると思いますし、後悔する可能性のある行動を慎重にするべきだと思います、特に法律は取り消すのが非常に難しいことを考えると。

Right, but I am the one living in fear.

そうですが、私は恐れて生きています。

Well, joking, but...

まあ、冗談ですが...

It's all risk reward, I don't know.

リスクとリワードの全てですね、わかりません。

I mean, yes, but like it seems like you're just extremely terrified in a sense around like doing something wrong in this direction to a degree, which seems kind of unreasonable to me.

という意味ですが、あなたはこの方向で何か間違ったことをすることに極度に恐れているように見えますが、それは私にはかなり理不尽に思えます。

Like I agree...

同意しますが…

I mean, we have a strong prior of like giving too much power to government and very few individuals, how that can really backfire.

私たちは政府やごく少数の個人にあまりにも多くの権力を与えるという強い先入観があり、それが本当に裏目に出る可能性があるということです。

And I think there's a gap right now of mass uncertainty where people are scared and they're afraid, they're high uncertainty about the future.

そして今、人々が恐れており、未来について高い不確実性を抱えているというギャップがあると思います。

And that's instrumental for some people to consolidate power, crystallize it, and it's very hard to disrupt that.

そしてそれは、一部の人々にとっては権力を強化し、それを固定化するための手段であり、それを妨害するのは非常に難しいです。

And we want to make sure that that does not happen.

そして、それが起こらないようにするために努力しているのです。

And that's why we're fighting tooth and nail to be the counter force to that happening right now.

そして、今それが起こらないように対抗する力になるために歯を食いしばって戦っているのです。

I'm not claiming, I know on this date with this thing, this will go wrong in this way using this technology, which will lead to an unrecoverable state.

私は、この日にこのことで、この技術を使ってこういう風に間違いが起こると主張しているわけではありません。それは回復不能な状態につながるでしょう。

I'm saying if you keep just randomly rolling the dice over and over again, with no plan to ever stop rolling or removing the bad faces of the die somehow, then eventually you roll death.

もしサイコロをただランダムに何度も振り続けて、いつか振るのをやめる計画もなく、サイコロの不良な面をどうにかして取り除く計画もないとしたら、最終的には死を招くことになります。

Eventually you roll the X-risk.

最終的にはXリスクを招くことになります。

This is, I can say with extremely high confidence.

これは、非常に高い確信を持って言えます。

I think the dice is not identically distributed through time, right?

サイコロは時間を通じて同一の分布ではないと思いますよね?

Like...

例えば…

But it will be if you don't...

でも、もし~しないと…

We take calculated risks.

私たちは計算されたリスクを取ります。

Like if you don't do policy, if you don't improve institutions, if you don't make better ways of...

例えば、政策を取らないで、制度を改善しないで、より良い方法を作らないで…

We should do all that.

私たちはそれらすべてをすべきです。

I just think like right now it's far too early and it's far too instrumental to select few to over legislate while we're in period.

ただ、今の段階では、選ばれた少数の人々に過剰な立法を行うのは時期尚早であり、過度に手段を選ぶことになると思います。

Well then when is the right time?

それでは、いつが適切な時期ですか?

When is the right time?

いつが適切な時期ですか?

When we have a better prior on how the market...

市場の状況についてより良い事前情報を持っている時に…

When do we know?

いつわかるのでしょうか?

When do we know?

いつわかるのでしょうか?

Like when do I wake up and say, all right, now's go time, when?

いつ起きて、さあ、今が行動する時だと言うのでしょうか?

Well, I mean, right now, I don't think it's right now because there's just too much things are moving dynamically.

まあ、今は適切な時期ではないと思います。なぜなら、物事が動きすぎているからです。

Like if you're gonna...

もしもあなたが…

But things will only get more dynamic in the future.

しかし、将来はより動的になるだけです。

When does it stop?

いつそれが止まるのでしょうか?

When does the buck stop?

いつ責任が果たされるのですか?

When do you act?

いつ行動を起こしますか?

Well, I mean, it's not going wrong.

ええと、つまり、何もうまくいっていないわけではありません。

I mean, GPT-4 people thought would melt the world or something and everything...

つまり、GPT-4の人々は世界を溶かすとか何とか思っていたんですが、すべてが…

Again, when do you act?

改めて、いつ行動を起こしますか?

What is the sign that when you see on the sky...

空を見ているときに見るサインは何ですか。

It's a continuum.

それは連続体です。

There's no discrete point.

明確なポイントはありません。

It's like...

まるで…

You don't have a plan.

計画がないんです。

You don't have a plan.

お計画がございません。

What you're saying is you have no plan, you have no threshold, you don't know what to do.

言いたいことは、計画がない、基準がない、何をすべきかわからないということです。

You say we should just wait and see what happens, bro.

何もせずに状況を見守るべきだと言っているんだろ?

Well, no, we should play by ear is what I'm...

いや、臨機応変に対応すべきだと私は言っているんだが…

Only install policies that change things for short time scales because the situation is so dynamic.

状況が非常に動的であるため、短期的に変化をもたらす政策のみを導入すべきです。

But my point is it will only get more dynamic.

しかし、私の指摘は状況はますます動的になるということです。

There will never be that God comes from the heavens and all right, guys, now's the time.

神が天から現れて、「さあ、皆さん、今がその時だ」と言うことは決してないでしょう。

Why not?

なぜですか?

You don't have a plan.

お計画がございません。

You don't have a model.

モデルもございません。

Maybe I'm right.

おそらく私が正しいかもしれません。

I mean, I think every corporation is adapting in an online fashion to the landscape.

つまり、私はすべての企業がオンラインの形態に適応していると思います。

Sure, but if I say now is go time, now is the time for big regulation.

もちろん、しかし、もし私が今が行動する時だと言ったら、今が大きな規制の時です。

The time is for that's a different question.

その時がそれは別の問題です。

You don't even have a way to evaluate it.

あなたはそれを評価する方法さえ持っていません。

You don't even have a function to evaluate.

あなたは評価する機能さえ持っていません。

You just said play it by ear.

あなたはただその場の判断に従うと言いました。

You don't even have...

あなたはさえも持っていません...

I do think that my point is like current institutions have such a slow clock rate that...

私は、現行の制度はクロックレートが非常に遅いという点があると思います。

I claim now...

私は今主張します...

Even if you have a good thesis, a good tangent right now, a model, a first order model of how the future will go from like the local temporal tangent, like that first order model is gonna be super inaccurate in the future.

たとえ良い論題、今のところの良い接線、モデルがあっても、将来がどのように進むかの第一次モデルは、局所的な時間的接線からの第一次モデルは、将来において非常に不正確になるだろう。

And if you have a very low clock rate of adaptivity, hyperparameter setting that you impose now and it's like crystallized forever, that's gonna be highly suboptimal, right?

そして、非常に低い適応性のクロックレート、今課せられているハイパーパラメータ設定が永遠に結晶化されていると、それは非常に非効率的になるだろう、ね?

Like it's just, it's gonna be negative, right?

ただ、それは否定的になるだろう、ね?

But then at some point you have to act.

しかし、ある時点で行動しなければならない。

Like you're just making excuses.

言い訳をしているだけだ。

This is just cope.

これはただの対処法だ。

This is just cope for not acting now.

これはただの対処法で、今行動しないための言い訳に過ぎない。

But I mean, every company is acting and adapting to the situation and incorporating AI.

しかし、すべての企業は行動し、状況に適応し、AIを取り入れている。

Yes, but if they're making a mistake, if everyone is making a mistake and AGI is around the corner and it will kill everybody, if this is true...

ええ、でも、もし彼らが間違っていて、みんなが間違っていて、AGIがすぐそこまで来ていて、それが皆を殺すことになるとしたら、それが本当だとしたら...

No, well, we disagree on that.

いや、まあ、その点については意見が異なる。

Sure, fine.

はい、わかりました。

But you don't have a plan.

でも、計画がないんですよね。

I don't care.

気にしません。

Like you don't have a plan.

あなたも計画がないじゃないですか。

You said you don't have a plan.

計画がないって言ったじゃないですか。

You don't have a plan.

計画がないんです。

There is no plan.

計画がありません。

The only thing you're talking about is only to play it by ear.

話していることは、その場の状況に合わせるだけですね。

This is not right.

これは違います。

No, I think that the system adapts, right?

いいえ、システムは適応すると思いますが、そうですよね?

Like there's planning happening.

おそらく計画が進行中です。

The lower levels of the hierarchical cybernetic control tree adapt on a faster time scale and are adaptive to the changing landscape of technology today.

階層的サイバネティック制御ツリーの下位レベルは、より速い時間スケールで適応し、今日のテクノロジーの変化する状況に適応しています。

But life can also just die.

しかし、命はただ死ぬこともあります。

Like life can just end.

命はただ終わることもあります。

Life isn't fair.

人生は公平ではありません。

A meteorite can just hit the planet, and it's big enough.

隕石が地球に衝突し、それが十分に大きい場合、それだけで終わりです。

And then that's just it.

それがすべてです。

I mean, it did, and then we bounced back better than that.

つまり、そうだったけど、その後、それ以上に回復しました。

If it was big enough to just liquefy the planet, it would just be over.

もし地球を液化させるほどの大きさだったら、終わっていただろう。

And then that's it.

それでそれです。

But I just don't think that a constant rollout of intelligence being progressively incorporated in our techno capital machine is gonna be that discrete event that causes mass disruption.

でも、私は、知性が徐々に私たちのテクノキャピタルマシンに組み込まれる一連の展開が、大規模な混乱を引き起こす離散的な出来事になるとは思わないんです。

I don't care if it's discrete or not.

それが離散的かどうかは気にしません。

This is irrelevant.

これは関係ありません。

No, I think it's very relevant because a complex system failure is when the system is maladapted to a sudden change in the environment.

いいえ、急激な環境の変化に対してシステムが適応できないときに複雑なシステムの故障が起こるということです。

And the point is, if you keep things malleable and changing on a fast enough clock rate, as you idiomatically slowly change the effective landscapes of constant rollout of new capabilities, then the system can Morph to incorporate it and incorporate this new reality and not fail, right?

そしてポイントは、もしもの新しい能力の連続的な展開の効果的な風景を変化させることで、システムがそれを取り込み、この新しい現実を取り込んで失敗しないようにするために、十分に速いクロックレートで物事を柔軟で変化させるということです。

And I think that is literally what we're arguing for, that crystallizing anything at the global level right now will cause later failure because we're gonna be maladapted to reality that we failed to predict accurately.

私たちが主張しているのは、今、グローバルレベルで何かを結晶化することが後の失敗を引き起こすだろうということです。なぜなら、私たちは正確に予測できなかった現実に適応できなくなるからだと私は思います。

I feel like that's a pretty good overview of what they believe.

私は彼らが信じていることのかなり良い概要だと感じています。

Obviously I can't capture all the detail and nuances.

明らかに、私はすべての詳細やニュアンスを捉えることはできません。

There's so much more.

まだまだたくさんあります。

You can watch the full interview on Machine Learning Street Talk.

完全なインタビューはMachine Learning Street Talkでご覧いただけます。

They recently also released like a bonus section where they go deeper into some of these ideas.

最近、これらのアイデアのいくつかにさらに深く踏み込むボーナスセクションもリリースされました。

I'm curious where you stand on this.

あなたはこの点についてどう考えているか興味があります。

Do you think that over-regulating now is the potentially more dangerous way to go?

今、過剰規制することがより危険な道かもしれないと思いますか?

Or do you think the danger lies in not having a plan, being flexible, not putting in place these compute caps and regulations?

それとも、計画を持たず、柔軟性を持ち、これらの計算上限や規制を設けないことが危険だと考えますか?

What path would you choose given the choice?

選択肢があるとしたら、どの道を選びますか?

Who's more correct here, Connor or Beth?

コナーとベスのうち、どちらが正しいですか?

Let me know in the comments.

コメントで教えてください。


この記事が気に入ったらサポートをしてみませんか?