How Nvidia created the chip powering the generative AI boom
Nvidiaはいかにして生成AIブームを支えるチップを作り上げたのか？

High demand for US group’s H100 processors helps send its market value skyrocketing towards $1tn
米国グループの「H100」プロセッサの高い需要に支えられ、その市場価値は10億ドルへと急上昇した

In 2022, US chipmaker Nvidia released the H100, one of the most powerful processors it had ever built — and one of its most expensive, costing about $40,000 each. The launch seemed badly timed, just as businesses sought to cut spending amid rampant inflation.
2022年、米国のチップメーカーであるNvidiaは、これまで製造した中で最も強力なプロセッサの1つであり、1つあたり約4万ドルもする最も高価なプロセッサの1つであるH100を発表した。インフレが進む中、企業が支出を抑えようとした矢先の発売で、タイミングが悪いと思われた。

Then in November, ChatGPT was launched.
そして11月、ChatGPTがスタートしました。

“We went from a pretty tough year last year to an overnight turnaround,” said Jensen Huang, Nvidia’s chief executive. OpenAI’s hit chatbot was an “aha moment”, he said. “It created instant demand.”
Nvidia の最高経営責任者、ジェンセン ファン氏は、「昨年は非常に厳しい年でしたが、一夜にして好転しました」と述べました。 OpenAI のチャットボットのヒットは「なるほど」と彼は言いました。 「それは即座の需要を生み出しました」。

ChatGPT’s sudden popularity has triggered an arms race among the world’s leading tech companies and start-ups that are rushing to obtain the H100, which Huang describes as “the world’s first computer [chip] designed for generative AI”— artificial intelligence systems that can quickly create humanlike text, images, and content.
ChatGPTの突然の人気は、世界の主要なハイテク企業や新興企業の間で、H100を手に入れようとする争奪戦を引き起こした。H100は、フアン氏が「生成AI用に設計された世界初のコンピュータ（チップ）」（人間のようなテキスト、画像、コンテンツを素早く作成できる人工知能システム）と説明している。

The value of having the right product at the right time became apparent this week. Nvidia announced on Wednesday that its sales for the three months ending in July would be $11bn, more than 50 percent ahead of Wall Street’s previous estimates, driven by a revival in data center spending by Big Tech and demand for its AI chips.
適切な製品を適切なタイミングで提供することの価値は、今週明らかになった。Nvidiaは水曜日に、ビッグテックによるデータセンター支出の復活と同社のAIチップの需要により、7月までの3カ月間の売上高がウォール街の事前予想を50％以上上回る110億ドルになると発表した。

Investors’ response to the forecast added $184bn to Nvidia’s market capitalization in a single day on Thursday, taking what was already the world’s most valuable chip company close to a $1tn valuation.
この予想に対する投資家の反応は、木曜日の1日で、Nvidiaの時価総額を1840億ドル増加させ、すでに世界で最も価値のあるチップ企業だったNvidiaの評価額を1兆ドルに近づけることになった。

Nvidia is an early winner from the astronomical rise of generative AI, a technology that threatens to reshape industries, produce huge productivity gains, and displace millions of jobs.
Nvidiaは、産業を再構築し、膨大な生産性向上をもたらし、数百万人の雇用を奪う恐れがある技術である、生成AIの天文学的な上昇から早期に勝者となった。

That technological leap is set to be accelerated by the H100, which is based on a new Nvidia chip architecture dubbed “Hopper” — named after the American programming pioneer Grace Hopper — and has suddenly become the hottest commodity in Silicon Valley.
この技術的飛躍は、H100によって加速されることになる。H100は、「Hopper」と名付けられたNvidiaの新しいチップ・アーキテクチャをベースにしており、アメリカのプログラミングのパイオニア、グレース・ホッパーにちなんで名付けられたが、シリコンバレーで突然最もホットな商品となったのである。

“This whole thing took off just as we’re going into production on Hopper,” said Huang, adding that manufacturing at scale began just a few weeks before ChatGPT debuted.
「このすべてのことは、まさに私たちが Hopper で生産を開始するときに始まりました」と Huang 氏は述べ、ChatGPT がデビューするわずか数週間前に大規模な生産が始まったと付け加えた。

Huang’s confidence in continued gains stems in part from being able to work with chip manufacturer TSMC to scale up H100 production to satisfy the exploding demand from cloud providers such as Microsoft, Amazon, and Google, internet groups such as Meta, and corporate customers.
マイクロソフト、アマゾン、グーグルなどのクラウドプロバイダー、メタなどのインターネットグループ、企業顧客からの爆発的な需要を満たすために、チップメーカーのTSMCと協力してH100の生産を拡大することができたことも、H100が引き続き成長する自信の一因となっている。

“This is among the most scarce engineering resources on the planet,” said Brannin McBee, chief strategy officer and founder of CoreWeave, an AI-focused cloud infrastructure start-up that was one of the first to receive H100 shipments earlier this year.
今年初めにH100の出荷をいち早く受けたAIに特化したクラウドインフラのスタートアップ企業CoreWeaveの最高戦略責任者で創業者のブラニン・マクビー氏は、「これは地球上で最も希少なエンジニアリングリソースの一つです」と述べている。

Some customers have waited up to six months to get hold of the thousands of H100 chips that they want to train their vast data models. AI start-ups had expressed concerns that H100s would be in short supply at just the moment demand was taking off.
膨大なデータモデルを訓練するために必要な数千個のH100チップを手に入れるのに、最長で6カ月も待った顧客もいる。AIスタートアップ企業は、需要が本格化するタイミングでH100が不足するのではないかという懸念を表明していた。

Elon Musk, who has bought thousands of Nvidia chips for his new AI start-up X.ai, said at a Wall Street Journal event this week that at present the GPUs (graphics processing units) “are considerably harder to get than drugs”, joking that was “not really a high bar in San Francisco”.
イーロン・マスクは、自身の新しいAIスタートアップX.aiのために何千ものNvidiaチップを購入していますが、今週Wall Street Journalのイベントで、現在のところGPU（グラフィック・プロセッシング・ユニット）は「薬物よりもかなり入手が難しい」と述べ、「サンフランシスコのハードルは高くない」とジョークを飛ばしていた。

“The cost of compute has gotten astronomical,” added Musk. “The minimum ante has got to be $250mn of server hardware [to build generative AI systems].”
「コンピューティングのコストは天文学的なものになっています」とマスク氏は付け加えた。 「（生成 AI システムを構築するには）サーバー ハードウェアの最低投資額は 2 億 5,000 万ドルでなければなりません」。

The H100 is proving particularly popular with Big Tech companies such as Microsoft and Amazon, who are building entire data centers centered on AI workloads, and generative-AI start-ups such as OpenAI, Anthropic, Stability AI, and Inflection AI because it promises higher performance that can accelerate product launches or reduce training costs over time.
H100は、AIワークロードを中心としたデータセンター全体を構築しているマイクロソフトやアマゾンなどのビッグテック企業や、OpenAI、Anthropic、Stability AI、Inflection AIなどのジェネレーティブAIスタートアップ企業に特に人気を博している。これは、製品の発売を加速させ、トレーニングコストを長期的に削減できる高いパフォーマンスが期待できるからだ。

“In terms of getting access, yes this is what ramping a new architecture GPU feels like,” said Ian Buck, head of Nvidia’s hyperscale and high-performance computing business, who has the daunting task of increasing supply of H100 to meet demand. “It’s happening at hyper-scale,” he added, with some big customers looking for tens of thousands of GPUs.
Nvidia のハイパースケールおよびハイパフォーマンス コンピューティング ビジネスの責任者であるイアン・バック氏は、「アクセスの獲得という点では、確かに、新しいアーキテクチャの GPU を立ち上げるのはこんな感じです」と述べ、需要に応えるために H100 の供給を増やすという困難な課題に取り組んでいます。 「それは超大規模で起こっている」と同氏は付け加え、一部の大顧客は数万個のGPUを求めていると述べた。

The unusually large chip, an “accelerator” designed to work in data centers, has 80bn transistors, five times as many as the processors that power the latest iPhones. While it is twice as expensive as its predecessor, the A100 released in 2020, early adopters say the H100 boasts at least three times better performance.
データセンターで動作するように設計された「アクセラレーター」であるこの異常に大きなチップは、最新のiPhoneを動かすプロセッサーの5倍に相当する800億個のトランジスタを搭載している。2020年に発売された前身のA100の2倍の価格である一方、アーリーアダプターによると、H100は少なくとも3倍以上の性能を誇るという。

“The H100 solves the scalability question that has been plaguing [AI] model creators,” said Emad Mostaque, co-founder and chief executive of Stability AI, one of the companies behind the Stable Diffusion image generation service. “This is important as it lets us all train bigger models faster as this moves from a research to an engineering problem.”
「H100 は、[AI] モデル作成者を悩ませてきたスケーラビリティの問題を解決します」と、Stable Diffusion 画像生成サービスを提供する企業の 1 つである Stability AI の共同創設者兼最高経営責任者であるエマド モスタク氏は述べている。「研究からエンジニアリングの問題に移行する際に、より大きなモデルをより速くトレーニングできるようになるため、これは重要です。」

While the timing of the H100’s launch was ideal, Nvidia’s breakthrough in AI can be traced back almost two decades to an innovation in software rather than silicon.
H100の発売タイミングは理想的だったが、NvidiaがAIで躍進したのは、シリコンではなくソフトウェアの革新に20年近く遡ることができる。

Its Cuda software, created in 2006, allows GPUs to be repurposed as accelerators to other kinds of workloads beyond graphics. Then in around 2012, Buck explained, “AI found us.”
2006 年に作成された同社の Cuda ソフトウェアにより、GPU をグラフィックスを超えた他の種類のワークロードのアクセラレータとして再利用できる。そして 2012 年頃、バック氏は「AI が私たちを見つけてくれた」と説明した。

Researchers in Canada realized that GPUs were ideally suited to creating neural networks, a form of AI inspired by the way neurons interact in the human brain, which was then becoming a new focus for AI development. “It took almost 20 years to get to where we are today,” said Buck.
カナダの研究者らは、GPU がニューラル ネットワーク (人間の脳内でのニューロンの相互作用にヒントを得た AI の一種) の作成に最適であることに気づいた。ニューラル ネットワークは、当時 AI 開発の新たな焦点となりつつあった。 「今日の状況に到達するまでにほぼ 20 年かかりました」とバック氏は語る。

Nvidia now has more software engineers than hardware engineers to enable it to support the many different kinds of AI frameworks that have emerged in the subsequent years and make its chips more efficient at the statistical computation needed to train AI models.
Nvidia は現在、ハードウェア エンジニアよりも多くのソフトウェア エンジニアを擁しており、これにより、その後数年で登場するさまざまな種類の AI フレームワークをサポートし、AI モデルのトレーニングに必要な統計計算においてチップの効率を高めることができる。

Hopper was the first architecture optimized for “transformers”, the approach to AI that underpins OpenAI’s “generative pre-trained transformer” chatbot. Nvidia’s close work with AI researchers allowed it to spot the emergence of the transformer in 2017 and start tuning its software accordingly.
Hopperは、OpenAIの「生成的事前訓練型トランスフォーマー」チャットボットを支えるAIへのアプローチである「トランスフォーマー」に最適化された最初のアーキテクチャである。NvidiaはAI研究者との緊密な連携により、2017年にトランスフォーマーの出現を察知し、それに合わせてソフトウェアのチューニングを開始することができた。

“Nvidia arguably saw the future before everyone else with their pivot into making GPUs programmable,” said Nathan Benaich, general partner at Air Street Capital, an investor in AI start-ups. “It spotted an opportunity and bet big and consistently outpaced its competitors.”
「Nvidiaは間違いなく、GPUをプログラミング可能にすることに軸足を置いて、誰よりも先に未来を見た」と、AIスタートアップに投資するエア・ストリート・キャピタルのゼネラルパートナー、ネイサン・ベナイチは語った。「同社はチャンスを見つけて大きく賭け、常に競合他社を上回りました」。

Benaich estimates that Nvidia has a two-year lead over its rivals but adds: “Its position is far from unassailable on both the hardware and software front.”
ベナイチ氏は、Nvidiaがライバル企業に対して2年間リードしていると見積もっているが、次のように付け加えた： 「ハードウェアとソフトウェアの両面で、その地位は揺るぎないものとは言い難い。

Stability AI’s Mostaque agrees. “Next-generation chips from Google, Intel, and others are catching up [and] even Cuda becomes less of a moat as software is standardized.”
Stability AIのモスタクも同意見だ。「GoogleやIntelなどの次世代チップが追い上げてきており（そして）、ソフトウェアが標準化されるにつれてCudaでさえも堀が少なくなっていく」。

英語学習と世界のニュースを！