Drive Thor　の解説

現在、自動運転についてはテスラが一歩先んじている。 テスラ自動運転ソフトFSD12.3バージョンは、実用化しています。 さらにテスラは8月、自動運転のロボットタクシーを 実現させようとしています。
FSDftの12.3バージョンは ハイウェイだけでなく、街中でも 人間の操作を介することなく運転が可能になっている様子がYoutubeに載っています。 テスラはこの自動運転のシステムを全てのTesla車に搭載しており、月約百ドルでサブスクリプションしている。
Nvidiaは、すべての車に使える自動運転のシュミレーションと、自動運転と、自動車での生成AIとの適用を考えている。

キーポイント
１）Nvidia Drive ThorはLIDAR、カメラ、レーダー、超音波のセンサーで自動運転を制御。
２）Nvidia Drive Thorはインタネット接続と接続なしのハイブリッドシステム
３）自動運転はリアルタイム処理、ネット接続はソフトアップデートなど
４）デジタルツインで自動運転環境、衝突安全性を再現
５）自動運転は心配が少ないハイウェイパイロットと都市パイロットに分けている
６）Blackwellの技術がNvidia Drive Thorに搭載されている。
７）自動運転車、自動運転トラック、ロボタクシー、シャトルが可能になる。
８）Drive OSは CUDA、AI推論の TensorRT、センサー処理のNvMediaを含む。

以下は「NVIDIAの自動運転AIチップが全てを変える」というビデオで話されいる内容である

Nvidia GTCにて、私はNvidiaの自動車部門副社長であるダニー・シャピロとのインタビューの機会を得ました。私は、Nvidiaの自動運転プログラムについて、また彼らが支持するセンサーや各種自動運転車に搭載されるスーパーコンピュータについて学びました。

さあ、始めましょう。

私はダニー・シャピロ、Nvidiaの自動車部門副社長です。GTCで皆さんと共にいられることに興奮しています。
こちらは新しいNvidia Driveプラットフォームを搭載しており、ライダー（LIDAR）、カメラ、レーダー、超音波など、全てのセンサーが含まれています。

これらのセンサーは大量のデータを生成します。そのデータから、車や自転車、トラック、車線、信号などを認識する必要があります。ここでAIの出番です。私たちはそのセンサー信号データを解析し、人間が認識できるものをAIに理解させます。AIはビデオフレーム内の全てのピクセルをスキャンして、シーン内の人物を特定します。
今は自動運転の場合でも、依然として運転手がハンドルを握る必要がありますが、
車の「脳」は非常に強力で、ソフトウェアを時間と共に更新し、新しい機能や異なる種類の自動運転モードを追加することができます。

車内にスーパーコンピューターを搭載し、車両が高度な自動運転を実現できるようにしています。
このスーパーコンピューターは、AIによって、周囲の環境を数十分の一秒で理解し、適切な運転決定を下すことができます。

Nvidia Driveプラットフォームは、自動車に特化したコンピュータで、高低温の温度で動作し、厳しい条件下での使用に耐えるように設計されています。

AIコックピットは、車と会話ができ、車があなたを理解し、好みを学ぶことができます。
例えば、映画の時間を尋ねたり、目的地の天気を確認することができます。
これは、クラウドと連携してデータを取得するハイブリッドアプローチです。
AIは、運転に関連しない作業も遂行できるようになります。
これが私たちの目指す自動運転の未来です。

Lidar（光検出と測距）はこのセンサーですね。
この車では中央にLidarがあり、前にもあります。後部にもあります。また、側面にもLidarがあることがあります。周囲のカメラとレーダーと組み合わせて、車の周囲の360度の映像を形成します。

では、カメラはどこにありますか？
カメラはミラーの後ろにあります。サイドミラーにもカメラがあり、後向きのカメラもあります。
レーダーは常に隠されていて、超音波はバンパー周りの小さな点として見られることが多いです。
これにより、駐車時の短距離カバレッジが提供されます。超音波は短距離用です。

Lidarとレーダーがある理由は何ですか？
非常に良い質問です。
それぞれに距離、範囲、解像度の違いがあります。
カメラの場合は光が必要ですが、レーダーとLidarは暗闇でも機能します。

これらの異なる種類のセンサーを組み合わせることで、様々な条件下でより強固な画像が得られます。すべてのセンサーは「脳」につながります。

その脳は車内にあるチップですか？それともクラウドにありますか？

脳は車内にあります。それがNvidia Driveプラットフォームです。
これは自動車用途に設計されたコンピュータで、自動車グレードでなければなりません。
PCに入るGPUとは異なり、最も寒い冬の温度から砂漠を走る暑さまで、あらゆる温度で動作しなければなりません。
車内のどんな回路も自動車グレードであり、広い温度範囲に耐える必要があります。
インタネット接続が低い場合やインターネット接続がない場合、すべてを車内で処理しなければなりません。しかし、自動走行にインターネット接続は必須ではないというのは誤解です。
インタネット接続は、車がガレージにあるときにソフトウェアアップデートを取得する方法の一つです。Spotifyをストリーミングすることもできますし、レストランを検索することもクラウド経由で行われます。
しかし、自動走行においては、意思決定はオンボードで行われる必要があります。
決定を下すまでの時間が短すぎるため、クラウドに行って計算を行い、戻ってくるわけにはいきません。

したがって、すべてのセンサーデータは直接車のコンピュータに送られ、ビデオの1フレームのような30分の1秒でシーン内のすべてを識別し、運転決定を下すことができます。

どうしてこれほど迅速に決定を下すことができるのでしょうか？
これには特別なアルゴリズムが関与していますか？

それはまた素晴らしい質問です。
世界はコードを書いて「これを見たらこれを行う」と言うには複雑すぎます。
シーンには起こり得ることが多すぎますので、ルールベースのアプローチは機能しません。
AIはさまざまな種類のオブジェクトやシナリオを認識する方法を学ぶことができ、
強力なスーパーコンピュータを使って一瞬で完全な環境を理解することができます。

それは、車のAIコンピュータでビデオゲームのように見えます。
私たちはAIコンピュータに実世界のデジタルツインを作成し、私たちの車がここにあることを知り、周囲のすべてに基づいて加速、ブレーキ、左折、または右折を決定します。

この車には文字通りAIスーパーコンピュータが内蔵されており、人間よりもはるかに速く、そしてはるかに多くのものを見ることができます。
私たちは前方の円錐形の範囲でしか見ることができませんが、この装置は側面の状況を知ることができます。
その計算のいくつかは、単により多くのものを見ることができるためです。視覚だけでなく、レーザーやラジオ波、ソナーも使用します。360度の認識が可能です。気が散ることなく、眠くなることもありません。

さらに、正確さのレベルは私たちよりもはるかに高いです。
なぜなら、それは正確な距離、私たちの速度、前方の車との接近速度を知っていて、衝突を避けるために正しい量のブレーキを適用することができます。これは本当に素晴らしい点です。
実際、私は距離の見積もりが非常に苦手です。私たちは3Dで見ることができますが、特別なセンサーが範囲を測定するためだけにあります。ここで重点を置いているのは、車外のAIセンシングです。

今回Blackwellプロセッサを発表しました。これは次世代GPUで、次世代の車載コンピュータであるDrive Thorに搭載されます。これにより、車内でジェネレーティブAIアプリケーションが可能になります。
DRIVE Thorは、自動運転支援とインフォテインメントを統合したカーコンピューターです。

AIコックピットでは、車と会話ができ、車があなたのことを全て知り、あなたの好みを学ぶことができます。
例えば、私は何を車に話しかければいいのでしょうか？
あなたは声で車のあらゆ制御することができますし、診断が実行されているか、ある特定の振動が問題であるかを車が理解し、それをあなたに伝えることができます。

例えば、「ガソリンが少なくなってきた」「タイヤの空気圧が低い」など、そうしたことを車が私たちに伝えることもあります。しかし、あなたは車を制御することもできます。

そして、クラウドもここで役立ちます。あなたが車に何かを依頼し、それが外部のデータが必要な場合（例えば「映画が何時に始まるか」や「目的地の天気はどうか」など）、それはハイブリッドアプローチでデータを取得します。

つまり、ジェネレーティブAIエージェントは、車を理解するだけでなく、映画を見に行きたいと言ったときに「最寄りの映画館に案内します」と答えるほどあなたを理解しています。

それにより、運転に関連するだけでなく、それ以外の作業も遂行することができます。

これは非常に興味深いですが、そのインターフェースはどのようになっているのでしょうか？
スクリーンがあるのか、それとも音声からテキスト、テキストから音声への変換だけでしょうか？

私たちは「Ace」と呼ばれる技術を開発しました。
これはAvatar Cloud Engineで、車内に異なる種類のアバター、パーソナライズされたコンシェルジュを提供する方法です。
多くの技術がテキストから音声、音声からテキストへの変換を行いますが、アバターの話した言葉に基づいてアニメーションを生成することもできます。つまり、話している相手を視覚的に見ること
ができます。それは仮想でありながら、具体化されているのです。

これはクールですね。
私たちは自動運転を5つのレベルで考えています。レベル2とレベル3の違いはかなり重要です。
レベル2ではドライバーがまだ責任を持っていますが、レベル3では責任が車に移ります。
これらの車が市場に出るとき、それらは「レベル2プラス」と呼ばれることになります。
非常に高度ですが、ドライバーは依然として制御を持っている必要があります。ドライバーが責任を持ちます。

メルセデスベンツはレベル3へと移行しています。ロビーにあるCLAは次世代の車両で、それ以降に出る車両にはNvidiaドライブが搭載されるでしょう。
これらの車両が出るとき、ソフトウェアアップデートを通じてより高いレベルの自動運転機能が追加されます。ですから、Driveは時間をかけてこれらのレベルを徐々に上げていくわけです。

それは現在のレベル2のプラットフォームがレベル3に移行するのと同じですか？
正確には、そうです。レベル2プラスは通常、車にもっと多くのセンサーがあり、ソフトウェア以外に何もしなくても次のレベルに達するのを可能にします。
伝統的なレベル2は、よりドライバー支援が中心で、緊急ブレーキやブラインドスポットはありますが、通常はレーンキーピングは含まれていません。

適応型クルーズコントロールとレーンキーピングを統合すると、ドライバーをループから外すのに十分なほどロバストになります。
まずはハイウェイパイロットから始めることになるでしょう。
これは心配事が少ない小さなセットですが、
その後はより多くの歩行者がいる都市パイロットに移行します。

ハイウェイパイロットは、一定の速度で、特定のハイウェイでのみ、または「大きな道路を高速で走っていると認識されたときにこの機能を有効にできます」という機能ですか？

それは自動車メーカーによって異なります。
一般的には、制御された出入口と、出入りランプのある単方向道路にいる場合が多いです。
ドライバーが目的地を設定すると、車は車線を維持し、遅い車を追い越すこともでき、さらには一つの高速道路から別の高速道路へと移動することもできます。

都市パイロットは、停止標識、信号機、交差点、歩行者、多くの混雑と取り組む必要があり、はるかに複雑です。私たちは現在、多くの異なる企業と試験やパイロットを行っています。
私たちは100以上の異なる自動車メーカー、トラックメーカー、ロボタクシー会社、シャトル会社がDriveを使用して開発しており、さまざまなパイロットを行っています。

ショーフロアでは、この夏に登場するVolvo EX90も展示されています。
これも美しい車で、Nvidiaドライブを搭載しています。
私たちの後ろにはロボバスがあります。これは北京、シンガポール、アブダビで運行されている完全自動運転バスです。
Nuroももう一つの顧客で、最後の1マイルの配達ロボットを持っています。
あなたは食料品やピザを注文することができ、この自動運転車が道路を走り、商品を配達します。
これらすべての異なる車両にはスーパーコンピュータが搭載されており、レベル3の自動走行を実現することができるでしょう。場合によってはレベル4も可能です。

レベル3とレベル4の違いを簡単に説明してもらえますか？
ええ、レベル4の装置は、ステアリングホイールやガスペダルが必要ないため、人間の介入がまったく必要ありません。

数年前のGTCでJensenが話していた大規模なロードネットのマッピングについて質問がありますが、これらのデジタルマップは必要ですか？
これはデジタルツインの一部ですか？

非常に良い質問です。デジタルツインは、自動車業界全体で使用しているものです。
車の設計を例に話しましょう。
Nvidia Omniverseはデジタルツインのプラットフォームで、車のデジタルツインを作成します。
それを仮想風洞シミュレーションに入れることができます。
そして、抗力係数がどれくらいか、燃費がどうなるかを判断することができます。
これにより、設計を変更してその影響を見ることができます。
物理的なものを製造することなく、プロセスを大幅に合理化します。
次に、仮想クラッシュテストシミュレーションを行い、車が物理的に破壊されることなく構造的にどれほど安全かを確認することができます。

さらに、工場のデジタルツインを作成し、アセンブリラインがどのように機能するか、ロボットがどのようにねじ込まれるかを検査することができます。
互いに衝突しないように、工場内に動くための十分なスペースがあることを確認します。
これは自動車業界にとって大きな勝利です。
クラウドのOmniverseで異なる工場計画を行うことができ、実際の工場に着工する前に大量のお金を節約することができます。
建築変更をする必要がなくなります。
「ああ、神様、ロボットの腕のために天井を十分に高くしていない」となりません。
本当に素晴らしいツールです。

そして、そのシミュレーションを自動運転車の開発にも持ち込むことができます。
私たちは都市のデジタルツインを作成し、そこにすべての車を置いて、それらがどのように動作するかをテストすることができます。
子供たちが車の前を横切るとき、実際に搭載されるセンサーに基づいて子供を検出するかどうかを見ることができます。
私たちがシミュレートするのはすべてのセンサーです。
Nvidia Driveの脳をサーバーに入れ、すべてのレーダー、Lidar、カメラの合成データを作成します。
Driveコンピュータは道路を走っていると思い、その信号を受け取り、それに基づいて運転決定を下します。
左右に曲がったり、加速したり、ブレーキをかけたりします。これにより、実際の車両に搭載する前に完全にテストすることができます。
冒頭で言及したように、自動車産業は高度に規制されており、伝統的なGPUとは異なる基準に従わなければなりません。

シミュレーションデータは精度良くセンサーをモデリングしていることを確認するために、特定の基準に従う必要がありますか？

それがまさに私たちが行っていることです。
Omniverseは物理的に正確ですので、すべてのセンサーメーカーと協力して、そのセンサーの特性を正確にモデル化します。それらのものは基本的に正確であると私たちは知っています。
それは実世界のテストとシミュレーションの組み合わせです。
もちろん、実世界のテストも行いますが、シミュレーションでは、昼夜や照明、天候などを完全に制御できます。
ですから、実際の世界では繰り返すことができないテストを繰り返すことができます。
問題を解決しようとしている場合、それに対して継続的に取り組むことができます。
シミュレーションでは、日没のときに運転することは１日中できますが、実車ではセンサーが日没時にどのように機能するかをテストしようとすると、1日に数分しか時間がありません。

ですから、あなたは実際のエッジケースを得ることができ、それを「エッジではない」と言うことができます。
本当に興味深いポイントです。私たちの後ろにはNuroがあり、その上にはLidarセンサーがあります。
これは配達ボットで、中にドライバーはいません。
こちら側には、人間が何かを注文するインターフェイスがあります。
食料品やピザが届けられます。そして、スマートフォンアプリを使って、アパートを解錠して注文を受け取ることができます。彼らはここに店を設けており、非常に好調です。売れ行きがいいです。
カメラがあり、車両から取り出されたものを追跡し、自動的にあなたのアカウントに請求されます。
これは素晴らしいです。青いボタンを押すだけで、注文を受け取った場所にこれから出発するところです。うーん、それは超クールです。それで、私は何を受け取るのでしょうか？本当にピザを一枚受け取りたいのなら、スナックとポスターから始めることができます。

ポスターがあると言ったのですか？おお、これらはクールです。私は1つずつ取るのが欲しいです。ありがとうございます。

巨大なコンベンション会場で、私たちは今、巨大なBlackwellラックの後ろに立っています。
Blackwellは、私たちが話したすべての車両の中にも内蔵されています。
Blackwellは私たちの最新のGPUアーキテクチャで、単一のGPUからラックまでのプラットフォームです。
その同じ技術がNvidia Drive Thorに搭載されています。次世代プロセッサです。
これにより、自動運転車、自動運転トラック、ロボタクシー、シャトルが可能になります。
Drive Thor はDrive OSで駆動します。
CUDAイブラリ、リアルタイムAI推論のNVIDIA TensorRT、センサー処理のためのNvMediaが含まれています。

では、ThorとDriveの違いは何でしょうか？
Thorは、Driveプラットフォーム全体に搭載されるシステムオンチップです。
壁に展示しているECUは、Lenovo、WeiboなどパートナーのDriveプラットフォームです。
データセンターからそのシステムオンチップに技術が使用されています。
そして、そのプラットフォームには、Lidar、レーダー、カメラを接続するためのすべてのコネクタがあります。

ええ、私たちは一周回ってきました。お時間をいただき、ありがとうございました。
今日、レベル2の自動走行について説明してくれて、本当にありがとうございます。
そして、レベル2プラス、レベル3の自動走行について理解しました。
それは本当に楽しい体験でした。お時間をいただき、ありがとうございました。

どういたしまして。

Danny Shapiroに感謝します。
彼はNvidiaのDriveプラットフォーム、それを動かすAIチップ、それがサポートするセンサー、そしてNvidiaが実世界とシミュレーションデータを組み合わせて自動車業界全体の自動走行を達成するのをどのように助けているかについて説明してくれました。
NvidiaはデータセンターやPC以上のものがありますので、GTCに招待してくれて本当に感謝します。
私が直接学び、皆さんと共有することができました。