注意

この文章はOpenaiのWisperで書き起こしを行い(modelはlarge)、deeplで翻訳しました。内容確認はしていません。
それをご認識の上お読みください。
上部に日本語、下部に英語をつけています。

元の講演はこちら

日本語

皆さん、こんにちは。
昨年、horizonでコネクトをやらないのは残念だと言いましたが
そして、物理的なコネクト体験ができないので、ここでかなり不機嫌になるつもりだったんです。
ここでも同じことが言えますが、horizonでの基調講演を大勢の人と一緒に見ましたが、本当にかなりよかったです。
巨大なスクリーンでの映像のクオリティは素晴らしかったです。
巨大スクリーンの映像品質もよかったですし、ちょっとした副次的な効果も微妙に効いていて、数十人の人と一緒に部屋にいるような感じでした。
同じことに関心を持つ数十人の人たちと一緒にいることは、ポジティブなことです。
ヘッドセットの下から、散らかった机とノートパソコン、そして窓が開いているのを眺めながら
思ったんです。
これは、ほとんどの人がほとんどのプレゼンテーションを見る方法で見るよりも、本当にメリットがあるんだ。だから、私は
しかし、マークがアバターとしてライブで出てきたときは、純粋に驚きました。私はリハーサルには一切参加していません。
だから、そこで何が起こっているのか、よくわからなかったんです。しかも、あれは事前に収録されたカン系でありながら
それこそライブでやりたいのは
ステージを歩き回り、会場のみんながアバターに近づくために手すりまで降りてきて
それは、本当にポジティブなことだと思います。それが私のやりたかったことです。
今年はそういう意味じゃないんです。
僕がアバターになってビデオに映るのは基本的にビデオに映るのと同じことなんだ
メイクアップアーティストが事前に私の顔にツヤを出す代わりに
アバターを調整するのは彼女だけど、基本的にはプレゼン用のビデオと同じだよ。
ライブの観客と一緒に、仮想空間でプレゼンしたいんだけど、どうすればいい？
希望者は全員、終了後も残って好きなだけ話せます。
ということです。
基調講演の前にhorizonにいたとき、誰かが講演後にプレゼンターと話ができるかどうか聞いてきたんです。
でも、今、その道筋が見えてきました。
理想を言えば、Horizonでイベントを開催することは、このようなアリーナ規模のサポートができることを意味します。
何千人ものアバターが大きな部屋に集まってきて、完全に一様な世界を共有することができます。
完全に一様な世界を共有することです。これは深刻な技術的課題であり、Horizonは現在それを扱うことができませんが、乗り越えられないものではありません。
しかし、アバターのレンダリング品質には大きな緊張があります。
今年の初めにアバターの品質について世間から嘲笑され、今では社内の多くの人が何も表示されないことに猜疑の念を抱いていますね。
しかし、可能な限り最高品質のアバターとレンダリング機能の充実を図り、量ではなく質を高めることを推し進めています。
つまり、私はhorizonのカスタムビルドでこれを行い、アバターのディテールのレベルを絶対的にロックできるようにしました。
アバターのディテールのレベルを、何が起きても絶対に落とさないようにロックしています。
もし今あなたがhorizonにいるとして、他の人たちを見渡したときに
今、horizonにいる人は、周りを見渡せば、きっと何か変化が起きたり、ポップアップが出たりしていることでしょう。
では、個々のアバターのレンダリング品質を2倍にしたらどうでしょう。
あなたの隣にいる人はいい画質で表示されるかもしれませんが、その分、他のアバターが犠牲になってしまいます。
そうなると、フォトリアリズムとコダック・アバターへの大きな流れが心配です。
ヘッドセットのリソースには限りがありますから、クラウド・レンダリングでは救われないことが多いのです。
ですから、今日のアバターはとても気に入っています。かなり気に入っています
アバターをレンダリングする新しいアプリを見るたびに嬉しくなります。
このままでもいいのですが
そして、特に非VRのメタアプリケーションは、何桁も多くのリーチを与えてくれます。ですから、これらはすべて、その
本当にポジティブなことです。だから、私は質より量の最適化に傾いています。
私は、そのように考えています。
4人とか8人とかに制限されたアプリは、多くのアプリケーションにとってあまり良いものではありません。
少なくとも数十人、理想を言えばそれ以上の人数が必要です。
しかし、horizonのアバター・レンダリングの制限内であっても、このようなイベントは非常にクールなものになります。
私のアバターが他のシャードに複製されるのです。
たとえ20人ずつであっても、プライムシャードへの移動待ちのフラグを立てることができます。
シャードへ移動するための待機列に並ぶことができます。
もし、スケーラビリティの問題を解決できないのであれば
シャーディングをホライズンマルチバースのようなものとして受け入れるべきです。
そして、インスタンス間を簡単に移動できるツールを提供し、友人や会社の担当者とグループ分けをすることができます。
何でもかんでも入場待ちの行列ができるような時代です
すでにプロのカメラマンやプロダクションの仕事には多くの良いサポートがあります。
つまり、私はこの部屋でプロダクションの人たちと一緒に座っていて、6台のカメラが動き回っているんです。
実際のプロフェッショナルのイベントと同じように、全スタッフが対応しています。
これは、多くのカンファレンスやコンベンションにとって、本当に価値のあることだと思います。
大きなビジネスです。このようなものにかかる費用を考えれば
多くの場合、参加者に無料でヘッドセットを提供することができますが、それでも十分な効果があります。
だから、私は水平線の世界は私の領域ではないのです。私は、このコメントで壁の上に手榴弾をいくつか投げているだけです。
私自身は、メインのVRホーム環境のほうに関心があります。
社内ではVRシェルと呼ばれていますね。現在は "Horizon Home "に名称変更されています。
しかしどのクエストでもユーザーが使うものであり、何年も前に私がそのオリジナルコアを書きました。
個人的には気に入っていますが 不満な点も多々あります
性能は何年も前から大幅に低下しています。私たちが目指している1秒間に90フレームという目標にロックされることはほとんどありません。
vrを使うたびに悩まされます。vrを使わないという提案もしたことがあります。
私はVRを使用しています。ゲーム開発者に、90フレームを維持できないなら72フレームに戻すべきだという提案をしています。
なぜなら、低いフレームレートでよりスムーズな方が、ムラがあってギクシャクしているよりも良いからです。
しかし、それがどれだけの不具合をカバーするものなのかは明らかではありません。
アプリの起動が遅いのも、トランジションに不具合があるのも知っているはずです。
でも、何年もかけて作ってきたピッチのトンネルの終わりに光が見えるんだ。
ソーシャルプレゼンスと汎用的な画面共有モデルへのワンクリックです。
最近、家庭でのコ・プレゼンスを開始したのですが、その周辺にはさまざまな不具合がありました。
でも、実際に使ってみると、アバターとのインタラクションがあるんですよね。これは素晴らしいことだと思います。
horizon worldsにあるようなものです。
でも、自宅では、少なくとももっと速く、アバターの数もある程度多くなる可能性があります。
なぜなら、Unity環境ではなく、完全にネイティブな環境だからです。
でも、もっともっといいものにする必要があります。
エクスプローラーのメインページで友達を見つけたら
その人にカーソルを合わせると、パーティーのダイアログがポップアップします。
そのダイアログをクリックすれば、その人をパーティーに招待することができます。
何年も前から欲しかったワンクリックでのソーシャルプレゼンスです。
今までは、相手があなたの空間や環境に入り込むのに1分ほどかかっていました。
それを数秒に縮めて、クリックさせることができるのです。
テキストメッセージに反応するのと同じくらい速く反応します。
それが、私が望む北極星です。
vrの同期型ソーシャル環境に飛び込むのは、携帯電話でするのと同じくらい速いということです。
本当に重要なのは、細かく調整されたモバイルアプリです。
そのために必要なその他の小さなこともあります。
私たちはおそらく、あなたがデフォルトで具現化されるように、家を移動するつもりです。
今までは、実体のないコントローラが浮かんでいて、初めて社会的な環境に参加する人もいます。
初めて自分のアバターを見る人もいます。
それをスキップして、Horizon Worldのように体や腕を描画するようになれば、ホーム空間でもアバターが使えるようになります。
そうすれば、アバターを早く設定するようになります。
また、この世界には素敵な鏡が設置され、もう一度自分をセットアップすることができます。
アバターを見せて、早い段階で快適に使えることを確認し、技術的な面でも少し工夫します。
VRゲームで見られるミラーのほとんどは、別のビューをレンダリングすることによって行われ、それらは通常よりぼやけたエイリアスです。
一般的に、家庭用ゲーム機では、特に高品質ではありません。
私たちは巧妙な小技を使っていますが、これは実は私が「Doom 3」でずっとやっていたことです。
切り抜きでレンダリングすると、鏡の中の世界も直接見るのと同じような高画質になります。
これは、ちょっといい感じです。
ホーム環境では、他に何か動き回ることができます。
多くの人がこの機能を理解していないのは、少し直感的でないためです。
メニューシステムを片付けてから、テレポート移動ができるようにすることを、私はずっと要求しています。
汎用的なナビゲーションが必要だ
私はいつもデザイナーと議論しているのですが、デザイナーは、ユーザーを決して、「汎用のナビゲーション」を壊してしまうような場所には行かせたくないと考えています。
世界のモデリングに支障をきたすような場所に、ユーザが頭を突っ込むことがないようにしたいのです。そのため、あらかじめ用意された特定のポイントだけを使うことになり、結果的にうまくいきません。
もし、大人数のグループで、思い通りの構成にならない場合。
でも、それはすぐに解決されると思います。
しかし、その一方で、一度参加した後のこともあります。多くの人がVRチャットルームで 多くの時間を過ごしています 他の人と鏡しかない空間です そこに価値があるんです
しかし、画面共有には膨大な価値があると思います。共同視聴の基本は、特殊な形で機能しています。
また、共有環境のための特定のプログレッシブ・ウェブ・アプリケーションを開発する取り組みも行われています。
しかし、私は、パネルで行っていることを完全に普遍的なものにするよう訴え続けています。再エンコードして、みんなと共有すればいいんです。
たとえそれが、中央のソースからストリーミングするような最適なアプローチよりも品質低下を意味するとしても、人々が行うことは非常に多いのですから。
つまり、人々は基本的にすべてスクリーン上で行うので、ここに素晴らしい同期型ソーシャルを持ち込めば、速くて簡単で、誰もが自分の作業内容を簡単に共有できるようになるのです。
これはかなり重要な価値になると思います。私たちは Horizon worlds と Horizon work room で多くのことを行っていますが、これらは非常にヘビー級のアプリです。
ワールドに入るために起動するのは大変なことで、私が気にしている多くのことでは、アクションのレイテンシーを気にする必要があります。
トラッキングのミリ秒でも、アプリ体験の起動の秒数でも。高速であることは重要であり、私はこのことを訴え続けています。
多くのステップを踏まず、たとえそれがすべての人にとってのすべてではないとしても、強力で素晴らしい機能を作り、誰にとっても超簡単で素早く機能するようにします。
昨年は音声の遅延がひどかったのですが、今では多くの場合、半分に短縮されています。
音声通信が携帯電話よりも確実に良くなるところまで到達したいのです。
オーディオドライバなどのファームウェアを調整すれば、現在使われている音声通信の半分か4分の1程度にすることができます。
これは本当に価値のあることで、家庭でやることと世界でやることの間には緊張関係があります。
もし、人々が互いの世界にすぐに飛び込めるような素晴らしいものにしたら
一人の人間に縛られることなく、小さな世界を持続させるためのほんの小さな一歩に過ぎないのです。
Facebookのグループにはルームが必要だと言い続けていますが、Horizonホームの中でHorizonワールドを再発明するのはどうしても避けたいのです。
ダイナミックでインタラクティブなものが欲しいならHorizon worldsに行けばいいんです。
私は、Homeはアバターとパネルに特化して、見栄えの良い静的な世界でありたいと思います。
シーングラフアニメーションを実装したい人がいるんだけど、プログラミング言語がサポートされているHomeで、そんなの無理だよ。
Horizonワールドでやってくれ
できるだけシンプルに、すっきりさせて、影響範囲が重ならないようにしましょう。
余談ですが、Horizon worlds が従来の三角メッシュをサポートすることを発表したのは本当によかったです。
多くの人がHorizon Worldsについてコメントしているように、より高品質な環境を手に入れることができます。
家庭用環境と比べると見劣りするという意見が多いのですが
なぜなら、ホーム環境は未加工のジオメトリにライトアップされたテクスチャが貼られたものだからです。
モデラーによって、このために高度に最適化されたモデリングツールで作られたものであり、Horizonの世界空間とは異なります。
Horizonの世界空間は、ユーザー生成コンテンツや多くの動的能力に対して最適化されています。
つまり、常にトレードオフの関係にあるわけですが、ポリゴンメッシュには明らかに多くのパワーがあります。
ポリゴンメッシュには、明らかに多くのパワーがあり、そのクオリティをさらに高めることができるのです。
ですから、私は、誰もがQuest Proのことを聞きたいと思っているはずです。
私たちにとって、そしてVRの普及にとって最も重要なことは、Quest Proが高価格帯のシステムであるということではありません。
しかし、この製品は、VRのデザイン空間において、多くの新しいスポットを開拓する、非常に優れたエンジニアリングの作品なのです。
XR2 Plusチップセットと呼ばれていますが、基本的にはQuest 2に搭載されているものと同じコアです。
しかし、より多くのメモリにアクセスできるように設計されており、熱放散もはるかに優れています。
そのため、より高いクロックで動作させ、より多くの効果を得ることができます。
何年も前から言っていることですが、理論上の最大クロックに近いところでシステムを動かすことはできません。
放熱は本当に大きな問題で、チップのパッケージングにも細かい配慮が必要です。
つまり、単に大きなヒートシンクを取り付ければいいというものではありません。
チップ全体のパッケージングを変更する必要がある場合もあります。
私たちはクアルコムと密接に協力して、本当に次世代型のXR2チップを開発しています。
私は、クアルコムとのパートナーシップを心から応援しています。
社内には、自社製のチップを作りたいと考えている人がたくさんいます。
そして、ある時点で、Appleは自分たちの運命をコントロールするために、自分たちのチップを内部で作ることを望むようになります。
しかし、今はまだその段階ではなく、それほどうまくいくとは思えません。
クアルコムは、一緒に仕事をする上で素晴らしいパートナーです。
また、VRに特化したいくつかのカスタム機能が搭載される予定なので、将来的に楽しみです。
通常のCPUやGPUの進化だけでなく、多くの人が期待しているようなものもあります。
ただ、非常にハイエンドなチップなので、将来的には安価なVRヘッドセットをターゲットにしたローエンドなものが必要になるかもしれない、という心配はありますね。
Quest Proの設計を初期段階から進めたものの1つに、フォームファクターという概念があります。
社内には、既存のVRヘッドセットがシューボックスのように顔にかかってしまうことが、採用の大きな障壁になっていると考える人が大勢いました。
より小型でコンパクト、かつスタイリッシュにすることが重要であり、パンケーキレンズの普及を後押ししました。
しかし、ファッションや社会的な意味での重要性を語るには、私は不適切な人間です。
バッテリーが大きくなりました。
新機能を一切使わず、Quest 2と同じように使えば、より長持ちするはずです。そして、重要なのは、ヘッドセットの背面に搭載されていることです。
Quest 2では、多くの人が外付けのバッテリーパックを使って重量のバランスをとり、より快適に使っています。
しかし、Quest 2では、文字通り、ヘッドセットの前面からバッテリーを取り外して背面に入れることはできません。
このヘッドセットは、そのような構造になっています。これはおそらく多くの人が思っている以上に重要で、私たちにとって大きな問題です。
ヘッドセットが接続されておらず、アップデートされていないこと、そしてそこから派生するすべてのことが、充電スタンドのおかげで解決しました。
何をすればいいかは一目瞭然です。
充電スタンドに戻せば、いつでも使える状態になります。これはおそらく、Quest 2よりもはるかに優れたユーザー満足度の指標につながるでしょう。
Quest 2は、電源を切ったり、再び差し込んだり、充電して出かけたり、さまざまな可能性を持っています。
ヘッドセット全体は重くなりますが、快適さはベースラインのQuest 2よりはるかに優れており、特にあまり動的でない用途ではそうです。
座って仕事をしたり、映画を見たりする場合、顔に負担をかけずに頭に載せることができるのは、間違いなく良い状況です。
プラグを差し込んだまま1日に何時間も使用している人がいますが、クエスト2よりもはるかに快適だと言っています。
アイレリーフの調整で画面を近づけたり遠ざけたりできますが、Quest 2の耳側のように傾きを調整することができないので、長所と短所があります。
IPDの調整がスムーズなので、Quest 2の3つのノッチ調整のうち、1つに近づけなかった人は、より良い体験ができるのではないでしょうか。
しかし、Quest 2は光学系を採用しているため、より広いアイボックスを持っています。
おそらく、最も重要なのは、ディスプレイがより鮮明になったことです。
クエスト2」の場合、真ん中の20度から30度くらいを真正面から見ると、とてもいい絵になるんです。
目の位置が合っていれば、IPDが正しくても、視力のいい人ならピクセルを見ることができます。
しかし、その範囲から外れると、ただでさえ中心から外れているのに、特にフレネルリングが外れると、視界が大きく損なわれてしまいます。
ですから、先ほどQuest 2は画面の大部分において、ピクセル制限というよりも光学的な制限を受けていると申し上げましたが、Quest Proでは、画面の大部分において光学的な制限がありません。
クエスト・プロでは、小さな文字が密集したウェブページを表示させ、それを視野の大部分に広げると、端までくっきりと表示されるのです。
クエスト2」の場合は、俯瞰して頭を前後に動かす必要がありましたが、「クエストプロ」では、視線を前後に動かすだけで読むことができます。
しかし、この欠点は、「Quest 2」ではエッジがぼやけていたため、アプリからの要求に応じてエッジ周辺のレンダリング品質を下げる「Fixed Foveated Rendering」を行えるようになったことです。
これにより、場合によっては20%のパフォーマンスを得ることができます。
Quest Proでまったく同じことをすると、ピクセルがエッジに向かってより粗く、よりぼやけていくのがはっきりわかります。
というのも、私たちにはこれ以上のGPUパワーはありませんし、GPUピクセルのレンダリングを増やすと、フレームレートの問題が発生する可能性があるからです。
パンケーキレンズには、周辺光量落ちがあり、外周が少し暗くなります。
それを補正することもできますが、その場合、中央部のダイナミックレンジが失われます。何が正しい選択なのか、よくわからないのです。
しかし、多くのパンケーキレンズは、コントラストが高い場合、画像の複数のコピーを見ることができる特徴的なゴーストが発生します。
しかし、このプロダクションレンズでは、まだそのような現象は見られず、とても気になります。
これは本当に素晴らしいことです。
クエスト2では1つのスクリーンでしたが、ここでは2つのバックライトがあり、左のバックライトと右のバックライトを別々に点滅させることができます。
また、1秒間に120フレームというのは、液晶ディスプレイが落ち着くまで少し余裕を持たせるために、少し歪ませています。
Quest Proにはたくさんのバックライトがあり、グリッド状に配置されているので、スキャンしながらローラー列でストロボを発光させ、他の機器にあるようなローリングシャッターを追いかけることができます。
しかし残念ながら、このディスプレイ・アーキテクチャの他の選択によってレイテンシーが犠牲になってしまったので、結局、この選択で勝利を得ることはできませんでした。
画面のある領域が黒一色であることがわかれば、そこのバックライトのビットを文字通りオフにすることができるのです。
そうすると、初期のディスプレイで実現できた、有機ELのような素晴らしい黒に戻ることができるのです。
初期のディスプレイは、多くの人がとても気に入っていますが、その低ビット精度は本当にひどいものでした。
確かに黒は消えていましたが、1や2になると醜い大きな段差ができたり、ミラー補正の問題が発生したりと、純粋な勝利とは言い難いものだったのです。
ですから、このディスプレイでは、素晴らしいピュアブラックを得ることができます。
デフォルトでは有効になっていません。これを行うには、スクリーン上をスキャンする必要があり、時間がかかりますが、ここではあまり時間がありません。
しかし、レイヤーはこの追加のローカルディミングを有効にすることができ、黒い領域がある場合は完全に黒になります。
しかし、それには少しコストがかかります。今のEMIENのような環境では、文字通り完全な黒はありませんが、あそこの表面のほんの少しが完全な黒になっているかもしれません。
ほとんどのシステムで、ほとんどのシーンで、それは実際に利益をもたらすものではありません。
しかし、私たちがまだ持っていないエキサイティングなことは、超ハイダイナミックレンジの能力です。理想的な世界では、スクリーン上のすべてのピクセルを見て、どのような色と強度の範囲にあるのかを確認することができるのです。
理想的な世界では、スクリーン上のすべてのピクセルを見て、その色と強度の範囲を見て、最適なバックライト値を選択し、すべてを0から255の値全体に再スケールすることができるのです。
このようなことを汎用的に行うには、かなりコストがかかります。
事前に計算されたハイダイナミックレンジの環境マップなどを使って、特別なデモを行い、そこから得られるものを探ってみたいですね。
有機ELでは、真っ暗な空の上でダーツのような超高輝度な星空を再現することができます。
ローカルディミングの場合、最小値の黒い空に最大値の星があると、何かを選んでその周りのピクセルを引き伸ばす必要があるため、それができないのです。
しかし、屋内から外を見るような場合、屋内では高品質で比較的暗い色を使い、屋外ではまばゆいばかりの明るい色を使うことができます。
そして、バックライトの明るさを上げて、まばゆいばかりに明るい屋外照明にするのです。
しかし、それは将来のスペックワークです。
今はまだそのようなものはありませんが、レイヤーの最適化のために設定できるフラグが1つあります。
アイトラッキングには、2つの目的があります。
皆さん、フォベーテッドレンダリングというアイデアがお好きですよね。
数年前、Michael Abrashがレイトレース画像のようなものを見せて、すべてのピクセルの99パーセントを除去できることを示しました。
そして、その画像を正しく再構成し、焦点の位置を正確に把握すれば、脳はその違いを見分けることができなくなります。
そして、この窩洞を利用したレンダリングによって、GPUの性能が整数倍になると期待されてきました。
しかし、そううまくはいきません。
この問題は、アイトラッキングと画像生成方法の両方について、アーキテクチャの側面から生じています。
目がどこを見ているかを知るためには、写真を撮って、その画像全体をメインプロセッサーにスキャンしなければなりません。
そして、機械学習モデルを大量に実行し、「これはどこを見ているのか」を特定します。
ヘッドセットの位置や、人の目の見え方、まつ毛の状態など、さまざまな不確定要素があります。
しかし、最終的には、「この点はここを見ている」ということがわかります。
しかし、レンダリングシステムが知る必要があるのは、この画像が実際にスクリーンに表示されるとき、目はどこにあるのか、ということです。
これが、レンダリングパイプラインのレイテンシーです。
現在、ほとんどのシステムで、これは50ミリ秒程度です。
50ミリ秒の間に、目はかなり長い距離を移動することができます。
比較的スムーズに動いていても、私たちが使っているコントローラーと違って、加速度計がありません。
眼球に加速度計があるわけではありませんし、画像だけで推定するのは難しいです。
正確に行うのは難しいのです。
もし正確に行わず、間違った場所を予測してしまったら、結局はぼやけたピクセルの集合を見ていることになります。
そこで、この問題を解決するために、私たちができることがあります。
たとえば、今は事前に焦点のある領域を指定する必要があります。
しかしGPUは、画面を横切るレンダリングの際に、すべてを小さなブロックに分割してしまいます。
そこで私たちが理想とするのは、GPUがブロックのレンダリングを開始する直前に、このブロックがレンダリングされるかどうかをチェックすることです。
このブロックは、この画像が実際に表示されたときに、目の焦点の下に来るかどうかをチェックするのです。
もしそうなら、フル画質でレンダリングします。
そうでなければ、画質を落としてレンダリングします。
今はまだそのようなことはできませんが、システムにはそれが可能です。
クアルコムと協力して、いずれはそのような機能を搭載できるはずです。
しかし、すべてが終わったとしても、おそらく本当に大きなスピードアップにはならないでしょう。
理論的には、固定額縁レンダリングの場合よりも、多少は大きくなるはずです。
しかし、これは、ピクセルから多くのものを節約できる、非常にシェーダーの重いシステムの場合にのみ、大きな勝利となるでしょう。
ですから、あまり興奮しないでください。
社会的な観点からのアイトラッキングについては、多くの人が、アイトラッキングを行うことで、より多くの人が、より多くのことを学ぶことができると考えています。
多くの人が、アイトラッキングとフェイストラッキングを組み合わせることで、より高度な社会的相互作用が可能になります。
微妙な手がかりを得ることができます。
繰り返しますが、私は社会的な交流のために何かを判断する適切な人間ではありません。
しかし、多くのエンジニアがゼロ日目のパッチで、これを可能な限り良くしようと懸命に働いています。
でも、私は今、これを使っていません。
Quest Proのヘッドセットに入っていますが、そこの特別な機能は何も有効にしていません。
今は、少なくとも、とても恥ずかしい格好をしてしまう可能性があります。
カメラで撮られ、指摘される可能性があります。
でも、手と同じように、Questもハンドトラッキングを一切しない状態で出荷しました。
しかし、同じ生データを何世代にもわたって改良してきた結果、モデルはどんどん良くなっています。
そして、ユーザーとのインタラクションもどんどん良くなっています。
ですから、ソーシャル・システムは、本当に良いものになるまで改善されると期待しています。
新しいチップの大きな進歩のひとつは、メモリがたくさん搭載されたことです。
これにより、主にマルチタスクが可能になり、アプリケーションの開発が容易になりました。
コンソールの開発者の多くは、より多くのメモリを搭載したシステムで開発を始めると、最終的には、そのメモリに磨きをかけることになります。
そして最終的には、コンシューマ・スペースに収まるように、それを縮小していくわけです。
ですから、大衆向けの「クエスト2」をターゲットにしている人たちにとって、「クエストプロ」を使うことは、初期のアイデアを得るという意味で、かなり有益なことだと思います。
そうすることで、初期のアイデアを形にすることができ、その後に、より高度な処理を行うことができます。
その作業を省くためです。
しかし、このようなケースと同様に、悪い方向に向かう可能性もあります。
ターゲットでないシステムで開発する場合、悲劇的なほど間違った決定を下すことがあります。
ローエンドシステムでどうなるかを常に意識しておかないと
ローエンドシステムは、あなたの本当の顧客がいる場所です。
ですから、この機能、例えばメモリを追加した場合、Quest 2では有効ではありません。
Quest Proでは、他のどのような環境でもブラウザを起動することができます。
どんなゲームでも、バイオハザードのようなヘビー級のゲームでも、ブラウザを起動することができます。
でも、当社のシステムUXを立ち上げて、ブラウザを立ち上げることができます。
チートやチュートリアルを検索して
そして、メインエクスペリエンスにすばやく戻ることができるのです。
Quest 2でも、このようなことが可能になると思います。
多くのアプリは、メモリを最大にしません。
バイオハザード』ではできないかもしれませんが、『ビートセイバー』ではできます。
私は、システムレベルで、リソースを十分に仮想化する必要があると考え、この考えを推し進め続けています。
システムレベルでリソースを十分に仮想化し、人々が望むあらゆることを実現する必要があるという考えを、私は今も訴え続けています。
カラーとハイレゾのパススルーは、おそらく、私はMRの大きな支持者ではありませんが、そのようなものです。
私はMRの大ファンというわけではありませんが、これらのアプリケーションで本当に大きな成果が得られるとは思っていません。
しかし、Quest Proを装着したとき、本当に自然な感じがしました。
クエスト・プロを装着して、それを通して見ると、本当に自然な感じがします。
Quest 2やQuest 3で見られるような超粗い低解像度の白黒画像ではなく、高解像度のカラー画像を見ているような感じです。
クエスト2』やプレゼンテーションでは、まだまばらな再現ですが。
だから、平らな面はとてもきれいに見えるんです。
しかし、その前で指をくねくねさせたり、エッジをたくさんつけたりすると、その周りにアーチファクトが発生します。
しかし、多くの場合、とても自然に感じられます。
クエストは、サイドの周辺部や底面が開いていることも、その理由のひとつです。
これは、本当に、本当に嫌だと思いました。
私は、こういう体験は没入感があっていいと思うんです。
何年も前から、ヘッドセットのノーズライトの漏れについて文句を言ってきたんです。
ゲームのために全てを開放するような考え方に不満を持っていました。
他の使用例については理解できますが、これは本当にひどいことだと思いました。
でも、思ったより気にならないことにちょっと驚きました。
マグネット式のクリップインブロッカーで横を塞いでも
でも、その下の部分はすべて見えるんです。
生産性を高めるためには、とても理にかなっていると思います。
数年前、Oculus Goを使って、底面の大きな塊をジグソーパズルで切り取って、下を見ることができるようにしたことがあります。
そうすれば、リモートデスクトップで作業するときに、下を向いてキーボードを見ることができるんです。
今、私はQuest Proの中で下を向いています。
これから話すことのために書いたメモを見下ろすことができます。
そして、これは概してうまく機能しています。
これは、追従型キーボードのような多くのものを補完するものです。
このトラッキングされたバージョンをVRに取り込むことができます。
しかし、実際に現実の世界に関心があるときには、自由な視野を得ることができます。
これは、非常にうまくいっています。
そして、パススルーを通して見るとき、このような感じです。
投影と再構築の品質について、とてもいい気分になります。
また、コントローラーをスライドさせて、現実世界とパススルーの間で
また、コントローラーをスライドさせて、下の現実世界と上の仮想世界の間を行き来することもできます。
そして、それらが実にうまく並んでいるのです。
また、パススルーを使っているときは、エッジを見たり、動き回ったりすることができます。
まるで、メガネをかけてぼやけたフィルターをかけているような感覚です。
そのために、細かい作業が必要なのです。
そのため、何年もの間、この機能には後退がありました。
でも、チームは本当によくやってくれています。
より柔軟なコントローラー・トラッキング。
各コントローラーは本格的なコンピューターシステムです。
複数のカメラが搭載されています。
それ自体がトラッキングを行います。
これだけのことができるのは、ちょっと驚きです。
その価値があるかどうかは分かりませんが、両手を後ろに回すことができます。
通常の「Quest」トラッキングでは、腕が疲れてしまうのですが、「Quest」トラッキングでは、長い時間、ここに置いておくことができます。
私の腕は、LEDが見えないので、数秒後にパニックになります。
でも今は、両手を机の下に置いて、背中の後ろに回すことができます。
でも今は、両手を机の下に入れて背中に回せば、ちゃんと動いてくれるんです。
つまり、概して素晴らしいことなのです。
デメリットもありますよ。
ビートセイバーでクローグリップを使うことができない。
というのも、実際にコントローラーの上でブロックしてしまうからです。でも、いい感じです。
今、よくできたゲームの多くは、うまく機能しないことをたくさん要求してきません。
ですから、必ずしも多くの機能を改善するわけではありません。
Quest Proにこのコントローラがあるからといって、賢明な開発者がそれをやり始めることはないでしょう。
なぜなら、Quest 2はまだそうなっていないからです。
しかし、もうひとつ私が期待しているのは、あなたがすでに持っている事実です。
私たちは基本的に、コントローラーとヘッドセットを使って、3人用の共有スペースを作っています。
ですから、何年か前に行った、複数のヘッドセットを同居させるというデモの作業を、このことが後押ししてくれればと思います。
複数のヘッドセットをまったく同じ空間に同居させるというものです。
このデモは誰もが素晴らしいと思いましたが、どのように製品化するか、また、近い将来のユーザーのニーズを把握するのは困難でした。
しかし、それをどのように製品化し、近い将来どのようなユーザー価値をもたらすかを理解するのは困難でした。
さて、このQuest Proのデザインスペースとは対極にあるものです。
私は個人的に、超安価で超軽量のヘッドセットというビジョンに、社内で関心を集めようとしています。
超軽量なヘッドセットです。
250ドル、250グラムを目標に掲げています。
でも、今日そのようなヘッドセットを作っているわけではありませんが、努力は続けています。
いろいろなものを削ぎ落とすと、その分、快適さが増すと思うんです。
超軽量であることの快適さを提供することになると思うんです。
ローエンドの価格帯の人たちにも、より多くの可能性があります。
もちろん、この価格帯は、Quest 2の値上げの話につながります。
これは明らかに不評で、ヘッドセットや消費者向け機器が値上げされるのは奇妙なことであることは間違いありません。
消費者向けデバイスが後から値上げされるのは奇妙なことです。
しかし、実際には、ハードウェアに補助金を出すという力学が働いているのです。
これはすべてのゲーム機で超一般的なことです。
このような閉じたエコシステムの多くは、そのような仕組みになっています。
私は、このモデルは、デバイスを赤字で販売し
その分、ソフトで補うというモデルです。
しかし、このモデルは、一般的なユーザーの価値に対して、多くの逆インセンティブを与えることになります。
クエスト』で最も人気のあるアプリのいくつかが無料アプリだとします。
VRChatやRec Roomなど、私たちがまったく収益を得られない無料アプリがあります。
そして、これらのアプリはQuestの最上位に位置しています。
多くの場合、私たちのランキングの上位に位置しています。
というのも、「収益が上がらないから」という理由で、社内ではあまり推進されていないからです。
というのも、ヘッドセットから何も得られず、すべてのヘッドセットで損失を出しているのであれば、少なくともこのようなインセンティブがあるからです。
少なくとも、無料のアプリはエコシステムにとって良いものだというインセンティブはあります。
ですから、ヘッドセットを販売するたびに苦にならない程度に価格を上げれば、本当にプラスになります。
そうすれば、本当にポジティブなプラス面があり、人々はそこに集中することを選択できます。
ヘッドセットから良い価値を得ているのであれば、ヘッドセットをどのように使ってもかまいません。
これは、私たちにとって本当に重要なことだと思います。
私が無料のApp Labや無料のウェブ・アプリを提供しているという考え方は、私たちにとって本当に重要なことです。
サイドロードするのは良いことです。
このヘッドセットから良い価値を得ているのであれば、それでいいのです。
一部の人は、このヘッドセットを使うでしょう。
Quest Storeで販売されている最高級のハイエンド・アプリケーションを使用する人もいます。
それは素晴らしいことで、私たちはそこからお金を得ることができます。
しかし、それ以外のものは、存在しているだけで幸せです。
ない方が嬉しい。
ただ、心の奥底で微妙に、無意識にバイアスがかかっているだけなんです。
私は、可能な限り無料のアプリケーションを祝って欲しいと思っています。
そこで、より広範なVRエコシステムで得た勝利のいくつかに目を通し
そして、昨年お話したことのいくつかを確認します。
メタアカウントはFacebookから切り離されました。
これは一種の大仕事で、社内でどれだけの作業が行われたのか、信じられないほどです。
つまり、すべてのアカウントを分離するために費やされた労力と計画作業は、本当に衝撃的な量だったのです。
というのも、これらすべてを切り離すために、驚くほどの労力と計画が必要だったからです。
今では、VRだけでなく、家族全員に影響を与えています。
アプリの全ファミリーにまたがっています。
これは、本当に、本当に大きな問題でした。
そして、ネット上で騒がれていた反対意見の1つが解消されました。
Facebookのアカウントは取らない、Quest 2も取らない、というFacebook未経験者が大勢いましたから。
Quest 2を買う気がしない」と。
Quest 2は、VRヘッドセットとその他のヘッドセットを合わせた販売数を上回りました。
明らかに、製品にそれほど悪影響を及ぼしていません。
また、現在、Facebookアカウントを持たない人々が新たに大量に流入しているわけではありません。
Facebookのアカウントを持っていない人が、大量に流入しているわけではありません。
しかし、このような異なる世界を結びつけることが良いことではないのは事実です。
Facebookのアカウントに問題があったとしても、VRのアカウントには影響しないはずです。
VRのアカウントに影響を及ぼすべきではない。
それと、個人的にもう少し味わい深いものがあるんです。
先月、私は一時的にTwitterを停止されました。
パニック・アット・ディスコでビートセイバーをプレイするVRキャプチャー（複合現実感キャプチャー）を投稿したため、一時的にTwitterを停止されました。
を演奏するVRキャプチャーを投稿したら、新しいコンテンツ荒らしに遭って、一時的にTwitterを停止させられました。
著作権侵害だ、お前にはそんな権利ないだろって。
もしこれが私のVRアカウントで、VRに入れなかったら、本当に最悪でした。
復帰は簡単でしたよ。
大丈夫だったんですが、なるほど。
この問題は、私たちが認識しなければならない現実的な問題です。
そして残念なことに、Facebookとの連携で期待される効果も、私たちにはありませんでした。
それを実現できていません。
フレンドグラフを統合したのはいいことです。
でも、ちょっとだけ、以前の会場の様子を思い出すと、もっと深くFacebookと連携していたような気がします。
では、Facebookとのインタラクションをより深く統合していました。
あなたがどんな投稿をしたか、どんなものに「いいね！」を押したかを見て、隣の席の人がその投稿に「いいね！」を押したかどうかを知ることができます。
隣に座っている人が、同じようなものに「いいね！」を押していたら、それを教えてくれるんです。
これはアイスブレーキングのようなもので、とてもクールだと思いました。
でも、結局、私たちの個人情報保護に関する審査には通らなかったし、みんなそれを信じませんでした。
でも、実際には膨大な量の監視と作業と審査があるんです。
膨大な量の監視と作業、そして審査があります。
メタが持っているこの全てのデータを使って、実際に良いことをしようとするために、膨大な量の監督と仕事と審査があります。
そして、そのことが、人々が「これはいい！」と感じるような機能を作る妨げになっていると、私はよく思うのです。
しかし、この会社にとって重要なことです。
でも、この会社にとって重要なのは、ユーザーのデータを非常に慎重に扱うという、本当の意味での教義です。
ユーザーデータの扱いには細心の注意が必要です。
そのため、ヘッドセットのトラッキングの堅牢性、つまり、動き回るときの堅牢性は、かなり改善されました。
社内では、2つの全く異なるトラッキングのトラックを持っていました。
生産用のトラッキングと、研究用のトラッキングです。
両者の長所を生かして統合するための大規模な取り組みが行われました。
そして、ガーディアン未発見やトラッキングロスの状況など、多くのことを実際に遠隔測定しているのです。
やトラッキングロスの状況は、この1年で明らかに半減しています。
とはいえ、個人にはまだ問題があります。
ある部屋のあるヘッドセットで、毎回ガーディアンを見失っているような人がいます。
イライラさせられますが、全体としては大きな前進を遂げつつあります。
さて、一つ注意しなければならないのは、「クエスト」の操作に必要な光について、私たちの当初の仕様では
クエスト・トラッキングの動作に必要な光量について
クエストを使用している人の30%は、私たちが設定した明るさ以下の場所で使用しているという恐ろしい統計があります。
使っているという恐ろしい統計があります。
現在でも、もっと悪い条件下で作業をしていますが、それはすべてが最適化されたものではありません。
ですから、私たちが行っていることを再調整しなければならない理由があるのですが、そうですね。
もし機会があれば、VRをするときにもっと照明を点けてみてください。
トラッキングの向上が期待できます。
コントローラの外挿も改善されました。これは、「イレブン卓球」の開発者が言っていたことです。
卓球ゲーム「Eleven Table Tennis」の開発者が、数年前にこの件で私を強く推してきたことです。
Viveの外挿のようなもので、Viveでプレイしていた人たちは、非常に高いレートでピンポンをプレイしていました。
卓球を非常に高いレベルでプレイしていた人たちは、この数十ミリ秒の誤差の違いを見分けることができたのです。
数十ミリ秒の外挿が行われていることで、私たちのアルゴリズムはViveで行われているものほど優れていないことがわかりました。
Viveで行われているものよりも優れていることが分かりました。
そこで、優秀な人材を投入し、膨大なデータを注ぎ込んで、ビッグデータ分析を行いました。
そして、今では、かなり良い外挿ができるようになりました。
もうひとつ興味深いのは、特に新しいコントローラを使用した場合です。
特に新しいコントローラの場合、その多くはヘッドセット内のIMUを読み取ることから生まれます。
を読み取ることから始まります。
そして、コントローラーで鳴る触覚と、ヘッドセットで鳴る非常に大きな音のオーディオが、結果的に
ヘッドセットで鳴る触覚や非常に大きな音は、IMUのいくつかにとって非常に邪魔なものであることがわかりました。
そのため、フィルタリングしたり、別のコンポーネントを使用したりして、特別な手段を講じる必要がありました。
そのため、フィルターをかけたり、別の部品を使ったりと、特別な対策をとっています。
Air Linkも改良が続けられ、多くの改善が行われています。
専用のドングルを差し込めば、Air Linkに最適化されるアクセサリーを発表しました。
Air Linkの動作を最適化するための専用アクセサリーも発表しました。
ただし、完璧なセットアップの場合、このアクセサリーはあまり役に立ちません。
Air Link を使うなら、PC を有線にするのが一番です。
ルーターに接続する必要があります。
それがない場合、Air Linkを使うと、パケットはヘッドセットからルーターへ、ルーターからPCへ、PCからルーターへと流れます。
PCからルーターへ、PCからヘッドセットへと、パケットが半分になるわけです。
そのため、パケットが半分になり、その分ダメージも大きくなります。
それでも多くの人が楽しんでいますが、もしあなたが品質について疑問をお持ちなら
直接接続することで、品質が向上します。
この専用ドングルには、他のいくつかの優れた点があります。
この専用ドングルには、市販のルーターよりも優れた点がいくつかあります。
が、市販の最高級ルーターはこれにかなり近いものがあります。
ハイエンドのゲーミングルーターをお持ちの方なら、おそらく同じようなものでしょう。
でも、これを使って接続すれば、多くの悪い問題を解決することができます。
アプリラボは絶好調です。
私は、最終手段のカスタマーサポートという立場です。
クレームを受けることもある。
5週間も審査が続いたとか、そんな感じです。
App Labのレビューを管理しているコンテンツチームと連絡を取り合い、ダッシュボードを確認します。
ダッシュボードを見ると、かなり進歩したことがわかります。
今では、かなり速くなりました。
また、App Labにアプリ内課金を追加しました。
これは、なぜ最初からなかったのか分かりませんが、今では同等の機能を備えています。
App Labのアプリ内課金も追加され、なぜか当初はなかったのですが、今では同等になりました。
120フレーム/秒のサポートは、よく浸透しています。
公式の非実験用機能として作られました。
最近、社内でデモを行ったのですが、そのデモを一般に公開できるようにしたいと思っています。
公開したいと思っています。
しかし、120フレーム/秒というのは、動画再生にも非常に適していることがわかりました。
3Dの世界をレンダリングするには、比較的単純なことでも超最適化しないと難しいんです。
しかし、動画を再生する場合、以前は60Hzの動画が難しかったのですが、今では見事に再生できます。
以前は60フレーム/秒のディスプレイが必要でした。
は、通常、ほとんどの人にとってちらつきが大きすぎるのです。
しかし、60Hzのビデオを72Hzや90Hzで再生すると、ジャダーが発生します。
しかし、60Hzの映像を72や90で再生すると、ジャダーが発生してあまり意味がないのですが、120なら最高です。
120フレーム/秒のビデオを120フレーム/秒で再生すると、どんなビデオよりも滑らかです。
今まで見たどんなビデオコンテンツよりもスムーズで、とてもいい感じです。
そして、とてもいい感じです。
ただ、コーデックには少し問題があります。
Quest 2は4Kを120フレーム/秒でデコードすることができます。
これは、スポーツのような多くのものにとって、本当に良いモノラル映像です。
これは、スポーツのような多くのものにとって本当に良いモノラルビューです。
しかし、残念ながらQuest Proでは120フレームを実現することができません。
90秒に制限されています。
Quest 2で120フレーム/秒を実現したとき、多くの内輪もめが発生したのは、そのせいでしょう。
しかし、私たちはこの問題を解決しました。
120フレームは、Quest 2と今後のヘッドセットだけです。
120フレームは「Quest 2」と今後のヘッドセットだけのものです。
とは、誰も言い出せないほど良いものです。
ハンドトラッキングはどんどん進化しています。
タッチスクリーンのような直感的な操作にはまだほど遠く、誰もが経験する問題です。
という問題があります。
メタバースにはタブレットがあればいい。
タブレットを目の前に置いて、それをつつくだけでいいのです。
この場合の問題の1つは、何かが近くにあればあるほど、遅延の影響を受けやすくなることです。
わずかな動きで遅延が発生します。
頭を左右に動かすと、はるか遠くにあるものが見えます。
1ピクセルや2ピクセルのわずかな動きです。
でも、目の前にタブレットがあって、ちょっと頭を動かすだけで、何十ピクセルも動きます。
何十ピクセルも動いているわけで、それを見誤ると
それを見誤ると、思い通りのポジションにならない。
それが、快適性の問題につながっていくのです。
集中しようとすると、ジャダーが出ます。
これは大変なことです。
そこで、この問題を解決するための方法をご紹介します。
コンポジターのTimeWarpで直接パネルを移動させることができます。
そうすれば、50ミリ秒のレイテンシーの代わりに、すべてを通過させることができます。
そうすれば、レイテンシーを10ミリ秒に抑えることができ、これは本当に素晴らしいことです。
しかし、その場合、コントローラーや手のレンダリング、その前にあるものはすべて、さらに別の場所でレンダリングする必要があります。
は、さらに別のレイヤーでレンダリングする必要があり、その上に合成されます。
そのため、トレードオフの関係にあります。
おそらく、そうしなければならないでしょう。
もし、すべてにフィードバックが欲しいのであれば。
ただ漠然と宙を突くのではなく、すべてに対してフィードバックをしたいのであれば、常に問題があります。
反応する3Dボタンを作るには、多くの作業が必要です。
しかし、私たちのサーフェスのほとんどは、ウェブページやAndroidアプリのようなものです。
のようなもので、カスタムボタンがあるわけではありません。
ですから、私は表面処理を施すことを主張し続けています。
タッチ可能なレイヤーにフラグを立てるのです。
そうすれば、その下に影ができるようなこともできます。
十字線が下降し、タップすると音声で合図が送られる。
手をレンダリングして、その場で手を止めることもできます。
私たちのためにこの技術に取り組んでいる研究室があります。
手のインタラクションを、今よりもずっとよくすることができます。
しかし、まだやるべきことはたくさんあります。
ハンドAPIもありますしね。
Mystのようないくつかのアプリが使い始めています。
実際のゲームや、専用の手のおもちゃのようなものにも登場しています。
フィットネス・アプリでどのように機能するのか、興味があります。
フィットネス・アプリでどうなるのか気になります。
指を気にしないような場合に最適化する必要があるのかどうか。
指はどうでもよくて、手を高速で動かしているような場合に、何か最適化する必要があるのでしょうか。
おそらく、よりうまく機能させるために、いくつかの工夫ができるはずです。
いずれは、ヘッドセットの主要な入力方式として、この方式を採用したいと思うでしょう。
しかし、今はまだそこまでには至っていません。
一般的なことを行うのは簡単ではありません。
一般的なことをするのは簡単ではありませんし、それでやりたいと思うようなことも十分にはありません。
でも、少なくともヘッドセットを使っている人に
ヘッドセットを主にソーシャルワークやソーシャルインタラクションのために使っている人が
コントローラーを使わずに
ヘッドセットを頭からかぶって、手を使うことができるようになります。
そうすれば、ユーザビリティが向上します。
特に、一般的なユーザーではない人々にとっては。
特に、一般的なユーザーではない人たちにとっては、使い勝手がよくなるはずです。
VRでのコントローラーの使い方について、教育するのです。
それは常に、ちょっとしたことなのです。
と、本当に手で物をたたくだけであれば
ということになりそうです。
生産性は徐々に上がってきています。
Bluetoothキーボードとマウスのサポートも、実はかなり良くなってきています。
毎年行っているようなものですが、研究作業をするようにしています。
毎年行っているのですが、完全にVRの中で、すべてのウェブページを持ち出して
ワークステーションでやっているような使い方をしようとしたんです。
まだそこまでいっていませんが、かなり近づいています。
前回、Bluetoothキーボードとマウスのサポートを確認したところ、ちょうど動作していました。
マウスホイールのスクロールがちょっと変なのを除けば、すべて完璧だった。
前回のリリースでもパッチが当たったように、ちょうどいいらしいので
今は直っているかもしれません。マルチウインドウのサポートは良くなっています。
今日はほとんどブラウザの話。
でも、Androidアプリやリモートデスクトップなど、約束された世界があるんです。
といったものが共存し、それらを拡張して、さまざまなことができるようになる。
いろいろなことができるようになります。
モニター交換は、現在まだ行っていません。
しかし、Immersedアプリで面白い体験をしました。
私の携帯電話は巨大なものです。
しかし、携帯電話では細部が見えないことに気がつきました。
他の事例でも、このようなことがありました。
仮想空間の中で8フィート幅のスクリーンを見ることになるのです。
私は視力があまりよくありません。
本当に視力が良い人はそうではないかもしれません。
でも、「ああ、現実よりもいろいろなものが見えているんだな」と感じました。
このような大きなセットアップができるのは、実はとてもいいことなのです。
ですから、ゆくゆくは、このような大きな装置を使って
ノートパソコンの代わりに、ヘッドセットを持って旅行するようにしたいですね。
しばらくは超辛そうですが。
しかし、ヘッドセットが他のデバイスを駆逐できるようになるには、そのような取り組みが必要なのです。
他のデバイスを置き換えることが、私の勝利条件です。
みんなが持っているすべてのデバイスの上に、新しいデバイスを1つだけ買うようにすることはできません。
新しいデバイスを1つだけ買ってもらうことはできません。
私たちは、このような素晴らしい新機能を備えた製品でなければならないのです。
しかし、同時に、他のデバイスを置き換えるものでなければなりません。
VRカメラも進化しました。
VRカメラも改良され、ついに高度なカメラ設定ダイアログができました。
コンソールコマンドやSideQuest、デベロッパーハブのように。
16×9の記録ビットレートのオプション、モーションスタビライゼーションも素晴らしいです。
少し前に追加したステレオ3Dキャプチャーのサポートを切り替えるオプションがまだ必要です。
そして、フレームレートのコントロールも推し進めたいと思います。
実際のゲーム映像を見ると、ちょっとひるんでしまいます。
というのも、ディスプレイ・レートの何分の一かのレートでキャプチャされているからです。
これは、ディスプレイレートの何分の一かで撮影されているためで、ビデオで再生されているものとは異なります。
他の用途で高画質な映像を作る人に必要なのは
60フレーム/秒でキャプチャして、アプリケーションも60フレーム/秒で実行するように強制する必要があります。
60だとちょっとチカチカしますからね。
しかし、最高品質のプロモーション映像には、これが最適なのです。
携帯電話へのキャストも改善されましたね。
やはり、ゼロステップのパスが欲しいですね。
ヘッドセットがあれば、それを使うべきだと思います。
アカウントにペアリングされたヘッドセットのいずれかが使用中であれば、電話を開くと、そのヘッドセットの内容が表示されます。
キャストにアクセスしたり、デバイスを起動したりすることなく、そこで起きていることを表示するだけでよいのです。
ミックスド・リアリティ・キャプチャは、現在、私たちのために存在していますが、もっともっと良くなる必要があります。
実はMetaの社内イベントで「Beat Saber」のトーナメントを開催したのですが、特別なフィナーレのようなものがありました。
特別なフィナーレとして、私対マーク・ザッカーバーグを予定していました。
私たちは、すべてを統合する前に、私たちひとりひとりをミックスド・リアリティ・キャプチャする予定でした。
でも、うまくいきませんでした。
二人ともすごくイライラしました。
で、結局、外部からの映像で、下手なビデオ制作チームが、僕らを丁寧につなぎ合わせて
私たちのイベントのために、私たち全員を丁寧に縫い合わせる必要があったんです。
ところで、マークは実に優秀だ。
僕はビートセイバーにもっと時間をかけていると思うんだけど、彼はとても負けず嫌いで、それを一生懸命に演じていたよ。
私たちは、もっとクールな家の改良をしました。
みんなに公開するとなると、それほど多くはないのですが、環境は超高品質です。
このデバイスにセットしたロード・オブ・ザ・リングの環境を見ていたんですが、こういうのを見ると嬉しくなりますね。
このデバイスに設定した『ロード・オブ・ザ・リング』の環境を見ていたんですが、こういうのを見ると、いつも嬉しくなりますね。
このことは、GLIについて語られている標準規格の話をもたらします。
私たちはGLTFのサポートに多くの時間を費やしました。
というのも、私たちは今のところ、それを使って何かを作るために誰かに公開しているわけではありませんから。
GLTFは社内のツールチェーンの一部であり、使わないこともあります。
わざわざこのようなものを使うのであれば、誰でも使えるようにしなければなりません。
みんなにモノを引き込ませる。
たとえたくさんの人がたくさんのひどいものを作ったとしても。
ユーザー生成コンテンツには一般的なルールがあり、その多くはひどいものになるでしょう。
でも、気にしないでください。
あなたのプラットフォームに存在することを本当に嬉しく思うような、驚くべき驚くべきことが起こるはずです。
まだまだたくさんあるので、また時間が足りなくなりそうです。
せめてマイナス面だけでもと思い、少しばかり不機嫌な時間を過ごさせてください。
Questの基本的な使い勝手は、もっと良くなる必要があります。
電源を入れっぱなしにするとバッテリーの消耗が激しくなり、電源を切るとアップデート地獄になる。
潜在的なVRセッションの多くが、フラストレーションのために中断されることになります。
つい数時間前、20分もかかって何度も起動したことを嘆く社内投稿がありました。
と嘆く社内投稿がありました。
また、「会社に自慢するためにヘッドセットを出すことさえしない」という人の話を聞くと、胸が痛みます。
というのも、クールな機能を実現する前に、充電やアップデートに手間取ることが分かっているからです。
つまり、VRは友達のためにデモをするのが楽しいはずなんです。
現在、メタ・ストアでデモを行っています。
そして私は、メインラインのコードに変更を加えることで、デモのための生活の質を高めることを推し進めました。
しかし、カスタムランチャーを使用しています。
しかし、私の考えは、もしメインラインのコードでキラーデモを行うのがあまりに厄介なら、メインラインのコードを変更すべきだということです。
メインラインコードを変更すべきです。
ユーザビリティの問題の多くは、千差万別で戦うのが難しいものです。
しかし、社内でこの問題にうんざりしている人が、かなり増えてきているように感じます。
私は毎週、もっとよくなるはずだと思うあらゆることを嘆く記事を社内で書いています。
そして、最近、私は、もう少し牽引力があるように感じています。
私の意見に共感してくれる人が増えてきました。
このことが、このようなことにもっと焦点を当てるきっかけになればと願っています。
すでに進行中の機能のひとつで、とても価値のあるものになると思うのですが......。
ヘッドセットの電源を切る代わりに、アップデートして電源を切るというアイデアです。
電源は切りますが、その前にすべてをアップデートします」と表示されます。
ですから、ヘッドセットの電源サイクルが1種類以上、最新のものから遠ざかることはありません。
そして実際、バックグラウンド処理のほとんどすべてをプッシュしたいのです。
テレメトリーやサーバーとのチェックなど、そこで起こるすべてのことをプッシュしたいのです。
今はプレイセッション中、不定期に起こっていることが、このタイミングで起こるようにしたい。
で、電源を切るときや、頭から外してスリープ状態になったときに、起こるようにしたいんです。
しかし、多くのチームが無作為にサーバーを構築しているため
タイムスライスを取得した時点で起動するようにする必要があります。
私たちはもっとシステムレベルでこれを制御し、すべてを把握する必要があります。
Questはかなりオープンなシステムなので、私の苦悩を一緒に見守ってくれるでしょう。
Questはかなりオープンなシステムだからです。
誰でも Perfetto のトレースを取得し、ADB Logcat を開くことができます。
を開いて、ここを通って流れてくるものを全部見ることができます。
これはホラーショーで、何百ものものがあります。
エラーとしてリストアップされるようなものが、何百も何千もあるのです。
システムを起動している間だけで、何百ものことがエラーとしてリストアップされるのです。
昔は、ADB Logcatを起動しておけば、1回に1つのレポートを得ることができました。
VR APIフレームレート関連のレポートを1秒に1つ受け取れるだけでした。
今は、何百ものレポートがスクリーンから吐き出されることもある。
フィルターやgrepで切り取らないと。
探しているものを見ることさえできないでしょう。
つまり、これは現実的な問題なのです。
初期のヘッドセットでは、Samsungの携帯電話で作業していたときに、このバックグラウンド・プロセスについてよく不満を漏らしました。
Oculus Go が登場したとき、私はこのようなバックグラウンドの処理について文句を言ったものです。
Oculus Goは、美しくクリーンでシンプルでした。
進行中のすべてのプロセスに名前を付けることができるようなものです。
トレースを見れば、すべてが理解できるのです。
何をやっているのか、何のためにあるのか。
しかし、今は巨大です。
多くのものが、やってはいけないことをやっている。
あるいは頼んでもいないことをやっている。
その多くは整理することができます。
でも、テーブルをひっくり返して全部燃やしてしまいたい衝動に駆られることもあります。
最近、ある人に聞かれました。
最近、ある人に聞かれたんです。
という質問を受けました。
それについて、私は今、コメントすることができます。
と聞かれました。
しかし、私はそれを支持しませんでした。
実際、私の社内への投稿のひとつが、「敏感さが足りない」という理由で報告され、削除されました。
という報告を受け、削除されました。
そのようなことをしたい気持ちはよくわかります。
つまり、私は、無駄なこと、良くない使い方をすることを痛感しているのです。
無駄なこと、資源をうまく利用できないことを痛感しています。
私たちができることはたくさんあります。
一枚の紙から想像してみてください。
このようなことをすべてうまくこなすシステムを作るにはどうしたらいいか。
このようなことをすべてうまくやるには、どのようなシステムを書けばよいのでしょうか。
そうすれば、自分が何をしたいのかがわかります。
そして、それは素晴らしいことです。
でも、それを他のチーム、特にサードパーティに開放してしまうと、途端にそうなってしまう。
他の開発者、特にサードパーティの開発者に開放したとたん
超高速で最適化された作業を行うという、ある種の利点をすべて放棄することになるんです。
超高速で最適化された作業で
シンプルなアプリケーションを作れば
プログレッシブWebアプリなどとして実装するよりも10倍も効率的な、シンプルなアプリケーションを作ることができます。
として実装するよりも10倍も効率的な簡単なアプリケーションを作ることができます。
でも、私たちのアプリのほとんどは、次のようなことを行っています。
Unityで世界を動かしていたり
あるいはChromeでウェブページを実行するようなものです。
これらは実作業を行っています。
そして、私たちが基本的に持っているシステムは
オペレーティング・システム・レベルのようなものです。
OSレベルでは、それほど重要ではありません。
Chromeのコード行数は3,500万行と言われています。
マイクロカーネルの最適化なんて、笑われますよ。
マイクロカーネルを最適化しても、それほど大きな違いは生まれないのです。
だから、戦略的な理由から、独自のOSを持ちたいと思うかもしれません。
戦略的な理由から、独自のオペレーティングシステムを持ちたいと思うかもしれません。
私たちのような巨大なハイテク・タイタン・カンパニーの場合、戦略的な理由から、独自のOSを持ちたいと思うことがあります。
巨大なハイテク・タイタン企業には
このとき、誰が誰と同盟を結んでいるのか。
この時、彼らはあなたに腹を立て、あなたに対して裏工作をするでしょうか。
とか、何か裏工作をしないかとか
という懸念があります。
全部自分で書けば、完全にコントロールできるのでは？
しかし、それは賢明な方法ではありません。
サードパーティの開発者のことを考えるなら、それは賢明な方法ではありません。
たとえ、あなたがよりよいものを作ったとしてもです。
Stack Overflowの存在意義は大きいですから。
があることに大きな価値があります。
を持つことに大きな価値があります。
Androidのビルド環境は
ネイティブ・コードのビルド環境は、ひどいものです。
作業していると、怒りがこみ上げてきて、物を投げつけたくなります。
という感じです。
でも、Stack OverflowやGoogle Docsで答えを見つけることができる。
で答えを見つけることができるし、他の人が僕より先にやっていることだってある。
というようなことを書きたいんです。
すごくきれいで簡単で
必要ないものは何もない。
でも、それは本当に正しいことではないんです。
でも今は、筋金入りのOS開発者がAndroidシステムの開発に取り組んでいます。
Androidシステムに取り組んでいます。
つまり、何人かは手を引いてしまいましたが、私はそれを理解しています。
新しいピラミッドを作るために契約したようなものです。
ピラミッドを作るために契約したようなものです。
何か他のものを探したくなりますよね。
でも、この人たちの中には、今、超強力なシステムを作っている人たちもいるんだ。
このシステムを強力に改善することができると思います。
と思うようなシステムに取り組んでいます。
私がメモリの仮想化について話し続けているように
スタティック・マッピング・リソース
世界へ飛び込む速度を、今より一桁速くすることができるんです。
今より何桁も速くすることができます。
例えば、Horizonでリンクをたどって世界に飛び込むとします。
すべてのプロセスを通過しなければならないのは拷問です。
これは絶対に譲れません。
文字通り、1桁以上速くなる可能性があります。
また、UnityやUnrealと連携できる可能性もあると思います。
UnityやUnrealとエンジンレベルで協力し、すべての開発者が使えるように
そうすれば、すべての開発者が
そうすれば、すべての開発者が新しいことを学ぶ必要はありません。
アセット・プロビジョニング・プロセスで、これらの機能を活用できるように工夫するだけです。
アセットプロビジョニングのプロセスで、これらの新しい技術を活用できるように工夫するだけです。
ということです。
これが現実的な方法だと思います。
OSレベルのクールな機能性を取り入れるための現実的な道筋だと思います。
を手に入れるための現実的な道だと思います。
新しいオペレーティングシステムをゼロから構築すること。
新しいアプリケーションモデルやプログラミング言語を書くこと。
そこで起こりうるすべてのことです。
ですから、私たちはもう時間をオーバーしていると思います。
このまま時間をオーバーしてもいいのでしょうか？
もっと話したいことがたくさんあるんです。
ネイト、合図をしてくれませんか？
頭を振っていないようだ
さて、今日はこの後質疑応答に向かいます。
残念なことに十数人しかいないんだ
そのために設定されています。
私のVRコネクトのビジョンは
私の話を聞きたいと思う人たち全員を、同じように
5時間、私の話を聞きたいと思う人たちが
その周りに集まって
一日中、私の話を聞きたいと思っている人たちが集まってきて、その人たちの話を聞くことができる。
昔、カリフォルニアで開催されたフィジカルコネクトのようにね。
来年には、VRの世界に戻ってこられると思います。
きっと素晴らしいことになりますよ。
さて、それでは。
今日一日、楽しみなことがたくさんありますね。
ジョン・カーマックに感謝します。
ジョン・カーマックに感謝します。
ジョン・カーマックに感謝します。
今年もまた、メタコネクトにとって忘れられない1年となりました。
Meta Connectでは、今年も忘れられない年になりました。
この日は、いくつかの大きな発表で幕を開けました。
そして、この一年で私たちのコミュニティから生まれた素晴らしい作品のいくつかを
この一年、私たちのコミュニティから生まれた素晴らしい作品のいくつかを祝いました。
とてもエキサイティングだ、カレン、どう思う？
本当に素晴らしいことです。
どんな新しいアイディアが生まれるか、とても楽しみです。
どんな新しいアイデアが出るか楽しみです
この新しい技術で遊べるようになったからです
今日の収穫は...
メタバースは多くの人々によって構築され
多くの人々によって構築されていること、そしてこのコミュニティの協力が
このコミュニティによるコラボレーションが
その可能性を解き放つ鍵になるということです。
これ以上ないくらい素晴らしい言葉です。
そしてまた、カレン、ありがとう。
私のそばでこれを体験してくれて、ありがとう。
あなたの熱意に感謝します。
あなたは本当に素晴らしく、信じられないほどです。
そして、あなたは点と点をつないでくれました。
クリエイターだけができることです。
だから、ありがとうございます。
ああ、とても楽しかったです。
さて、今日のセッションはすべて
まもなくReality LabのFacebookページで
Reality LabのFacebookページで
そして、MetaHorizon Worldの友人たちにも配信されます。
MetaHorizon Worldの皆さん、今日は素晴らしい一日でしたね。
MetaSquareを探検する素晴らしい一日であったことを願っています。
また、このコンテンツは
Oculus TVでもご覧いただけますので
好きなときに好きなコンテンツに
いつでも好きなときに、好きなコンテンツに接続することができます。
でも、見ている皆さん。
メタのスタッフ一同、本当にありがとうございました。
そう、デベロッパーとクリエイターのコミュニティへ。
いつも刺激を与えてくれてありがとうございます。
ありがとうございました。
これからも、つながり、コラボレーションしていきましょう。
私たちは日々、皆さんから刺激を受けています。
そして、私たちは
これからどんなものを一緒に作っていくのか、楽しみでなりません。
では、今のところ、さようなら。
さようならー。

英語

Hey everyone
So last year I said that I'd be disappointed if we weren't having connect in horizon this year
And I was kind of planning to lead off pretty grumpy here because we really don't have the physical connect experience
Replicated here, but I watched the keynote in horizon with a room full of people and it was really pretty good
The video quality on the giant screen was nice
The little side effects going on added nice subtle touch and just being in a room with a couple dozen other people
That care about the same thing is a positive thing
so I was kind of like peeking out from underneath my headset looking at my cluttered desk with my meta laptop and a window open there and
Thinking that yeah
This really does have some genuine benefits over looking at it in the way most people view most presentations. So I'm
But when mark came out live as an avatar, I was genuinely surprised. I didn't attend any of the rehearsal
So I didn't really know what was going to be happening there. And while you know, that was a pre-recorded can system
That's what I want to be doing live
You know that kind of walking around on stage and everybody in the room came down up to the railing to be closer to the avatars
And that seemed to have some you know, some real positive things. That's what I wanted to do
You know this year this isn't really what I meant
I mean me being an avatar on screen on a video for you is basically the same thing as just being on a video
You know instead of a makeup artist putting any shine on my face ahead of time
I had my girlfriend tweaking my avatar before connect but it's the same basic process as a video presentation
You know, I want to be present with a live audience and in a virtual space where?
Everyone that wanted you could stay afterwards and talk as long as they felt like it
You know
I was in horizon before the keynote and someone was asking if they'd be able to talk with presenters after the shows
And I had to say no, but I think we can see kind of a path forward now
And i'm pretty excited about that now doing an event in horizon for real like in an ideal world would mean having this sort of arena
scale support with thousands of avatars milling around at least hundreds in large rooms and you know in a completely
Uniformly shared world now. That's a serious technical challenge and horizon definitely can't handle it now, but it's not an insurmountable one
However, there's a really huge tension with avatar rendering quality
You know, there was some public mockery about avatar quality earlier this year and now lots of people internally are paranoid about showing anything
But the highest possible quality avatars and more rendering features are being pushed to increase the quality instead of the quantity
I mean i'm actually doing this in a custom build of horizon built only so that it could absolutely
Lock the level of detail on my avatar to never drop down no matter what's going on
And if you're in horizon now, if you look around at the other people
There's a very good chance you're seeing some led changes and poppings and things going on right now
Now just imagine if we double the intensity of the rendering quality on the individual avatars
Maybe the guy right next to you will have good quality, but that's going to come at the expense of everything else after it
So i'm, you know, I really worry about that and then the big push towards photorealism and kodak avatars
I you know, we've got we've got a finite amount of resources on our headsets here and cloud rendering won't save us in many cases
Uh, so I think that the you know, I like our avatars today. I'm pretty happy with these
It's been great seeing all the extra options continue to increase and i'm happy whenever I see a new app that renders the avatars
I you know as they are
And especially the the non-vr family of meta apps gives them multiple orders of magnitude more reach. So I think these are all, you know
Really pretty positive things. So I definitely lean towards optimizing for quantity rather than quality
I am, you know
We've had apps where you're limited to four people or eight people and it's just not as good for a lot of the applications
As when you can have at least a couple dozen but ideally a lot more
So, but even within the the avatar rendering limits of horizon today events like this can still be pretty cool
I mean my avatar here could be replicated to an arbitrary number of other shards
I even if it's only 20 people each and people could maybe flag themselves for being in a waiting line to transfer to the prime
Shard when spaces open up
So if we can't solve the hard scalability problem
We should sort of embrace sharding as kind of the horizon multiverse
And give users tools for easily migrating between instances to group up with their friends or the company reps that they want to meet
You know universal waiting lines to get into anything that they want to
So, uh, we already have a lot of good support here for professional camera and production work already
I mean i'm sitting in this room with production people and a half dozen cameras moving around and there's
A whole crew kind of dealing with all that just like they would on a real professional event
So I think that this can be a genuinely valuable thing for a lot of conferences and conventions are they're expensive
It's big business. I for the cost that go into lots of these things
You could just give attendees a free headset in many cases and still come out ahead
So i'm horizon world isn't really my realm. You know, I i'm just lobbing a few grenades over the wall with my comments here
I personally wind up caring a lot more about the main vr home environment
You know internally we call that vr shell. Uh, it's rebranded as horizon home now
But on every single quest user interacts with it and I did write the original core of it many years ago
So I kind of have some personal fondness for it, but there's a bunch that i'm grumpy about
Performance has degraded a lot over the years. Uh, we're rarely locked at the 90 frames per second target that we aim at
It bothers me every single time I use vr. I've even given the suggestion that i'm not going to use vr
I use a vr i've even given the suggestion that I give to game developers that if you can't hold 90
You should drop back to 72 because smoother at a lower frame rate is better than kind of being uneven and jittery
But it isn't clear how many glitches you know that would cover
You know our app startup times are slow our transitions are glitchy
But I can see light at the end of the tunnel for the pitch that i've been making for years
You know, there's one click to social presence and a general purpose screen sharing model
So we launched co-presence in home recently and there's all sorts of glitchy stuff around it
But when you actually get into it, you've got the interaction with the avatars. I think it's great
You know, it's basically what you get in horizon worlds here
But in your home and it at least has the potential for being much much faster and probably somewhat higher avatar counts
Because we are in a completely native environment rather than a unity environment
But we need to make it a whole lot better, you know, we need to make it much much faster to get into
The thing that I love is that if you've got your friend on the explorer main page
I you point at them you hover over them the party dialogue pops up
You can just click on that invites them to the party
It really is that one click to social presence that i've wanted for years and years
Now it winds up taking a minute for them to to get into your space and environment
And we could get that down to hopefully a small number of seconds where you click on that
And the response is as fast as somebody responding to a text message or something
You know, that's the the north star that I want to see there
Is that jumping into vr synchronous social environments is as fast as the things that you do on your phone
The finely tuned mobile apps that really matter
Some of the other little things that are going into that
Is we probably are we are going to be moving home so that you're embodied by default where right now
You're just the disembodied controllers floating there and the first time you wind up joining a social environment there for some people
That's the first time they've ever seen their avatar
Some people just kind of skip past that and we'll get to the point where we do draw your body and and arms like we do in horizon worlds in the home space
Which will push people to get their avatar set up early and quickly
We're also going to put a really nice mirror into the world so that you can go ahead and set yourself up again
Show you the avatar make sure you're comfortable with it very early on and a little in the weeds technical bit
I almost all the mirrors that you see in vr games are done by rendering a separate view and they're they're usually blurrier alias
Generally, not particularly high quality while in home
We're doing a neat little trick which is actually what I was doing all the way back in the doom 3 game where you sort of flip
The world around render through that cutout and you can get as high a quality in the mirror as you get looking at things directly
Which is kind of a nice little touch
Something else in the home environment you can move around now
A lot of people haven't even gotten this really because it's a little bit unintuitive
You have to put away the menu system, then you can do a teleport move around and I keep pushing for
We really should have general purpose navigation
I wind up arguing with designers all the time where they really want to make sure the user can never get into a place where they sort of break the
The modeling of the world poking their head through things. So you wind up with just specific pre-generated points and that winds up not being good
If you get a large group and you're not structured exactly the way you want
You really want to be able to nudge around but you know, I think that that that'll get sorted out pretty soon
The other side of this though is once you're there. Yeah, lots of people spend lots of time in VR chat rooms with nothing but other people and mirrors and there's you know, there's value to be had there
But I think there's this enormous block of value to be unlocked with screen sharing and we have the basics of co-watching working in a specialized form with what's going on in sharing the immersive videos that you can see
And there's efforts going on to work on some specific progressive web apps for shared environments
But I keep pushing for a completely universal thing anything that you're doing on a panel. We should just re-encode it share it with everybody
Even if it does mean a quality loss over an otherwise optimal approach of kind of streaming from a central source because there are so many things that people do
I mean people do basically everything on screens now and if we can bring awesome synchronous social in here that's fast and easy and everyone can be easily sharing what they're working on
I think it's going to be a pretty significant value. We're doing a lot of this in Horizon worlds and Horizon work rooms, but these are very heavyweight apps
It's a big deal to start it up to get into the world to get things going and in so many things that I care about it's this worrying about the latency for actions
Whether it's milliseconds in tracking or seconds and starting up an app experience. It matters to be fast and I keep pushing on this make it, you know, make it super fast make it super easy
Not a lot of steps even if it's not everything for everyone but making it a powerful awesome feature that does work super easily for and quickly for everyone
So we've got we made a bunch of advances in the voice latency where that was really bad where we were at last year and in many cases it's been cut in half
And we have some people now that are passionate about cutting it down even more where I want us to get to the point where our voice communication is solidly better than anything that you get on a cell phone
Where we can be if once we get all the way down to tweaking the firmware for the audio drivers and things we can get to half or a quarter of what a lot of the voice communication that people work with right now
Which can be really valuable that there's tension between what we wind up doing in home versus worlds where I think there's another valuable point there
If we make it this great thing for people to just be jumping in super quickly to each other's worlds
Then it's only one teeny tiny step to having those be persistent little worlds where it doesn't have to be tied to one person
I keep saying that every Facebook group should have a room associated with it, but I desperately don't want to reinvent Horizon worlds inside Horizon home
You know if you want a dynamic interactive thing go to Horizon worlds
I am you know, I just want home be focused on avatars and panels in a good-looking static world
I am we have people that want to be implementing scene graph animations all programming language support all sorts of crazy stuff in home and I'm just like no push that off
Go do that in Horizon worlds
Let's just keep this as simple and clean as possible so that they have minimally overlapping spheres of influence for things
You know, as a side note, it was really nice that Horizon worlds has finally announced moving to support traditional triangle meshes
So you can get higher quality environments like a lot of people comment how Horizon worlds
They just don't look as good as the home environments
And that's because the home environments are raw geometry pre-lit textures put on them
They're built by modelers in modeling tools that are highly optimized for this instead of the Horizon world space
Which was optimized around user generated content and a lot of dynamic ability.
So there's always trade-offs there, but there's clearly a lot of power in polygon meshes
And I think that it's going to be good for them that they'll they'll be able to pull in a lot more of that quality stuff.
So I'm everybody surely wants to hear about Quest Pro and I've always been clear that I'm all about the cost-effective mass market headsets
Being the most important thing for us and for the adoption of VR and Quest Pro is definitely not that it's a high priced system
But it is a very fine piece of engineering that explores a number of new spots in the kind of VR design space.
Now, I think they're calling it an XR2 Plus chip set, but it's basically the same cores as what you get on a Quest 2
But it's built so that we can access a lot more memory and it has a much better thermal dissipation
So you can wind up running it at higher clocks and get more out of it.
Been saying it for years where we can't run any of our systems anywhere near what their theoretical maximums are because they'll just overheat.
You know, the heat dissipation is a really big deal and there's some specific details around the chip packaging
That means you can't just necessarily slap a bigger heat sink on this.
Sometimes you need to change the way the entire chip is packaged.
We are working closely with Qualcomm on a really next generation XR2 chip.
I've been really supportive of our Qualcomm partnership.
There's lots of people internally that really want to make our own chips.
And, you know, at some point you want to, you know, Apple takes control of their own destiny making their chips internally.
But, you know, I don't think we're at that point and I don't think it would work out that well.
And Qualcomm has been a great partner to work with.
And there are several very custom VR specific features going in that I'm excited about in the future.
Beyond just the normal CPU and GPU advances that you're pretty much expecting.
You know, I do kind of worry though that it's a very high end chip and we may need something low end targeted for inexpensive VR headsets in the future though.
So, one of the things that drove the Quest Pro design from really early on was this notion of form factor.
There were a bunch of people internally that thought that the kind of shoebox on your face point of the existing VR headsets was a major barrier to adoption.
And making it smaller, more compact, a little more stylish was a really high point and it drove a lot of the push to pancake lenses.
And I'm not sure how important that is, but I am the wrong person to talk about what's going to be important from kind of a fashion or social sense there.
It's got a larger battery.
If you use it just like a Quest 2 without engaging any of the new features, it should last longer. And importantly, it's mounted in the back of the headset.
So, lots of people wind up using external battery packs for Quest 2 just to kind of balance out the weight and make it more comfortable.
But in Quest 2, you can't literally remove the battery from the front of the headset and put it in back.
So, this headset's kind of built like that. Then we've got the charging dock with it, which is probably more important than a lot of people think, where it is a huge issue for us,
where people not having their headsets plugged in and not being updated and all the things that fall off from that, where we've got with the charging stand,
it's obvious what you're supposed to do.
You put it back on the charging stand and it will always be ready. And that's probably going to lead to some significantly better kind of user satisfaction metrics versus the Quest 2,
which you may power off, you may plug back in, you may charge up and take off, all sorts of different possibilities there.
So, the overall headset is heavier, but the comfort's broadly better than a baseline Quest 2, especially for the less dynamic applications.
If you are just sitting there doing work applications or watching a movie or something, having it sit resting on your head without any pressure on your face is unquestionably a better situation.
We have people that leave it plugged in and have been using it for many, many hours a day, noting how much more comfortable it is than Quest 2.
So, you have eye relief adjustment where you can have it adjust the screen closer or further away, but you don't have tilt adjustment like you could on the kind of ear sides on Quest 2, so some pros and cons there.
You've got smooth IPD adjustment, so people that weren't close to one of the Quest 2's three notchy adjustments are liable to get a better experience.
But it also, because of the optics, it has a broader kind of a broader eye box, no matter where you've got it.
Probably the most important thing that people will appreciate is the crisper display, and that's both due to somewhat higher resolution, but also very much the pancake lenses.
With Quest 2, when you look kind of straight ahead through, you know, the middle 20, 30 degrees, you would usually have a really good picture.
If your eyes were lined up, the IPD was correct, you could, people with good eyesight could still kind of basically see the pixels there.
But once you got out of that range towards the outside, even just being off center and then especially when the Fresnel rings started going out, that was hurting the view a lot.
So, I was saying before that Quest 2 is really optics limited more than pixel limited over the vast majority of the screen.
With Quest Pro, it really is clear pretty much out to the edges where you can bring up a dense web page with small text, spread it out over most of your field of view,
and you can read by just tracking your eyes back and forth while, you know, with Quest 2, you would really kind of have to look over and track your head around back and forth.
But the downsides of this is that the blurriness around the edges in Quest 2 is what let us do the fixed foveated rendering where we kind of chop down the rendering quality around the outsides if an app asked for it.
And that could get us, you know, 20% performance in some cases.
If you do the exact same thing on a Quest Pro, it's much more obvious that the pixels are getting chunkier and blurrier over to the edges.
So, that's something that, you know, is a little bit of a balance because, again, we really don't have more GPU power and if you ask it to render a lot more GPU pixels, you know, you run the risk of running into frame rate problems there.
So, the pancake lenses do have a little bit of intensity vignetting where it's a little bit darker around the outsides.
We can choose to correct for that, but it then means losing some of our dynamic range in the middle. It's not really clear what the right choice there is.
One thing I'm very happy with, though, is that a lot of pancake lens designs do have sort of a characteristic ghosting of where you can sort of see multiple copies of an image if you've got really high contrast.
And our production lenses here, I have yet to see an occurrence of that that really bothers me.
So, that's a really nice thing.
We do have a segmented backlight on here, which has two values where instead of in Quest 2, there was a single screen, but we did have two backlights on it where we could flash the left backlight and the right backlight independently.
And at 120 frames per second, we skew them a little bit to give us a little bit more margin for the LCDs to settle.
Quest Pro has a whole lot of backlights, a full grid of them, so we can kind of strobe them off in roser columns as we scan things out, which lets us sort of get the ability of chasing a rolling shutter like we have on some other things,
which should give us some extra latency, but unfortunately, some other choices in this display architecture cost us some latency, so we didn't wind up really getting a win with that.
But one of the exciting possible things that you can do with this is do local dimming, where if you know that an area of the screen has nothing but black in it, you could literally turn off the bits of the backlight there.
So, that gets you back to the sort of awesome OLED blacks that you could get on some of the earlier displays.
And those earlier displays, a lot of people speak very fondly of them, but their low bit precision was really pretty terrible.
It's like, yes, black was off, but you go up to one and two, and there are these large ugly steps, or you've got mirror correction issues going on, so it was not a pure win.
So, you can get great pure blacks on this display.
Now, it's not enabled by default, because to do this, we have to kind of scan over the screens, and that costs us some time, and we don't have a lot of extra time here,
but a layer can choose to enable this extra local dimming, and if you've got black areas, then they will go to completely black.
But it costs a little bit, and if you've got like an environment like EMIEN right now, there's literally no complete, maybe a little bit on one of those surfaces over there that's a complete black.
On most systems, most scenes, it doesn't wind up actually benefiting you.
But the exciting thing that we don't really have yet is the ability to do extra high dynamic range, where in an ideal world, you could look at every pixel on the screen,
see what range of colors and intensities that it's got, and then choose an optimal backlight value, and then rescale everything to the whole 0 to 255 values.
That would be fairly expensive to do in a general purpose sense here.
I'd like to see us do some special demos with like pre-calculated high dynamic range environment maps or something just to kind of show, explore what we could possibly get from it.
There's still limits where you're not going to get – on an OLED, you can do super bright stars on a dart on a completely black sky.
With local dimming, you can't do that because if you've got a max value star in a min value black sky, it's still got to pick something and stretch the pixels around it.
But what you can do extremely well is something like being indoors and looking outside, where you can have a high quality range of relatively dim colors on the inside,
and then an almost blindingly bright outdoor light, where we have the backlights cranked all the way up.
But that's future speculation work.
There's nothing like that right now, but we do have this one flag that we can set up for layer optimization.
So the eye tracking has a couple purposes.
Everybody loves the idea of foveated rendering.
We kind of set ourselves up for this where several years back, Michael Abrash would show these pictures of kind of ray traced images and show that you could take out 99 percent of all of the pixels.
And then if you reconstruct it right, knowing exactly where the fovea is looking, your brain won't really be able to tell the difference.
And people have been hoping that this foveated rendering could give us sort of integer multiples of GPU performance.
And it's definitely not going to work out like that.
And the problems come from aspects of the architecture, both of the eye tracking and also the way we generate our pictures, where the eye tracking is basically little cameras that are looking at your eyes.
So to be able to tell where the eye is looking, it has to take a picture, scan that whole image into the main processor.
Then it has to run a whole bunch of machine learning models to figure out, all right, where is this actually looking at?
There's a lot of uncertainty in how the headset's positioned, how different people's eyes look, their eyelashes interacting with all of that.
But you eventually figure out, all right, it's looking at this point here.
But what the rendering system needs to know is, where is the eye going to be when this image is actually shown on screen?
And that's the whole latency of the rendering pipeline.
And for most of our systems now, it's in the neighborhood of 50 milliseconds.
Now, the eye can move a pretty long ways in 50 milliseconds.
And even when it's going relatively smoothly, unlike our controllers that we have,
we don't have accelerometers on your eyeball, and extrapolating from just these images is hard.
It's hard to do accurately.
And if you don't do it accurately and you predict the wrong place, then you wind up looking at a blurry set of pixels.
So there's things that we can do to be chopping this down.
Like right now, you kind of have to specify where the foveated region is ahead of time.
But the GPU breaks everything up into these little blocks as it renders them going across the screen.
And what we'd ideally like to have is, just before the GPU starts rendering a block,
it goes and checks, will this block be under the eye's fovea when this image is actually displayed?
If so, render it at full quality.
Otherwise, render it at a reduced quality.
We don't have the ability to do that right now, but the system is capable of it.
We should be able to work with Qualcomm to eventually get something like that in.
But even when all's said and done, it's probably not going to be a really big speed up.
In theory, it should be somewhat bigger than what we get with the fixed foveated rendering,
but it's only going to be a huge win if you've got very shader heavy systems that are able to save a whole lot from the pixels.
So don't get too excited about that.
As far as eye tracking from a social standpoint,
a lot of people kind of take the eye and face tracking combination of this ability to have this extra level of social interaction,
all the subtle cues.
Again, I'm not the right person to be passing judgment on something for social interaction,
but lots of engineers are working hard for day zero patch to try to get this as good as possible.
But I'm not using this right now.
I am in a Quest Pro headset, but I don't have any of the special features there enabled.
Right now, there's at least a decent chance I would wind up doing something very embarrassing looking,
which would certainly get captured and pointed out on camera.
But just like with hands, you know, we shipped Quest with no hand tracking whatsoever,
but we've had multiple generations of improvement with the same raw data comes in and the models get better and better
and the user interactions of these get better and better.
So I do expect the social stuff will get, you know, get improved to the point where it really is pretty good.
We've got, again, one of the big advances of the new chip is that we have lots more memory
and that primarily allows us to do multitasking and it makes app development easier.
You know, most console developers wind up, you start your development on a system that has a bunch more memory
and eventually you kind of grind it down so it fits inside the consumer space.
So it's probably going to be pretty helpful for people targeting Quest 2 on the mass market to use the Quest Pro
just so they can get their early ideas up and then worry about kind of crunching it down later,
you know, saving some of that work.
You can get yourself into a bad fix though, as with any of these cases,
if you develop on a system that's not your target one, you can sometimes make tragically bad decisions
if you aren't constantly aware of how it's going to be on your low-end system
and the low-end system is still going to be where all your real customers are.
So this ability, like with this extra memory, we have, this is not enabled on Quest 2,
but in Quest Pro, you'd be able to actually pull up browser inside any other experience.
You know, you can be in any game, you could be in Resident Evil, like one of the heavy,
really heavyweight games and still pop up our system UX and then bring up the browser,
look up your cheats or whatever walkthroughs you want to have there
and then go back and forth quickly to the main experience.
Now, I think that's going to be still possible on Quest 2 as well.
Lots of apps don't max out the memory.
You might not be able to do it in Resident Evil, but you could do it in Beat Saber
and I still keep pushing for this notion that we need to, at the system level,
virtualize enough of our resources so that we are able to do that for all the things that people want.
The color and high-res pass-through is, probably it's kind of, I'm not the big MR advocate.
I, you know, I've yet to see the real big win from these applications.
I'm not sure it's super mass market, but it felt, it feels really natural
when you just put the Quest Pro on and looking through it,
you're seeing a high-res color view instead of the super grainy low-res black and white view
that we get in Quest 2 and the presentation, it's still a sparse reconstruction.
So, flat planar surfaces wind up looking really good,
but if you wiggle your fingers around in front of it or you've got lots of edges,
you can see artifacts around it, but in a lot of cases, it just does feel really pretty natural.
That couples with the fact that the Quest has this open kind of side periphery and bottom,
which I thought I was going to really, really hate.
I'm, you know, I'm all about the immersion in these experiences.
For years, I've complained just about like our nose light leaks in the headset
and the idea of like opening everything up for gaming.
I get it for like other use cases, but I thought it would be really bad.
And I'm kind of surprised that I don't mind it as much as I thought I would.
The little magnetic clip-in blockers block off the side,
but you can still see all the area underneath it.
And for a lot of productivity stuff, that makes great sense.
There was, several years ago, I took an Oculus Go and jigsawed out a big chunk of the bottom there
so that I could look down and look at my keyboard when I was doing some remote desktop work.
And like right now, I'm in a Quest Pro and I'm looking down,
I can look down at my notes that I wrote for what I'm going to be talking about here.
And this generally works out well.
So this is complimentary to a lot of things like tracked keyboards
where we can bring into VR this tracked version of something,
but you can sort of get free field of view when you actually care about the real world.
And so that works out, you know, pretty well.
And when you're looking through the pass-through like that,
it really does make me feel good about the quality of the projection and reconstruction
and just the fact that you can take your controllers and slide it in and out
between the real world underneath it and the virtual world above it.
And they line up really well.
And when you're in pass-through, the fact that you can look at edges and move around
and it's almost like you've just got kind of a blurry filter wearing on glasses as you look through it.
And there's so much detail work that goes into that.
And, you know, we've had regressions with that over the years,
but the team's done a really good job with that.
The more flexible controller tracking.
So each controller really is a full-fledged computer system.
It's got multiple cameras on it.
It's doing its own tracking.
And that's kind of amazing that that much goes into it.
It's not clear that it's necessarily worth it, but you can like put your hands like behind,
you can hold it here for a long time where with normal Quest tracking,
my arms would start freaking out after a few seconds because it can't see any of the LEDs.
But now, you know, I can have my hands under the desk here behind my back
and it's expected to just work.
So that's, you know, that's generally nice.
There are some downsides like, you know, I can't wrap my head around
and play claw grip for Beat Saber the way I'm used to
because then you'd actually block over the controllers, but they feel good.
Now, most well-designed games don't ask you to do a lot of the stuff that doesn't work well.
So it doesn't necessarily improve too many features
and wise developers won't start doing that just because Quest Pro has these controllers
because Quest 2 still won't.
But another thing that I do hope is the fact that you've already got,
we basically are doing three-player shared space with the controllers and the headset now.
So I'm hoping that this nudges ahead the demo work that we did years ago
of allowing multiple headsets to cohabit in the exact same space,
which everybody thought was amazing, but it was hard to just figure out how to productize
and what the kind of near-term user value would be for things like that.
So now, as a counterpoint to all of this Quest Pro design space,
I do personally still try to drum up interest internally for this vision of a super cheap,
super lightweight headset, you know.
I've got this rallying cry of $250 and 250 grams as a target,
but I, you know, we're not building that headset today, but I keep trying.
You know, I think that maybe cutting out a whole bunch of stuff winds up opening up
some of the comforts of being super light, you know,
as well as opening it up to more people at the kind of low-end price points.
Now, of course, price points leads to the point about the Quest 2 price increase,
which is obviously super unpopular and there's no question that it's weird to have a headset
or have a consumer device go up in price later.
But they're actually, so the dynamics of subsidizing hardware,
which is super common on all the consoles,
and it's just kind of the way a lot of these closed ecosystems tend to work.
I am, you know, the model is you sell the, you sell the device at a loss
and make it up on kind of the software that you wind up selling,
but that winds up having a bunch of perverse incentives for general user value.
When you have some of the most popular apps on Quest are free apps,
you know, VRChat, Rec Room that, you know, we get no revenue from at all.
And while the, you know, they are sitting there at the top of the,
you know, at the top of our ranking list in many cases,
there's not a lot of internal push for that because the idea
that we don't get anything from that and if we're losing money on every headset,
then there's at least this incentive like you really are free apps good for the ecosystem.
So raising the price to a point where we're not like wincing every time we sell a headset
that has that really, really positive upside that people can choose to refocus on,
you know, we don't care how you use the headset as long as you're getting good value from it.
And I think that's really important for us
that this idea that I'm, you know, free App Lab stuff, free web apps,
you know, people sideloading, it's all good.
As long as you're getting good value out of this headset,
some fraction of the people are going to use, you know,
the best of breed high-end applications that are curated and selling on the Quest store.
And that's great and we'll make money from that.
But all this other stuff, I'm happy for it to exist
and I'm happy for there not to be even any,
I'm just subtle back of the mind, unconscious bias against it.
I want us to be celebrating our free applications as much as we possibly can.
So I'm going to go over some of the wins that we have gotten in the broader VR ecosystem
and check in on some of the things that I talked about last year.
So the meta accounts getting divorced from Facebook was,
you know, it's kind of a big deal and you would not believe how much work that took internally.
I mean, it was really a shocking amount of labor and planning work
that had to go into separating all of these things out.
Now it affects much more than just VR.
It's all across the whole family of apps.
It was a really, really big deal.
And this did remove one of those objections where there was a fair amount of noise online
where you had a bunch of never Facebookers that I would not get a Facebook account,
you know, would not get Quest 2.
Now Quest 2 sold more VR, you know, headsets and all of our other headsets put together.
It clearly did not hurt the product that much.
And I note that we're not really seeing any huge influx of new people
that do not have Facebook accounts right now.
But I get the fact that having these different worlds tied together is not a good thing.
You know, if you have a problem with your Facebook account,
it should not affect your VR account.
And, you know, I have a little bit more of a personal taste of this.
Last month, I actually temporarily got suspended from Twitter
because I had posted a VR capture, a mixed reality capture of me playing Beat Saber
on a Panic at the Disco song and some new content trolling thing went over that.
It's like, oh, copyright strike, you know, you didn't have rights for that.
And I'm like, oh, that would have really sucked if this was my VR account and I couldn't get into VR.
It was easy to get back in.
It was okay, but I get it.
There's a real issue there that we do have to be kind of aware of.
And unfortunately, the benefits that I hope to see from our Facebook integration,
we really didn't get that.
I mean, we we integrate your friends graph and that's a good thing.
But there was a little point where I still think back to we had a version of venues
where we had kind of a deeper Facebook interaction integration where we would look at
what you've, you know, what posts and things that you've liked and it would tell you
if the person sitting next to you was, you know, had also liked similar things.
And I thought that was really cool as kind of an icebreaker way,
but I eventually didn't pass kind of our privacy reviews of things and people don't believe it.
They just don't credit it, but there is an enormous amount of oversight and work
and review that goes into trying to actually do positive things
with all of this data that Meta has.
And, you know, I often think it winds up getting in the way of making the features
that people are going to feel, you know, are going to have a great time with,
but it's important for this company level, you know, real doctrine about being very,
very careful with all of the user data.
So the headset tracking robustness, you know, as you move around has improved a lot.
Internally, we had two completely different tracks of tracking.
We had our sort of production tracking and then we had research tracking
and there was a massive effort to kind of take the best of both of them and merge them all together.
And we have real telemetry on this that a lot of these things like Guardian not found
and tracking loss situations have been measurably halved over the last year.
Now, individual people still have problems.
I mean, I've still got one headset in one room that seems to lose my Guardian every single time
and that's frustrating, but we are making some real progress in aggregate.
Now, you know, one thing to be aware of that our original specification
for what light is necessary for operating Quest tracking in,
there was some terrifying stat like 30% of the people that are using Quest are using it
in light levels that are below what we originally specified.
Now, we still work in worse conditions, but that was not what everything was optimized around.
So, we've got reasons to be kind of retuning what we're doing, but yeah,
if you've got an opportunity, flip more lights on when you're doing VR,
you can expect the tracking to improve.
The controller extrapolation improved where this was something that the developer
of Eleven Table Tennis, the ping-pong game was, he was pushing me hard on this a couple years ago
about how I'm like Vive's extrapolation, the people that were playing on, you know,
playing ping-pong at very high levels that they could tell the difference of this tens
of milliseconds extrapolation going on that our algorithm wasn't as good
as what was going on in Vive.
So, we had some really good people go in, pour over tons of data, big data analysis of things here
and we now have, you know, quite a bit better extrapolation.
Now, another interesting thing that came up with that, especially working with some
of the newer controllers, so much of this comes from reading the IMUs
that are inside the headset and the controllers.
And it turns out that haptics buzzing in the controller and very loud audio
in the headset winds up being very disturbing to some of our IMUs and we're having
to take special steps to filter or use different components to kind
of make this work out better for us.
Air Link has continued to get improved, lots of improvements going on in there.
We did announce a dedicated accessory so that you can kind of plug in a special dongle
and get sort of optimized for Air Link behavior there.
Now, it's important to note that there's not much that it does for you over a perfect setup
where if you're using Air Link, you really do want to have your PC wired,
hardwired over Ethernet to your router.
If you don't have that, then doing Air Link means a packet goes from your headset to the router
to your PC, from your PC to the router to your headset and that cuts in half
and does more damage than that to kind of what you can accomplish over there.
Many people still have a great time with that, but if you if you wonder
about your quality, having a direct connection works
and this dedicated dongle has a couple other details that are better
than what you could normally get out of a commercial router,
but the best commercial routers are pretty darn close to this.
If you've got a high-end gaming router, it's probably just as good,
but if you can just grab this and plug it in, it can fix a lot of bad problems for you.
App Lab has been going great.
I am in my position as customer support of last resort.
I do field complaints from people.
It's like, I've been in review for five weeks or something
and I follow up with the content team, the people managing the App Lab reviews
and I see the dashboards and we've really made a lot of progress.
It's generally really pretty fast now.
We also added in-app purchase for App Lab,
which is I don't know why that wasn't there at the beginning,
but it's now got parity so you can go and you can do lots of good business in App Lab.
120 frames per second support has good uptake.
It was made an official non-experimental feature.
I did a demo recently internally that I'm hoping to be able to release publicly
when we get some clearance for some of the media,
but it turns out 120 frames per second is also really good for video playback.
It's hard to render 3D worlds unless you're super optimized doing relatively simple things,
but if you're playing back video, 60 Hz video now plays wonderfully
where we used to have the challenge of 60 frames per second displays
are usually too flickery for most people,
but if you play back 60 Hz video on 72 or 90,
it winds up kind of juddery and not really worth that much, but at 120 it's great.
And if you actually play 120 frames per second video at 120 frames per second,
that's like smoother than any video content you've ever seen in your life
and it looks really good.
Now there's some weird codec issues,
but we have like Quest 2 can decode 4K by 4K at 120 frames per second
and that's a really good mono view for a lot of things like sports.
That's a great view.
Now one downside is unfortunately Quest Pro can't do 120.
It's limited to 90 and this is probably, you know, that was a factor
in a lot of the in-fighting that made 120 frames per second on Quest 2
such a problem to get out and ship, but we came to terms with that,
you know, 120 is now just Quest 2 and future headsets.
It's good enough that I think nobody gets to say,
well, we just don't want to do 120 in the future.
The hand tracking has continued to improve,
but you know, it's still far from as intuitive as a touchscreen
and there's a problem that everybody's like,
well, we just want to have a tablet for the metaverse.
Let's just put a tablet right in front of us and we'll just poke at it.
One of the problems with that is the closer something is,
the more sensitive it is for latency because a small amount of movement,
something way off in the distance there as I kind of move my head side to side,
it's moving fractions of a pixel or a pixel or two,
but if I have a tablet right in front of me and I move my head a little bit,
that's moving tens of pixels and if you mispredict that
and it's not in the position that you want,
that can start leading to some comfort issues.
I am seeing the thing judder around there
when you're trying to focus on it is a challenge.
Now, we've got approaches that can fix this
where we can move panels directly in TimeWarp in the compositor
so that they have instead of 50 milliseconds of latency going through everything,
you can get it down to, you know, 10 milliseconds of latency, which is really great,
but then your controllers and hand rendering and anything that goes in front of it
need to be rendered on yet another layer, which is composited on top of that.
So there's trade-offs, but if we want to do a great job at that,
we're probably going to have to do that.
If we want to have feedback for all of it,
instead of just like mushily poking at the air is always problematic.
There's a lot of work that goes into making 3D buttons that can respond to you
but most of our surfaces are going to be things like web pages and Android apps
that are not going to have custom buttons.
So I keep arguing for just, you know, put a surface treatment on top of it,
flag any layer as being touchable,
and we can do things like have shadows coming underneath it,
crosshairs going down, audio cues as you tap things,
you know, being able to render the hands and have the hands stop in time.
There's a whole research lab that's worked on this stuff for us
and it can make hand interactions a lot better than they feel right now.
You know, there's still a lot more to be done
and, you know, we do have the hands API,
which some apps like Myst are starting to use.
It's showing up in some actual games as well as sort of dedicated hand toy things.
I'm curious to see how it's going to work out in fitness apps
and I wonder if there's any optimizations that we should be making for cases
where we really don't care about the fingers,
but it's just, you know, kind of moving the hands around very rapidly.
We can probably do some things to make that work out better.
Now, eventually, we're going to want to see this as a primary input method for a headset,
but we're not there yet today.
It's not easy enough to do the common things
and there's not enough things that you would want to do with that,
but it doesn't seem too far off for us to be able to at least get
somebody that's using a headset mostly for social work and social interactions
to be able to be sort of controller free
and just drop the headset on your head, start using your hands,
and that will be a good step forward in usability,
especially for people that are not common users of this.
It's people that give demos to other people and talk,
try to educate them about how to use the controllers in VR.
It's always a little bit of a stretch
and if it really is just tapping things with your hands,
that's going to be a good thing.
Productivity has been slowly getting better.
Bluetooth keyboard and mouse support is actually getting pretty good.
It's like every year I go and I try to do some research work,
completely in VR, just bring out all the web pages
and try to use this like I'd be doing with a workstation.
And it's still not there yet, but it's getting a lot closer.
Last time I checked, Bluetooth keyboard and mouse support just worked.
Everything was perfect except the mouse wheel scrolling was a little weird.
I heard that they just like in the last release that got a patch too
and maybe fixed now. The multi-window support's getting better.
You know, this is mostly for browser today,
but there is this promised land of all Android apps, remote desktop,
and all of this coexisting, letting you stretch them out
and do all sorts of different things.
Monitor replacement's not there yet today.
But I did have one interesting experience where in the Immersed app,
when I went into there and my phone's just this giant thing,
but I really noticed how much detail I was missing on the phones.
And I see that in some of the other cases
where I wind up looking at this 8-foot wide screen in virtual space.
And I don't have great vision.
This might not be the case for people with really great vision.
But I'm like, oh, I'm seeing more stuff there than I was in reality.
This is actually kind of nice having that big setup.
So eventually, we do want to get to the point
where we're having people travel with a headset instead of a laptop dogfooding that.
It's going to be super painful for a while,
but it's only that type of work that's going to get us to where it really does wind up
displacing other devices, which is my whole win condition.
You know, we're not going to be able to just get everybody to buy one new device
on top of everything else that they have.
We have to be something that has all this awesome new stuff,
but also displaces one of their other devices.
The VR camera has improved,
where we finally have an advanced camera settings dialogue,
like people have been able to get with console commands or SideQuest or developer hub,
being able to get 16 nine recording bit rate options, having motion stabilizations really nice.
We do still need an option for kind of toggling on the stereo 3D capture support that I added a while ago.
And I also want to push for frame rate controls where even in our keynote here,
I wince a little bit when I see real in-game footage.
It's always kind of lurchy because it's captured at some fraction of our display rate,
which is not what's being played back in the video.
What we need to do for people making high quality footage for other uses is,
we need to say it's 60 frames per second capture and force the application to also run at 60 frames per second.
You know, it'll be a little flickery at 60,
but for your top quality promotional footage, that's really what you want to do.
See, casting to the phone flow is also improved.
I still do want a zero steps path.
I think that what we should have is if your headset,
one of your headsets that's paired to your account is in use, you open up your phone.
It should just be showing you what's happening there without having to dig into casting and starting from the device there.
The mixed reality capture exists for us now, but it needs to get a lot better.
We actually had an internal Beat Saber tournament event at Meta,
and the kind of special finale was going to be me versus Mark Zuckerberg,
and we were going to do mixed reality captures of each of us before they put it all together.
And it did not work out.
We both got super frustrated.
And in the end, we just had, you know, external footage and some poor video production team had to,
like, carefully stitch all of us out for our internal event.
And by the way, Mark is really pretty good.
I've spent a lot more time, I think, on Beat Saber, but he's very competitive, and he put a hard run at that.
We've got more cool home improvements.
Not as many as I would like to see if we just opened it up to everybody, but the environments are super high quality.
You know, I was just looking at the Lord of the Rings environment that I've got set on this device,
and I'm always happy seeing those things there.
That does bring up kind of this point about standards where, you know, people are talking about GLI.
We spent a lot of time adding GLTF support,
and I don't think we've gotten literally anything for it because we don't open it up for anybody to kind of make things with it right now.
It's just part of our internal tool chain, and sometimes we don't even use it.
If we're going to go to the trouble of using something like this, we need to just let everybody use it.
Let everybody pull the things in.
Even if lots of people make lots of terrible things,
there's just some kind of general rule about user-generated content where a lot of it will be terrible.
Don't sweat it.
There's going to be some amazing surprising things that happen that you're going to be really happy exist on your platform.
I am again running out of time with lots more stuff.
Let me at least spend a little bit of time being grumpy on the negative sides here.
So, the basic usability of Quest really does need to get better.
You know, a combination of battery draining if you leave it on and update hell if you turn it off,
winds up causing a lot of potential VR sessions to get kind of just aborted in frustration.
Just a couple hours ago, there was an internal post bemoaning the fact that it took 20 minutes
and multiple boots for somebody to get an old headset ready for viewing Kinect today.
And, you know, it pains me to hear people say that they don't even get their headset out to show off to company
because they know it's going to be a mess of charging and updating before they can make it do something cool.
I mean, VR should be a delight to demo for your friends.
We have a physical meta store now that gives demos
and I pushed for making the kind of quality of life for demoing changes in the mainline code,
but they do use a custom launcher.
But my thinking is that if it's too awkward to give a killer demo with the mainline code,
we should change the mainline code.
A lot of the usability issues are death of a thousand cuts things and they can be hard to fight,
but it feels like we may be getting a critical mass of people internally really fed up with it.
I mean, I make these weekly posts that are a lot internally about me bemoaning all the things that that I think could be better.
And I felt, you know, recently it does feel like I'm getting a little bit more traction
and there's more people that are kind of sharing my view here.
And I'm hopeful that this can lead to some more focus on things like that.
Like one of the features that's already in kind of in process that I think is going to be super valuable
is this idea of an update and power off instead of just power off your headset.
It'll say, all right, I'm going to power off, but first I'm going to update everything.
So you'll never be more than one kind of headset power cycle away from the latest thing.
And in fact, I'd like to push almost all of our background processing,
all of our telemetry and checking with the servers and anything that happens there
that right now happens at random times throughout your play session should happen at this
just when you're turning it off or after you've taken it off your head and it goes to sleep.
But we have so many random teams building random servers
and they all want to wake up at whatever random point they get a time slice
and we need to take more systems level control over this and kind of get a handle on it all.
And you can kind of follow along with my pain and suffering on this
because Quest is a pretty open system.
Anyone can go take a Perfetto trace and open up ADB Logcat
and just look at everything streaming through here.
It's a horror show where we have hundreds and hundreds of things
that kind of list out as errors in various services
just in the time that you wind up booting up the system.
And if you, in the old days, I could have ADB Logcat going
and I would just get one report a second VR API framerate stuff going on.
Now, sometimes there's hundreds of reports just spewing off the screen
and if you're not cutting it through some filter or grep,
you'll never even get to see anything that you're looking for.
I mean, this is, you know, this is a real issue here.
The early headsets, I used to complain when I was working on Samsung phones
about all this background processes and when we had Oculus Go,
it was beautifully clean and simple.
It's like you could name every process that was going on.
You could look at the traces, everything made sense,
what it was doing and what it was there for.
Now, it's huge.
Lots of things are doing stuff when they shouldn't be
or doing things that you didn't ask for
and a lot of this can get cleaned up.
But there's, you know, there is this urge to just like flip the table
and burn it all down and someone asked me recently
what I thought about the idea of a completely new OS
built from the ground up for immersive computing
and I can probably comment on that now
where we did have a large internal effort doing just that
and I was not supportive.
In fact, you know, one of my internal posts got reported
and removed for being not sensitive enough.
I so get the desire to want to do that.
I mean, this idea of I'm painfully aware of all the things
that are wasteful and not good uses of resources
and there's so much that we could do.
If you imagine from a clean sheet of paper,
first principles view, like how would you write a system
that does a great job at all this?
Oh, I know what I would want to do with all that
and it would be glorious.
But as soon as you wind up opening it up to other teams,
other developers, especially third-party developers,
you've just given up all of the kind of benefits
of having super ultra tight optimized work
where we could make some simple applications
that are 10 times more efficient than what they would get
implemented as a progressive web app or something.
But most of our apps are doing things
like they're running worlds in Unity
or it's running a webpage in Chrome
and these are doing real work
and the systems that we have fundamentally
like at the operating system level,
it just doesn't matter that much.
You know, I like to say 35 million lines of code in Chrome,
they laugh at your microkernel optimizations.
It's just not going to make that much of a difference.
So, you know, you may still want to have
your own operating system for strategic reasons,
you know, we in any, you know,
all of these huge tech Titan companies,
there's the who's in alliance with who at this time is,
you know, are they going to get mad at you
and try to do backroom things about whatever
and there's fears about that where if you own everything,
if you write everything yourself, you've got total control,
but it's just not, it's just not the wise move
if you care about broad third-party developers,
even if you make something better,
there's so much value in having Stack Overflow
and having all of these other examples
of everything that everybody's done.
I mean, the Android build environment
for native code is horrible.
I mean, it's just, I get angry and want to throw things
when I have to work at it,
but I can find answers on Stack Overflow and Google Docs
and all the things that other people have done before me
and I wish I could write something
that's super clean and easy
and has nothing that I don't need,
but I know it's really not the right thing to do there.
But now we do have some of these hardcore OS developers
working on our Android system.
I mean, some of them bailed and I get it.
It's like you signed up to build a new pyramid
and when you don't get to build a pyramid anymore,
you want to go try and find something else,
but some of these people are now working on systems
that I do think can make super strong improvements
to our system.
Like I keep talking about virtualizing memory
and static mapping resources
where we have this ability to make jumping into worlds
an order of magnitude faster than it is right now.
Like if you follow a link into a world in Horizon,
the process that everything has to go through is torturous
and I absolutely stand by that,
that it could be literally an order of magnitude faster.
And I think that there's the possibility
of working with Unity and Unreal at the engine level
to build things in so every developer
doesn't have to learn new things.
We just work out some things in the asset provisioning process
that can take advantage of some of these new technologies
that can work out.
So I think that's a practical path
to getting some of these cool OS level functionalities
in that can really matter versus boiling the ocean,
building a new operating system from scratch,
writing new application models, programming languages,
all the possible things going on there.
So I think we're actually over time.
Do I, can I go over time?
I've got plenty more I can talk about.
Can you give me a cue, Nate?
Well, I guess I'm seeing a no head shake there.
All right, well, I'll be heading into a Q&A later on today.
Unfortunately, there's only like a dozen something people
that are set up for that.
Again, my vision for VR Connect is that
I could have the same crowds of everybody
that wants to listen to me talk for five hours,
can just cluster around
and we'll spend the whole day going over
like the old days in physical connect in California.
I think we'll get back to that in VR maybe even next year
and it's gonna be amazing.
So, all right.
Wow, what a day and so much to look forward to.
Huge thanks to John Carmack for sharing his time
and that illuminating perspective
about what's still to come.
This has certainly been another memorable year
at Meta Connect.
We kicked off the day with some big reveals
and celebrated some of the incredible work
that's come out of our community over the last year.
How exciting, Karen, what'd you think?
It's just been amazing.
I'm so excited to see what new ideas
all of you come up with
as we all get this new tech we can play with.
You know, for me, today's main takeaway
has been that the metaverse is being built
by so many people and that collaboration
by this community will be the key
to unlocking its possibility.
That's it, I couldn't have said it better myself.
And also, thank you, Karen,
for experiencing this by my side,
for your enthusiasm.
You are just amazing and incredible
and you've also connected the dots
like only a creator could.
So, thank you.
Oh, it's been so fun.
Now remember, all of today's sessions
will be soon ready to stream
on the Reality Lab's Facebook page
and to my friends in MetaHorizon World,
hope you had a fantastic day
exploring MetaSquare.
And this content will also be available
on Oculus TV so you can connect
with any of the content you want
whenever you want it.
But to everyone watching,
thank you so much from all of us here at Meta.
Yes, to the developer and creator communities,
thank you for inspiring me
and helping me learn and grow.
Let's keep connecting and collabing.
Yes, we are inspired by all of you daily
and we cannot wait to see
what we build together in the future.
So for now, so long.
Bye!