AR、VRは視覚的忠実度とヘッドセットの快適さの両面で進歩しているため、研究者はコントローラーを持つよりも自然に感じる入力ソリューションの研究開発を進めています。今回、研究者グループは、赤外線カメラを使用して3Dで手の動きを追跡し、着用者の手首の輪郭から20箇所の指の関節位置を追跡するリストバンドベースのソリューション「FingerTrak」の開発を発表しました。

コーネル大学のSciFi Labがウィスコンシン大学マディソン校の研究者の協力を得て開発したFingerTrakは、ディープニューラルネットワークを使用して、手首の周りに取り付けられた3つまたは4つの小型サーマルカメラからの入力をつなぎ合わせ、手のポーズ全体をまとめてキャプチャします。

カメラによって生成されたシルエットを使用して、バックボーンネットワークと回帰ネットワークは指先と関節の位置を推定します。推定結果は完璧ではありませんが、VRおよびAR入力の一部の形式に使用できます。FingerTrakはその他にも、人間とロボットの相互作用と制御、手話の翻訳、パーキンソン病やアルツハイマー病などの変性疾患の早期発見を含むモバイルヘルスでの活用が期待されています。

研究者は「手の全体の動きを正確に予測するために、手首の輪郭だけで、十分。ARやVRの既存のコントローラーのような手袋やリング、またはその他の技術を必要とせずに、センシングシステム全体を手首に配置できる」と示唆しています。デモンストレーションビデオでは、FingerTrakの手の動きの追跡がバイオニックハンドの動きに変換され、ユーザーが書き込み、コーヒーを飲み、スマートフォンとやり取りしている時間をコンピュータが判別できるようになっています。とはいえ、システムが特定のジェスチャー（人が書いているものなど）を迅速に追跡することはまだ難しいとされています。研究者らは、FingerTrakの平均角度エラー率は、テスト対象のバックグラウンドに応じて、テスト中に6.46から8.06度の範囲であったと述べています。このテスト結果から、少なくとも一部のアプリでは、高精度の指追跡ソリューションを完全に置き換えるのではなく、FingerTrakで補完するのが最善といえます。

手首に取り付けられたカメラは、ユーザーの頭から手と指の位置を監視するOculus QuestなどのVRヘッドセットにあるインサイドアウトトラッキングカメラを強化できます。

プロトタイプ形式でも、FingerTrakはすでにかなり小さく、更なるエンジニアリングでもっと小さくすることができます。リストバンドの複数のポイントに取り付ける必要があるにもかかわらず、Apple Watchよりも薄い、非常に低解像度（32 x 24ピクセル）のサーマルカメラに依存しています。

プロトタイプはテザリングされたRaspberry Piボードにも依存していますが、ハードウェアはスマートウォッチなどの小さなソリューションで制御することもできます。

FingerTrakは、9月中旬に普及とユビキタスコンピューティングに関する2020 ACM国際合同会議で発表されます。

本研究の基礎となる論文「FingerTrak：手首のミニチュアサーマルカメラでキャプチャされたディープラーニングハンドシルエットによる連続3Dハンドポーズトラッキング」は、こちらから入手できます。

参考：https://venturebeat.com/2020/07/20/researchers-show-fingertrak-a-hand-tracking-wristband-for-ar-vr-input/