自動運転をどのように作るべきか、現在TURINGが考えているマスタープランを共有したいと思う。

① 走行データを取得する。
単純にドライブレコーダ画像があればいいという問題ではない。車の内部データも含めて取る必要がある。幸いカメラのような比較的安価なセンサーだけを使う場合、走行データを自分達で撮ることは金額的にそれほど厳しいことではない。

② 強学習器によるアノテーション。
人間の知識が大量に埋め込まれた学習器はすでに多数存在している。それらの学習器に走行データをアノテーションをしてもらう。さらに車は他のCV系にはない良い特徴がある。それは車は移動するということだ。自分のオドメトリー情報と未来のアノテーション情報を使うことで通常の学習器では不可能なレベルのアノテーションも可能になる。

③ マルチタスクDL(Hydra Net)を作る。
アノテーション付き画像を解くマルチタスクネットワークを作る。画像の一部にマスクをかける自己教師あり学習なども組み合わせることで、さらにより良いネットワークを作れるかもしれない。

④ 十分良くできた潜在空間ベクトルを抽出して深層強化学習する。
③で作られた潜在空間ベクトルを深層強化学習の文脈でさらにトレーニングさせる。Dynamics関数の作成に成功すれば、自動運転は急速に現実味を帯びるだろう。

⑤ 実車で inference and applyする。
 走行データを取ったとはいえ、実際の公道では操作は難しいものだ。実際に走って現実とのズレを素早く把握する必要がある。

これは2021年12月現在のマスタープランである。方針は変わりうる。