LiDAR付きiPadを使ってみて、その認識速度の速さに驚きました。下の動画のように2m先くらいまでどんどん壁や床を認識してメッシュを貼っていきます。

LiDARが検知した仮想の床や壁は、当たり判定があるので、ボールのオブジェクトを作成して投げるとぶつかって落ちます。これを使って何かできないかなと考えていて、声を形にして壁にぶつかったら落ちるサンプルを作ってみました。中心の木や地面は認識されているので、文字がぶつかるとバラバラになって、地面に転がります。ARのフレームワークはRealityKitを使ってみました。SceneKitに比べてできることは少ないですが、扱いやすいフレームワークです。iOSの音声認識もかなり精度が良くて使いやすいです。

我が家には２才のこどもがいるのですが、声が形になるのが面白いらしく、iPadを渡すと結構長いこと遊んでいました。まだ文字の読み書きはできないのですが、しゃべることはできるので、声を形にしてひらがなや漢字を教えるのは、わりと良さそうな気がします。

ARを使ったiOSの開発を仕事でやっておりますので、実現したいアイデアがありましたらお気軽にご連絡ください。
https://si-ro.jp/about