ARKit

[iOS]デプスから3D点群を生成する

iOSで撮影したデプスデータを3D空間上の点群(Point Cloud)に変換する。

上の画像は自分で実装したものだが、RGB-D -> XYZ変換のサンプルは、Appleから公式で出ている。

さらにWWDC 2018の「Creating Photo and Video Effects Using Depth」セッションで実装の解説もある。

この解説をベースにデプスをXYZに変換する処理を整

もっとみる

iOSで撮影したデプスデータを点群に変換し、エクスポートしてMeshLabで読み込む

デプス -> 点群

拙著「Depth in Depth - iOSデプス詳解」参照。といっても現バージョンではほとんど解説がない。今やってる諸々が一段落したら加筆予定。

(追記)noteにも書いた(近いうちにこれをベースにDepth本に加筆予定):

点群 -> ファイル -> MeshLab

もっとみる

AR x IoT で遊んでみる

最近ARがとっても楽しい。現実の空間に仮想のオブジェクトを置いていろいろ遊べるのは、空想と現実の垣根が取り払われたように感じる。そこにIoT的なガジェットを組み合わせるともっと面白いんじゃないかと思って試してみた。

やってみたことはボリューム(可変抵抗)を回すと、AR空間上のオブジェクトが回転するというもの。通信にはOSCを利用。以下のような手順で作ってみた。
1. ボリュームの値を送信
2.

もっとみる

【iOS13リリース記念】 ARKit3の新機能まとめ

2019年9月19日にARKit3を搭載した「iOS13」がリリースしましたね。
いよいよ、ARKit3の実用化するインフラが整いました。

改めてARKit3でどんなことが出来るか、一緒に復習していきましょう!

ARKit3で新機能として追加される機能一覧
People Occlusion
Motion Capture
Simultaneous Front and Back Camera
Mu

もっとみる

ARKit入門 / 平面の検出(2)

「ARKit入門 / 平面の検出(1)」では、「位置とサイズ」による平面検出を行いました。今回は「ジオメトリ」による平面検出を行います。

1. 平面の検出

「平面」を検出し、検出領域を青い矩形で表示します。

import UIKitimport SceneKitimport ARKit//平面の検出(2)class ViewController: UIViewController, ARSC

もっとみる

今やってるARKit+Metal案件のメモ(ARKit 2でオクルージョン)

個々の記事にするほどでもない学びのメモ

ARKitのフェイスジオメトリでオクルージョン

ARKitでオクルージョンというと、まず最初に出てくるのは次のテクニック。

で、これをフェイストラッキングのときにARSCNGeometryを持つノードに適用すると、顔領域(頭部ですらない)しかオクルージョンしないのでとても変な感じになる。

じゃあデプスを使うか、ということになるわけだが、

ARKit

もっとみる

ARFaceAnchorの位置って顔の中心なんだっけ?

というのを、球ジオメトリを持つノードをアンカー位置に置いて可視化して確認した。

func renderer(_ renderer: SCNSceneRenderer, didAdd node: SCNNode, for anchor: ARAnchor) { guard let faceAnchor = anchor as? ARFaceAnchor else { return }

もっとみる

SceneKitのアニメーション(SCNAction)でカスタムのEasing Functionを使う

SCNActionのtimingModeプロパティにはSCNActionTimingMode型でイージング関数を指定できるが、

case linearcase easeIncase easeOutcase easeInEaseOut

これだけしか定義されていない。

じゃあこういうカーブを適用したい場合は諦めるしかないのかというと、

timingFunctionプロパティがある。

SCNA

もっとみる

【やってみた】iOS13/Xcode11で登場の新機能「Reality Composer」を紹介するよ~~

6/3にappleのWWDC 2019 が開催されましたね。巷ではどうやらレビュー祭りが始まっているようなので

乗るしかない!!このビッグウェーブに!!!!

祭り!!祭り!!祭りだ!!

って感じでレビュー記事を投下します。
iPhoneでARアプリを作ってる人は読んで損ないはず。

TL;DR

WWDC 2019で発表された「Reality Composer」を実際にやってみた。
デモ動画

もっとみる
(。・ω・。)
455

ゆるキャラアバター爆誕!3Dでどこまで「ゆる感」を出せるか挑戦してみた。

嗚呼…ゆるく生きていきたい…そしてこうなった。

今回は、ゆるキャラテイストの3Dアバター作りに挑戦します。
現在アイコンにも使っている、この猫のキャラクターを、もっとゆるっとするか。もっとリアルにするか。どちらかに振り切りたいな、と思いまして。

色々調べてはみたのですが、リアル路線だとリアルタイムレンダリングで動かすのがかなり大変そう。

毛のもふもふの再現が難しそうなんですよね。
以前自作し

もっとみる