大学4年生の卒業制作で、物体検知とTeachable Machineで構築した接触判定システムを使用した、インスタレーション作品を制作しました。
そこで使った技術や詰まったところ、その解決策、Tipsなどを記しておきます。後輩たちの制作の一助になれば幸いです。

注意：詳しい技術の話は省いて…というか、私もきちんと理解しきれていない部分がありますので、この記事では紹介しません。通信の云々とか。とりあえず動いたらいいや精神でやっているところがあります。また、専門用語などをを誤って使っている場合もあると思います。ご容赦ください。

制作したインスタレーション作品

手がペンに触れたら光の線が流れ出し、手がペンから離れると線が消えていくというインスタレーション作品です。

使用したソフト・サービス

今回は
・openFrameworks
・Teachable Machine(p5.js)
・TouchDesigner
を主に使用しました。
以下、ざっくりとシステムの概要を示しておきます。

openFrameworks

以下oFと呼びますが、このソフトでは、物体検知(Object detection)を行なっています。東京都立大学の馬場先生が制作したoFのaddonを使用しています。
https://github.com/TetsuakiBaba/ofxOpenCvDnnObjectDetection
そして、検知した物体のラベル(名前)や座標、bounding boxの幅・高さを、OSC通信を用いてTouchDesignerに送信しています。

Teachable Machine(p5.js)

これを今回は、ペンに手が触れているか否かの接触判定に使用しています。
画像認識を用いて、手がペンに触れているときは"touched"、触れていないときは"untouched"という結果を返しています。
websocket通信を用いて、その結果をTouchDesignerに送信しています。

TouchDesigner

OFやTeachable Machineの結果を用いて、ビジュアルエフェクトを作っています。
物体検知のbounding boxの座標をランダムに取得してそこをParticleの発生源としています。

概要を説明したところで、具体的にそれぞれのソフト・サービスで行なっていることを説明していきます。