morioです。

先日、MusicHackDayTokyo2019というイベントにメンター参加してきましたので、どんなことやってきたかをまとめてみます。

■どんなイベントか

音楽とテクノロジーを掛け合わせて新たな体験を創造することを目的とした二日間のハッカソンです。

2012年からこれまで世界各地20箇所で約40回開催され、世界最大の音楽ハックイベントとして認知されています。

とのことです。

過去の様子はこちら。

■なぜ参加したのか

発端はとあるMicrosoft MVPの方経由の紹介で登壇した下記のイベントがきっかけでした。

こちらのイベントで今回のMusicHackDayの主催者であるVERSUSさんと知り合い、今回のハッカソンへの技術サポート枠での参加にお声かけ頂きました。

他にもUnityの常名さん、僕と同じくHoloMagiciansの岩本さん、宮浦さんも技術サポートとして参加されました。

■何をしていたのか

「技術サポート枠」とは言うものの、参加者の方は非常に技術力の高い方が多く、ほとんど質問は来なかったのが実際のところです。
なので、せっかくの機会なので私も何か作ってみようと思い立ち、借り手が不在だったPerception Neuron（モーションキャプチャー機器です）をいじってみることにしました！
元々下記のようなキャプチャーシステム調査をする程度には興味があったので、非常に良い機会に恵まれました。

ちなみにハッカソン中に一度だけPerception Neuronについての質問を受けたのですが、前述のように”たまたま”Perception Neuronを触っていたため、鮮やかに質問に答えることができました！

■何を作ろうとしたのか

まずはPerception Neuronを装着し、動かすところだけでも覚えて帰ろうと考えました。
Perception Neuronの取り扱いをされているアユートさんのアドバイスも受け、この段階は比較的無事に完了しました。

一日目の終わりにここまで行って、そのあとこれをどうするかを考えた結果、
１．手を振ったらそれを検知して写真を撮り、Twitterにアップする
２．１と同時に、Androidアプリにも連携し、何らかの音やエフェクトを出す
というのを考えました。

■結果

１の途中、手を振ったらそれを検知して写真を撮るところまでは割とすんなり実装できました。
過去にこんなHoloLens首振りジェスチャーを試したことがあり、この時にフレームごとの移動量を取得して発火させる処理は書いていたためです。

右手を振るところの取得は実際に手を振ってみたときに大きく値が動いていた右手のRotationをRightHandというTagつけてGetComponentWithTag で取得しました（けっこう無理やり感あるかな）。
で、移動量がそこそこでかいタイミングでTextureをRawImageに書き込み。
小さくてわかりづらいですが、下記のGIFでいうと左下のRawImageにCameraのキャプチャをコピーした感じです。

ここまではよかったのですが、TwitterのAPIを使用するための下準備をしていなかったので投稿機能を断念（申請してから３営業日くらいかかるらしい）。
Azure LogicAppsでの実装も考えたのですが、アップした画像をTwitterでつぶやくところまでいけるかどうか調べきれませんでした。
※個人的にはHoloLensからTwitter連携まではLogicApps使ってやってたので流れは理解していましたが、ツイートに画像の添付が行えなそうだったのです。

そのため、途中で１は諦め、２のAndroidアプリのほうに着手しました。
ここでは凹み様のuOSCを使えばトリガー渡すくらい楽勝だろうと考えていました。

これまた過去にuOSCを使ってAndroidとHoloの連携もしたことあったので。

ですがPCからAndroidへの通信がうまくいかず、環境のせいなのかどうかの切り分けすら終わらずにタイムオーバー。
結局飛び入りで結果発表することもかないませんでした。
残念！！！

■感想

実をいうとハッカソンに参加した経験はほぼないのです。
オープンなのはこの時くらいかな。

ハッカソン中の時間管理が全っ然できてないことに気づきました。
詰まったら即切り捨てる判断して次へ次へ進まないと成果物の体まで持っていけないことを痛感。
これが学習できただけでも非常に実りのある場でした（技術サポートとしての感想ではないが）。

それと、次はハッカソン参加できるように知識と自前のアセット類（技術的な引き出し）を多く持っておきたいですね。
今回うまく行ったのも過去に試したことがある機能のあたりばかりでしたので、ハッカソンの二日間で新たな知識を得ながら成果出すのは時間的に相当厳しいと認識しました。

とはいえ、非常に楽しかったです。

ハッカソンのまとめはこちら。

では。
早く梅雨明けるといいですね。

2019/7/17 morio