アプリ概要

音の印象を視覚化したアニメーションオブジェクトを配置して、オーディオビジュアル環境をつくれるARアプリをリリースしました。iiOSのみ、無料。株式会社白(siro Inc.)と共に開発しました。iPad推奨です。

2020年に発表したARインスタレーション作品が元になっています(後述)

アプリでは、自分で選択したオブジェクトを好きなタイミングで平面上に配置していくことができます。長押しすると消去でき、ドラッグすると場所を移動することも。イヤホンをしていれば、オブジェクトを置いた場所によって音の位置が変わることもわかると思います。

テンポや音程は変えられませんが、同じオブジェクトを少しずつズラして配置したり、うまくタイミングをあわせると音楽的になったりが楽しめます。録画も可能なので様々な場所で試したり、シェアすることも可能です。

今回のバージョンは「一定の長さのループ素材」を配置していくものですが、今後は短い動きのサンプルが多数あったり、テンポや音程も変えられれば、ビジュアルをともなう作曲のようなこともできるようになるかと思っています。

元はインスタレーション

以下に開発の経緯を簡単に記します。このアプリは元々発表していたインスタレーション作品が元になっています。

2019年に文化庁メディア芸術クリエイター支援に採択され、siroの協力を得て制作したARインスタレーション作品「Forest and Trees AR」を2020年の文化庁メディア芸術祭などで成果発表しました。

この作品は、9つの展示台からそれぞれ別の音がなっており、そこにiPadをかざすと、音が視覚化されたアニメーションが見える、というARインスタレーション作品です。

これをiOS(iPad)だけでも体験できるようにと、2021年からアプリ化へ動きはじめ、先日公開の運びとなりました。

さらに前身となる作品

上記の2020年作、ARインスタレーション作品「Forest and Trees AR」には同シリーズの前身となる作品があります。

2012年「アートと音楽」展などで展示された作品「Forest and Trees」です。スピーカー内蔵のデジタルフォトフレームを12台配置し、それぞれの画面からはアニメーションとその音が流れていました。個別に近寄って見分け、聞き分ける体験(tree)と、全体が奏でる音楽を聴く体験(forest)の両方を行き来できるような環境をつくったものです。

アプリに話を戻しますが、長年つづけているプロジェクトの一環としてこのようなアプリを作りました。ぜひ試してみてください。