So You Think AI Can Dance: Watch This Japanese Dance Troupe Collaborate with AI on Stage

February 1, 2019 by ISHA SALIAN

掲載元はこちら↓↓

AIが踊る：見逃せない日本のダンスカンパニーのAIとのダンスステージ

AIは近年、幅広い創造性を発揮している。楽曲の制作や、物語の執筆、webデータからの画像生成などだ。
そして今、AIはパフォーミングアートの領域を開拓しようとしている　ーダンスフロアに一歩踏み出して。

日本の作品”Discrete figures”は、AIのダンサーがステージ上に投影され、生身のダンサーと競演する。このショーでは、インプットデータとして観客がダンスをした記録を使用して部分的に学習したニューラルネットワークも使用されている。

日本のデジタルアート集団ライゾマティクスと、マルチメディアダンスカンパニーのELEVENPLAYと、メディアアーティストのカイル・マクドナルドがコラボレーションしたもので、昨年はカナダ、アメリカ、日本、そしてスペインで上演された。

AIによるコレオグラフィーの裏側

テクニカルな部分を支えているのは、カイル・マクドナルド。
彼は2010年の映像作品からダンサーとの作品を作っているという。この視覚体験を”play with the boundary between real and virtual spaces”ーリアルとバーチャルの境界をプレイする試み、と述べている。彼はNYU ニューヨーク大学芸術学部の非常勤講師であり、Rensselaer工科大学のエレクトロニックアーツの学位を取得している。

この”discrete figures”で、カイルは８人のダンサーから2.5時間分、一定のビートに合わせた即興ダンスのモーションキャプチャデータを取った。NVIDIAのGPUを使用して、この学習データは「dance2dance」というニューラルネットワークに落とし込まれた。これは、３Dのスティック状の人体画像としてレンダリングできる動きが生成されるものだ。

AIとELEVENPLAYのダンサー丸山未那子（MARU）とのデュエットの間、AIは３Dに投影された人体をまといステージに立ち、MARUの隣に浮かび上がっていた。AIは銀色のアウトラインとして踊り始め、MARUの分身へと結晶化して溶け込んだ。

投影されたAIの映像はまずは前もってニューラルネットワークで生成された動きをパフォーマンスし、そしてダンスカンパニーのコレオグラファーであるMIKIKOが付けた動きへと移行した。MARUとAIダンサーは、彼女がステージを離れるまで協調したダンスをし、後に残された映像はやがてAIが振付をしたシルバーの輪郭となって残された。

この「人が創造したダンス」と「AIが生成したダンス」の相互作用が”discrete figures”のメインテーマである。
「見ている人は、どこで人の意図したものが終わり、自動的な動きが始まるのかを深く考え始めると思っています。」カイルは言う。「このような時代に、私たちが消費をしている物事、そして自分自身をいかに表現するかにおいて、どのタイミングでアルゴリズムが支配を始めるのか？という問いはごく当たり前に生まれてくるだろうと思います。」

さらに：観客がダンスフロアへ

もう一つの演出が観客に参加を呼びかけて、NVIDIA Researchが開発したpix2pixHDのアルゴリズムを用いて組み込まれていた。

ドアオープンからショーが始まるまでの間、チームは１６人の観客（年齢もダンス経験もバラバラ）をブースに招き、黒いスクリーンを背景に１分間のダンスを踊ってもらい、記録した。それぞれのダンスビデオはクラウド上のポーズ推定とゼロから学習させたpix2pixHDの一基のNVIDIA GPUに送信された。

約１５分間の学習を経て、アルゴリズムは一連のシンクロされたダンスビデオを生成した。ショーが始まるまでに、カイルはこの１６のAIが作ったビデオを楽曲に合わせて合成して、パフォーマンスの間にスクリーンに投影できるように制作した。

観客のデータを使用することで、「動きのデータがマシーンによって残される」ーカイルはMedium Postにこう語っているー　体験へ加わることを可能にする。「それは、パフォーマンス全体を通して反復されるテーマに沿ったものです。マシーンに反映された自らのヒューマニティを目にすること。そしてその逆も。」

演出には3Dクラウドを使用したニューラルネットワークの生データのクリエイティブな可視化と、生成されたダンサーのスケルトンモデルも登場した。

「わずか１５分の機械学習を経た、未完成のpix2pixHDを見て、トレーニングプロセスの一部分もステージにぴったりだと感じました」とカイル。「最初の１５分のトレーニングでは、AIの出現やデジタルと現実世界の乱雑な境界線といったパフォーマンスのいくつかのテーマをよく捉えているのです。」

＜訳おわり＞

discrete figures at Spiral Hall Tokyo /daito manabe