自己紹介

始めまして、SUKEと申します。
元々東京のとある大学の芸術系学部で映像表現や映像を使ったコンテンツの勉強をする傍ら、大学内で「Mapper」というメディアアートサークルを立ち上げてメディアアートやプロジェクションマッピング作品の制作、展示をしていました。
2022年の3月に大学を卒業し現在は広告の企画、制作会社でプロデューサーとして仕事をしています。

TouchDesignerでChatGPTが活用出来ないかを考える

そもそもChatGPT自体話題なる日も多く知っている人が多数だと思いますので、長くなるので説明は省きます（「ChatGPTって何」という方はすみません…）

実は最初に話題になり始めた当初から「TouchDesignerに使えないか」と考えていて利用登録をしたのですが、アクセスが集中していたのか制限がかかっており、利用出来ませんでした。
それが最近やっと使えるようになったので、実験してみました。

活用方法を考える

色々と活用方法はあると思いますが、当初から浮かんでいたのは
①…TouchDesignerで作ったシステムに組み込む
②…リサーチツールとして使う
上記二点です。
ChatGPTが話題になり始めてから、ChatGPTを活用したサービスが出てきていることから①の実験価値は大きいと思っているのですが、なにせエンジニアではない自分（そもそもコードが書けないからノーコードで作品を作れるTouchDesignerを勉強し始めたのがきっかけです…）にはハードルが高く今回は②の活用方法を試した結果を書いていきます。

Google先生の代わりとして使ってみる

自分はそこまでTouchDesignerに慣れているわけでもないので、基本的には思い描いたシステムの各機能と同じまたは近いものをネットで探してそれらをカスタムしながら組み合わせて制作しています。

そのため作品制作においてGoogle先生の存在は必須なのですが、
そこをChatGPTに置き換えて使ってみます。

アイデアをそのまま質問してみる

最初のステップとしてものは試しで思いついた作品アイデアをそのままChatGPTに質問してみます。

すると下記のような回答が帰ってきました。

この検証の前から適当な質問を投げてみて、しっかりと回答が帰ってきていたのでびっくりしていたのですが、
TouchDesigner関連の質問に関してもここまで手順化されて説明が帰ってくるとは思わず、ビックリです。

ただ当初はポリゴンの切り替えを想定していたのですが、一つのモデルからTouchDesigner上のパラメーターでポリゴン数を好きに調整出来るものにしたいと考え、追加で下記の質問を投げました。

すると下記の回答が帰ってきます。

先程と同様にしっかりとした手順として回答が帰ってきます。

回答をもとに実際に作ってみる

各手順にそって実際に制作をしてみますが、早速問題が発生します。
今回の検証で使用したのは執筆時点(4/16)でのTouchDesignerの最新バージョンです。
このバージョンには「SOP」というノードは存在していません。
そこでSOPという種類の中から何を選択すればよいのかを聞くと下記の回答が帰ってきました

しかし先程と同様に「Import」というノードも存在していません。
そのため存在しない旨を聞くと下記の回答が帰ってきました。

ここまで来てやっとファイルをインポートする方法が分かりました。
「File In」というノードはあるためそれを選択して任意の3Dモデルをインポートします。
しかしまた問題が発生。
４で書かれていた「メッシュオペレーター」というノードも存在していません。

色々と質問してみますがここで中々解決しない状態が続きます。

ChatGPT敗北する

上記のように質問を色々としていましたが、中々解決出来ず結果として通常の検索で調べました。
結果数分もしないうちに「polyreduce」というノードであればモデルのポリゴン数をいじれることが分かりました。
リサーチとしてchatGPTが完全無欠というわけではなさそうです。

途中から再度ChatGPTに質問して制作してみる

ポリゴン数をいじる方法を検索で見つけ、元々知っている知識で自動でポリゴン数が変化するところまで作成し、ChatGPTで続きの内容を聞いてみました。

次はインポートしたモデルをレンダリングしてTOPに入れる方法が分からなかったため、下記の質問をしました。

1や2は既に終えている手順なので3からやっていきますが、一向に表示されません。

最終的に表示には「Geometry」compが必要で、その出し方と各ノードとの接続方法までGoogleで調べることになりました。
（SOPの出力部分で右クリックしGeometryを出すと接続された状態で作成出来る）
するとレンダリングするところまで完成しました。

ただ今度はレンダリングされたものが暗くなったしまったため、下記の質問をChatGPTに投げます。

するとLightが必要ということが分かったため、compからLightを追加し無事思っていたものが完成しました。

制作過程を振り返る

今回の検証で良かったところと気になったところを振り返っていきます

良かったところ

・アイデアベースからリサーチできる
一番大きいのはここだと思います。
検索ベースであれば「アイデアを思いつく」→「何らかの形でアイデアを実現させる方法を考える」→「それをTouchDesignerでどう落とし込むかを考える」→「それぞれのやり方を調べる」というフローですが、
chatGPTであれば「アイデアを思いつく」から直接調べてやり方を知れる様になります。
今回の場合であれば「顔の３Dモデルを取り込み、パラメーターでローポリゴンのものからシームレスにハイポリゴンのものへ切り替える作品」というアイデアをそのまま質問すればそのまま制作フローを回答してくれます。
検索で調べるにはどういったワードで調べれば求める結果が出てくるかという問題もあるので、複雑なものであればあるほどリサーチだけでも難易度が上がりますが、そこを考えなくてもいいChatGPTはかなり便利だと思いました。

気になったところ

・100%正しい答えが出るわけではない
正直気になった点はこれに集約される気がします。
今回の検証でも過去バージョン（本当に過去バージョンには存在していたのかは不明確だが）でのやり方が出てきました。
長くなるので本noteではカットしましたが0から100にランダムに信号を出すやり方を聞くと、やはり使用しているバージョンでは出て来ないタブやパラメータ、ノードを使うよう回答が出てきて一向に完成しない、出来ないという状態になりました。

ただ難しいのは「正しくなくても正しいかのような書き方で回答が出るところ」で、今回のような使い方に限らず通常の検索においても、事前の知識が全くない状態のものであれば恐らくそれが正しいと利用者は認識してしまうと思います。

・思い通りの回答が出ないことが多々ある
これは1つ目の内容にも被りますが、利用しているバージョンでは存在していないノードや項目を利用するような回答で出てくるケースが多々ありました。
TouchDesignerの様にソフトの使い方にかかわるものはどんなバージョンを使用しているかも重要なため、「最新バージョンを利用しています」という記載を入れていても同様に存在しないものを回答してくることから、ある程度の精度でしか回答されないという前提を持って利用する必要があると感じました。

結論

今回はChatGPTをTouchDesignerでの作品制作に活用する実験をしてみました。
結果としては「便利だけど検索も併用する必要がある」という感じです。
回答の中には不確実性の高いものや明らかに間違っている情報も多く、また何度やり取りをしても正しい回答が出てこないなど完全にChatGPTだけでリサーチをかけられる状態ではありませんでした。

ただアイデアベースから直接製作フローを調べることが出来るという点は便利ですし、様々なサイトに掲載されている情報をかき集めて回答してくれるので、質問から答えやその緒になる情報を得る時間は格段に短くなったと思います。