展示会『With』を開催しました

2023年9月にメディアアート集団「WONDEMENT」を立ち上げました。
↓下記noteで設立の細かい話をしています。

そして2024年3月23〜24日の2日間に渡ってWONDEMENTとして2回目の展示となる『With』を代官山のギャラリー「UPSTAIRS GALLERY」で開催しました。

本展示では4つの作品を展示し、自分が全体のプロデュースと2つの作品制作に携わっています。

WONDEMENT初の展示となった前回『encounter』でも開催後に作品紹介を行っていましたが、今回も自分が制作に携わった2つの作品について解説を投稿していきます。
↓過去の作品については下記のマガジンにまとめています！

第一弾となる今回はそのうち「Can AI understand novels?」を解説します。

作品詳細

今回noteで取り上げるのは「Can AI understand novels?」です。

クレジット

プロデューサー、ディレクター、AI プロンプター
：SUKE

作品説明

「Can AI understand novels?」は急速な成長を続ける生成AIを軸に
AIが人の書いた小説を他人に説明出来るほどに理解出来るのかをテーマとした作品です。

題材に宮沢賢治の名作『注文の多い料理店』を使用し、
ChatCPTに文章を読み込ませた上でストーリーを10つのチャプターに要約させ、それぞれのチャプターを説明する画像を生成させることでAIや小説の内容を理解しそれを元にストーリーに沿った画像を生成出来るのか確かめる実験的な側面を持つ作品にもなっています。

使用ソフト等

• ChatCPT（GPT4）

• DALL･E 3

• Photoshop

題材を選ぶ

そもそもの発端

今回の展示会『With』は「既存のアートとメディアアートをかけ合わせる」
ということをコンセプトとしています。

その中で、急速な成長を見せクリエイティブにも影響を及ぼし始めている生成AIを、アートの境域を侵食する存在から新たなクリエイティブのツールとして使う提案型の作品として使ってみたいと考えました。

その中で「小説を要約させてその画像を生成する」という行為がChatGPTの様なチャット式のAIと、DALL･EやStableDiffusionの様な画像生成AIの両方を活用できると考えて今回の作品を制作することにしました。

条件から元となる題材を選ぶ

今回、元となる小説をいくつかの条件を定めたうえで選定しました。

1. ChatGPTにインポート可能な文字数で完結する作品であること

2. 多くの人が知っていてストーリーをイメージ出来る作品であること

1.ChatGPTにインポート可能な文字数で完結する作品であること

これはChatGPTで要約を行う以上必要な条件です。

ChatGPTは入力された文字を「トークン」という区分けで認識しているのですが、一度に入れて認識出来るトークンは下記のように決まっています。

GPT-4：32,768トークン
GPT-4 Turbo：128,000トークン

英語の場合は一単語で1トークン、日本語の場合は計算が複雑ですが1文字あたり1〜3トークンです。
なのでGPT-4に日本語で入力する場合は10,000〜30,000文字くらい入る分けなのですが、文庫本で10～12万文字と言われる一般的な小説は到底入り切りません。

仮に長くてもこちらで程よく分割して入れることも可能ですが、前後の要約が上手く出来るようにストーリーが良い感じで切れる部分で分ける必要があります。
また、そもそも要約する段階で人間が介在すると当初の「AIに要約させる」というコンセプトからずれると感じ、一度に読み込める文量であることを条件としました。

2.多くの人が知っていてストーリーをイメージ出来る作品であること

AIが誰が見てもなんの作品か分かる絵を出力してくれれば良いですが、
実験的な作品ということもあってその確証はありません。

そのため正解を知った時に「この作品だったのか！」と感じてもらえるように、多くの人が知っていて作品名を聞けばストーリーがイメージ出来るものを選ぶことにしました。

何を選ぶか

この2つの条件を元に今回の作品では
宮沢賢治の名作『注文の多い料理店』を選びました。

短編小説であり読み込ませることが可能が文字数に収まっていることと、
学校の教科書にも採用されていることで子供から大人まで一度は読み、触れたことがあるであろう作品ということでこれを選びました。

ストーリーとしても人間や犬、店の奥にいる化け物といった複数の生き物が登場するため、それらをAIがどう描くのかというところもポイントになると考えたことも理由の一つです。

今回はここまで

毎度のごとく長くなってしまったので、今回はここまでとします。
次回は実際に要約をAIで行いそこから絵を生成していった過程や、その実験結果について書いていく予定です。

それではまた！