本記事は、創作+機械学習 Advent Calendar 2022 の10日目の記事です。

事前準備

――2022年12月9日深夜。

どうも、葦沢かもめと申します。

11/5に開催された第2回創作＋機械学習LT会に参加して楽しかったので、Advent Calendarにも飛び込みで参加させて頂きます。

投稿前日に思い立ったのですが、15日締め切りのコンテストに向けてAI使ってマンガを制作していたりして時間が無いので、短時間でできる内容を考えました。

短時間でできる内容……ならRTAにするか。

ということで、AIを使い倒して、目標1時間で短編小説を書き上げ、挿絵を描いた上で、朗読動画をアップロードします。余裕があれば、並行してこの記事も書きます。

ざっくりとした工程は、以下の通り。

まず執筆支援AI『AI BunCho』さんにて、あらすじを自動生成します。

このあらすじを元に、本文を『AI BunCho』さんにて書きます。動画が長すぎると作業が煩雑になるので、約1000字くらいのショートショートを目指します。5分くらいになる想定です。

本文が完成してから挿絵を作るのは遅いので、あらすじ段階で並行してColab上で挿絵を作り始めてしまいます。いい感じの挿絵が短時間で作れない可能性があるので、良さそうな絵ができたらそこで妥協して、小説側を挿絵に合わせにいきます。

モデルは、マンガ制作用にdreamboothでwaifu diffusionをファインチューニングしたものがあるので、それを流用します。これはオリジナルのキャラでファインチューニングしているので、あらかじめそのキャラを登場人物として想定します。

動画はAviUtlで制作します。朗読は音声合成AI『つくよみちゃん』を使います。BGMは（準備ができてないので）フリーのものを使います。

どうせなら字幕を付けたいのですが、いい感じに一括で字幕を付けられるプラグインが見当たらなかったので、適当にテキストを切って画像化するスクリプトを準備しました。テキストができたら、まとめて画像化して、音声に合わせて動画上に並べます。

こんな感じなら、最悪でも午前中には作業が終わるはずです。明日の自分に期待して今日は寝ます。おやすみなさい。

当日

――2022年12月10日午前11時。

おはようございます。せっかくなので画面を録画しておこうと準備していたら遅くなりました。午後からはマンガ制作をしたいので、ちゃちゃっとやりましょう。

あらすじ機能で、あらすじを生成します。

適当にキーワードを入れて、何回か生成を繰り返しました。途中ボツにしたあらすじからも良さそうな単語をキーワードに入れました。

できたあらすじはこちら。

ここからAIリレー小説機能で本文を書いていきます。

少し書いたところで、内容が固まってきたので、並行してColabにて、少女と白猫のイラストを指定して画像生成を開始しました。

こんな風に、たまに少女と猫が混ざったりしました。

大体50分くらいで本文は書き終えました。オチがうまくいかなさそうだったので、私の介入度合いを少し増やしました。

1時間を越えたあたりで、COEIROINKのつくよみちゃんで朗読音声を作成しました。時々読みが違うことがあるので、ひとつひとつ確認しました。

音声を書き出している間に、AviUtilでの動画作成に着手しました。とりあえず自動生成したイラストを貼り付けました。（※動画作成部分はキャプチャし忘れてました）

字幕画像を貼り付けて、音声とタイミングを合わせるところは手動なので、そこが鬼門かなと思っていたのですが、落とし穴はその前にありました。

字幕画像を合成するところで、自作スクリプトにバグがあり、欲しい字幕形式になっていなかったのです。

早速、デバッグRTAが始まりました。大体30分ほど格闘して、なんとか欲しい字幕画像が作れるようになりました。AviUtilを再起動しないと、新たに生成した画像を読み込んでくれなかったりして、かなり翻弄されました。

そこから字幕と音声のタイミングを合わせるところは途中まで順調でしたが、最後の方で読みの間違いが見つかったため、再度音声を合成し直し、途中からやり直しになってしまいました。これもタイムロスでした。

トラブル続きでしたが、約2時間でおよそ5分ほどの朗読動画の作成が完了しました。
たいへんよくできました！

デバッグがなければ、あと30分は時間短縮できそうですね。全体の流れも大体分かったので、操作に慣れればさらに記録更新は狙えると思います。

完成した動画はこちらからどうぞ！

雑談

さて、今回このようなことをしたのには、ちょっとした理由があります。

「小説執筆はeSportsになる」と、私は思うのです。

以前、小説を映像化することで、スポーツとして楽しめるのではないかという問題提起をしたことがありました。

現在、AIの技術が発展したことで、その未来は近付いてきているように感じます。

midjourneyやstable diffusionの登場によって、AIは人間と同等の価値をもつ作品を作れる可能性が大きくなりました。

このような状況における「人間が創作をする価値」とは、今まさに「創作している」という行動から生まれるのではないかと考えています。

一ヶ月や一年、頭をひねって苦労して小説を書いたところで、「どうせ苦労してるフリしてAIに書いてもらって楽したんじゃないの」と言われたら否定できません。それに、その間にAIがポンポン作品を世に出していますから、人間の作家はその大量の作品を超える価値を生み出さなければなりません。そのハードルは、AIが高精度化していけばさらに高くなっていくでしょう。

それゆえに「人間が苦労している」という証拠を目の前に提示することには、恐らく価値が生まれます。しかしただ執筆しているだけでは地味ですから、AIを使って作品内容をリアルタイムに可視化して分かりやすくする工夫は有効だと思います。

もちろん小説執筆から画像生成、動画化までを全て自動化することは、現在の技術でもやろうと思えばできてしまいます。しかし、その工程をわざわざ人間がマネージメントして、芸術性を生み出すところに魅力を感じます。

将棋がいい例ではないでしょうか。将棋棋士はもはやAIには勝てません。しかし人間の棋士同士の目に見えないつばぜり合いを、AIが形勢を分かりやすく数値化することで、コンテンツとしての価値を高めています。

それと似た形式で、作家がリアルタイムに執筆しながら、AIが生み出す映像をコントロールして観客を楽しませるイベントは、とても面白いと思います。落語のように場の空気を読む力も求められるでしょう。

また、近年人気が高まっているeSportsのように、企業のスポンサーがついてAI生成映像の優劣を競うコンテストが行われるようになれば、作家という仕事が儲かるようになるかもしれません。作家が子供の憧れる職業ランキングの1位になることも夢ではないでしょう。

「そんなの実現性のない妄想だ」と多くの方は思うでしょう。しかしもしかしたら、どこかの誰かが戯言を真に受けて、そういうプラットフォームを作ってくれるかもしれません。

もしそんなプラットフォームができたら、私が一番に遊びに行くことを、ここに宣言しておきます。

それでは、未来で逢いましょう。