こんにちわ、（自称）絵師見習いのUKIです。

最近ツイッターのTLはmidjourneyで賑わっていますね。文章を与えることで画像生成するAIのクオリティが高すぎると評判になっています。
小説の挿絵くらいならAIが描く時代がやってきたのでしょう。

本記事の背景

さて、筆者は漫画を描き始めたばかりであり、小学生レベルの絵や構図しか描けません。
絵を描こうと決めた7月、まず絵を描く前に「できるだけ短期間で少ない努力で絵のレベルアップするために、現時点でAIがどれくらい漫画に活用できそうか」ということを調査しました。

結論として、「現時点ではAIを漫画の作画に効率的に活用することは難しい」という考えに至ったのですが、その過程を備忘録としてまとめます。技術の進歩に伴い、再検討することもあるかもしれません。

まずは顔を描かせたい

正確に言うと、顔の下地となるアタリと表情を描かせたいと思いました。
漫画ではNFTのようなバストアップを描くだけではなく、様々な構図に応じた角度（俯瞰、煽り、横顔）から、様々な感情表現を描く必要があります。

熟練した漫画家や絵師の方は、左右反転しても全く違和感のないようなアタリを一瞬で取ってしまいます。しかしこれが素人には難しい。AIにアタリを取ってもらい、自分はペン入れだけする。これができれば大幅な効率アップに繋がると考えました。

STEP.1 キャラクリ

AIがアタリを取るベースのキャラクターを作る必要があります。これも面倒だからAIに生成させてしまいましょう。

キャラクターの顔を自動生成するサービスは、現時点でいくつか存在します。国内では、PFNによる「Crypko」、Tavernによる「うちの子」が挙げられます。海外では「Waifu Labs」が有名どころだと思います。

STEP.2 表情や角度

これはドワンゴの方の先行研究があって、Githubにコードがアップされています。これを使ってWaifuで生成したキャラの表情をゴリゴリいじれます。感情や顔の各パーツのパラメータ数値を入力するだけで多彩な表情が作れてしまいます。筆者でも表情の自動生成ができることを確認しました。

STEP.3 キャラの配置

これらで生成した表情のキャラを各コマに配置すれば、少なくとも顔に関しては下絵が出来上がることになります。あとはどこにどのように配置するか？これは次のタスクで検討しました。

構図やポーズを取らせたい

STEP.1 既存漫画の顔やポーズの検出

まず、構図やポーズを学習させるために教師データが必要です。既存漫画の顔やポーズを検出して学習データにすることを考えました。

結論として、OpenCVやOpenPoseを使うことでそれなりに検出することができました。

STEP.2 さらに学習サンプルを集める

調査を進めるうちに、Manga109というデータセットがあることを知りました。漫画のメディア処理の学術研究使用のために取りまとめられたデータセットで、アノテーション済み（漫画のどこに顔や体や吹き出しがあるか数値化済み）のものです。

これらのデータセットを学習させ自動生成すれば、コマ割り＋構図・ポーズのサンプルが手に入ります。これにキャラのアタリを合成すれば、顔下絵付きの数十枚の漫画ページサンプルを出力でき、そこからペン入れするページを選択すればよい。そう考えました。

漫画家の作画YouTubeを見て断念

ここまで調査を進めましたが、以下の浦沢直樹氏の作画YouTubeを見て構想を断念しました。

圧倒的に熟練した漫画家の作画スキルと効率の前では、AIによる作画補助は全くの非効率であると感じてしまいました。

背景の下絵を描くにしろ、所望の構図・画風にたどり着くための工数が大きすぎる。midjourneyでも、所望の絵を得るために人間がひたすら四苦八苦している状況と同じですね。こちらの記事を読むとよくお分かりいただけるかと思います。

おわりに

結局、今回の検討では近道は見つかりませんでした。
まあ、近道がないということが分かったのが最大の収穫ですね。

それではまた経過報告します。