第2回生成AIなんでもLT会に登壇しました

2023年11月12日に行われた、「第2回生成AIなんでもLT会」に登壇させていただきました。

「生成AIなんでもLT会」は、生成AIにまつわることなら何でも発表できる、非常に開かれた活発なコミュニティです。
発表内容も、下記の通り多岐に渡っています。

• AIの性能の上げ方：まっくすさん

• AIボイチェンで、1人多役のバ美肉演技：やなぎさん

• 画像生成AIにまつわるTips：あるふさん

• 音楽生成AIについて：Neroさん

• 文を入れると動画になるアプリ - 発信の民主化：ダイヤさん

• インディーチームにおける生成AIの活用事例：ようさん

• 非エンジニアが、AIツールを自作して自分のためのAIアシスタントを手に入れちゃう話：私

• Google PixelとAI：L4Ph

どの発表も非常に刺激的な内容でした。
私の発表も面白がっていただけて、たいへんありがたかったです。
LT会後の交流会でも、たくさんの方が話しかけてくださって、非常に楽しい夜でした。

背伸びしたアプライかも、と思いましたが、勉強したり作ったりする機会になりましたし、今後も色々な機会でお話ができるように、引き続きチャレンジしていきたいと思います。

この記事では、私が登壇してお話した内容をまとめてお伝えします。

非エンジニアが、AIツールを自作して自分のためのAIアシスタントを手に入れちゃう話

自己紹介

私の仕事での貢献領域は、発達障害児・発達障害者の支援を通じて、社会のダイバーシティ許容度を向上すること、と言えると思います。
企画室・内部監査室という組織があって、それを仕切らせていただいています。

今年4月から、グループの障害福祉の事業所230ぐらいとオンラインで「支援xAI勉強会」というのを毎月開催しています。

AIは独学で、エンジニア経験なし。コードは自力で書けません。
2021年夏ぐらいからマンガを制作しています。

ときどきマンガxAI勉強会と称してXスペースで喋っていますが、ほとんど仲間内の雑談で、大したことを話せてないので、もっといろんな方が入ってきて、非エンジニアであるマンガ制作者がAIを使うことについて色々話せたらいいなーって思っています。

Xにマンガを投稿しているので、チェックしていただけると嬉しいです。
私は、「自分の会社に超高性能なAIを搭載したアンドロイドが入社してきたら、どうなるかね、という話を」描いています。

私は大学の専攻が写真で、ずっと写真をやってきたんですが、マンガのいいのは、未来を直接描写できるのと、ビジュアルとテキストの複合表現であるというところだと思います。

リプライで感想を聞かせていただけると、Xのアルゴリズム的に大変うれしいので、よろしくお願いします。

どっちにも共通する課題

仕事、プライベート、両方に共通する課題は、「AIができることはAIにやってほしい」です。
労働生産性をあげないとやばいよね、という話です。

そんな中、つい先日の11月6日、OpenAIがMyGPTsをリリースして、誰でも自分のためのAIアシスタントを作れるようになりました！
完！
って感じなんですが…

LLMによる生成のジレンマ

GPTの基礎技術であるtransformerは、文章全体の整合性をとろうとするので、予想を裏切るような奇想天外なアイデアは得られないことが多いなと感じます。

私は、一般的なことを聞きたいわけではなくて、私の思考を刺激してほしいのです。

1つのAIに複雑な様々なタスクを取り組ませようとすると、この問題を避けることができません。
なので、いっぺんにやらなければいいよね、という風に考えました。

実験1-アイデアを生成するAIを作る

キャラクター、企画、プロットを、別々のAIアプリケーションで生成する

2023年の5月ぐらいに、初めてマンガのためのAIアプリケーションを３つ作りました。

入力になんか突っ込むと、キャラクターのアイデアが出てくるAIアプリケーション、
その出力を突っ込んだら企画案が出てくるAIアプリケーション、
その出力を突っ込んだらプロットのアイデアが出てくるAIアプリケーション、
みたいなものをHuggingFaceに作りました。

AIの出力をそのまま次のAIに突っ込んでもいいし、アイデアを加えても、途中から初めてもいいし、逆流してももちろんOKです。
作ったアイデアをストックしておけば、アイデアの組み合わせで莫大な量のアイデアを作ることもできる、というものでした。

キャラクターのアイデアを提案するAI

なんか突っ込むとなんか出てくる、というのは生成AIのすばらしいところだと思います。

無茶苦茶言っても健気にキャラクターのアイデアを出してくれます。
ハルシネーション問題もありますが、マンガは嘘だらけでもいいので全然問題ありません。

キャラクターのアイデアを提案してくれるAIでは、画像生成用のプロンプトも出力してくれるようにしています。
そのプロンプトを使って、DALL-Eで生成したのが、スライド左側のキャラクターです。

企画のアイデアを提案するAI

キャラクターの出力をそのまま突っ込んだら、企画のアイデアが出力されるやつです。
できるだけ短い文章で出るようにしていて、その企画が面白いかどうかをパッと判断できるようにしています。

プロットのアイデアを提案するAI

企画の出力をそのまま突っ込んだら、プロットのアイデアが出力されるやつです。
プロットの構造は、Save the Catの法則を参考にしています。

実験1のふりかえり

実験1のふりかえりです。

なーんにも思い浮かばないときにも、いったんAIに何かアイデアを出力させることができるので、アイデアに行き詰まったときは使えるかもしれません。

しかし、自分はそもそもアイデアが浮かばない、ってことが無いので、作ったはいいけど全然使いませんでした。
多分、マンガ作ってる人はだいたいそうなのではないかと思います。

では、ものを全然作らない人にとってはどうだろう、と考えました。

実験2-AIで物語を作る体験を作ろう

誰でも物語が作れるAIアプリケーションを作る

「AIを使って物語を作る体験」を作ろう、と思い立ちました。
これで第2回AIアートグランプリに応募したんですが、予選落ちしました。

生成AIで物語を作る時に問題になるのは、やはり、いっぺんに出力すると、なんかつまらんものになってしまうということです。

実験1のアイデアと同じ容量で、AIの出力を次のAIにつっこむ、という手法で作ることにしました。
具体的には、4つのAIに起承転結の各パートを担当してもらいました

それぞれのAIの個別のコンテクストとは別に、共通のコンテクストを持たせています。
AIアプリケーションをプロセスごとに分けるので、ダイナミックな展開ができるが、共通するコンテキストを持っているので、世界観はブレないだろうというアイデアです。

友人や同僚に、これを使って物語を作ってもらう体験をしてもらいました。

最初に好きなキーワードを入れてもらうと、AIが短いエピソードと挿絵画像、次の展開の選択肢を生成してくれます。
AIが生成した物語と画像を見て、AIが提案する選択肢を選んで、次のAIへ入力する、ということを繰り返して、誰でも簡単に起承転結形式の物語が作れる体験です。

実験2のふりかえり

みなさんすごく楽しんでくれて、もう1回やりたい、ぜひ人に勧めたい、と言ってくれました。
しかし、AIが作った作品自体は、そんなに面白くないね、という評価が多かったように思います。

最終成果物の物語を、AIの作品だと思う人、自分の作品だと思う人、アプリケーションを作った私の作品だと思う人、いろいろいて面白かったです。

もっと人間の思考を拡張させるようなものが作れないでしょうか？

そもそも、人間が認識してる世界って、コンテキストのレイヤー構造では？

実験2のアイデアは、AIのコンテキストをレイヤー構造にするというものでしたが、そもそも、人間が認識している世界って、コンテキストのレイヤー構造ではないか、と思うに至りました。

国なら、憲法とか法令のような上位概念があって、自治体ごとの条例があって、地域やコミュニティごとにルールやマナーがあります.。
会社なら、ミッション・ビジョン・バリューみたいなのがあり、各事業部の目標とか仕組みとかがあり、各自の仕事の矜持とか作法とかがあります。
個人なら、備えている認知能力や処理能力があって、原体験やコンプレックスがあって、主義、思想、知見があります。

このようなコンテクストのレイヤー構造全体を、人間の思考能力とみなすと言えるのではないでしょうか。

とすると、上位概念として、私と共通のコンテキストを備えたAIは、自分のためのAIアシスタントになり得るのではないでしょうか。

ということで、自分とコンテクストを共有した、自分のためのAIアシスタントを作ることにしました。

実験3-自分AIを作る

自分と同じコンテキストを持ったAIを作る

自分が書いたNoteや社内報の原稿などを、Notionのデータベースにどんどんつっこんで、NotionAIで一気に抽象化しました。

NotionAIは、データベースのカラムに置いて、複数のドキュメントを一気に処理できるので、とても便利に使っています。

NotionAIが要約してくれたとはいえ、それだけでは相当長いので、Claude2-100kとかGPT-4-32Kを使って、さらに圧縮してもらいます。
ここではPoeを使っています。

人間が読めなくてもいいから、とにかく圧縮して、と指示しました。
Claude2-100kにはちょっと難しかったようですが、GPT-4-32kがうまくやってくれました。

圧縮したプロンプトを組み込んだアプリケーションをHugging Faceで動くようにしました。

タスクごとにアプリケーションを分けて、そのタスクに応じた個別のプロンプトも与えました。

こちらは、入力を客観的事実と主観的意見に分類して、課題を整理してアドバイスをくれるように指示するプロンプトを与えています。
GPTは文章を分類して整理するのが得意なので、この手法は仕事でも便利に使っています。

基本的には耳障りのいいことを言ってくれちゃうので、批判的に考えてレビューするよう指示するプロンプトを与えた、別のAIアプリケーションも作りました。

あれが足りない、これが足りない、と指摘してくれるのですが、理想的な状態に対して、何が足りない、というアドバイスの方が嬉しいので、リファレンスを参照できるようにするともっとよさそうです。

ラフなアイデアを2つのAIに同時に突っ込んで、自分と2つのAIと、3つの頭で同時に思考するみたいなことができるようになりました。

実験3の振り返り

「その人らしさ」は案外抽出できそうです。
20項目ぐらい列挙してプロンプトに入れるだけで、なんかその人っぽい返答にはなるな、という印象です。

もっと狙ってやるために、どうゆう切り口で「その人らしさ」を表せばいいか、はもっと検証しがいがありそうです。

この実験は、自分をサンプルにしたので、自分らしいかどうかの判別が難しかったです。

他の人のらしさを備えたものを作れるともっといいですよね。

実験4-佐渡島さんAIを作る

そこで、コルクの代表の佐渡島庸平さんにお願いしてみました。

私は今、#コルクラボマンガ専科 というのに参加していて、かつ佐渡島さんも国のAIの委員会に呼ばれたりAI領域でも活躍されているので、思い切ってお願いしてみたところ快諾していただきました。
佐渡島さん、ありがとうございます。

佐渡島さんのコンテクストを備えたAIを作る

佐渡島さんのコンテクストを抽出するために、佐渡島さんのnoteから、直近およそ1年分、だいたい50記事ぐらいを参照させていただきました。

さらに、佐渡島さんが出演したYouTubeの動画100本ぐらいをWhisper JAXで文字起こしして、こちらも参照元とさせていただきました。

テキストをNotionでデータベース化し、NotionAIで抽象化しました。

抽象化した内容を、長大なコンテキストが扱えるLLMでさらに抽象化します。
今回は、リリースされたばかりの、128kトークンを操れるgpt-4-1106-previewをplaygroundで動かして20項目ぐらいに抽象化しました。

その内容をプロンプトの中に組み込みます。

HuggingFaceで動くようにして、課題を整理して改善案を教えてくれるAI佐渡島さんを作りました。

さらに批判的に思考して、考慮が足りない部分を指摘してくれるAI佐渡島さんを作りました。

アイデアを、自分と２つの佐渡島さんAIの３つの頭で同時に思考できるようになりました。

MyGPTsでも作ってみました。
こちらはチャット形式でやりとりできるので、より深く思考できるかなと思います。

まだ自分しか使ってないので、マンガ専科の仲間にもレビューお願いしてみようと思います。

GPT-4はマルチモーダル対応しているので、マンガのネームの添削をしてくれるAIとか作れるかもしれません。
次はそれに取り組んでみてもいいかなと思います。

実験4の振り返り

その人のコンテキストが参照できるものがたくさんあれば、その人らしさを抽象化してAIに組み込むことはできそうです。

ですが、そもそも人にアドバイスを求めたいときは、自分より能力が高い人に求めたいはずです。
自分より能力が高い人の備えているコンテキスト抽象化する、って結構難しいように思います。

なので、それもAIにやってもらうのがいいかなと思います。

まとめ

AIが色々できるようになったとはいえ、現状、1度に取り組めるのは小さなタスクなのかなと思います。

いろんなAIを作って、自分のコンテクストを接続していくと、思考や能力の拡張につながりそうです。

誰でも自分のためのAIアシスタントを、いつでも簡単に作って使えるようになってほしいと思います。
できる気がするし、できる気がするものはできるようになると思いますので、ひきつづき社内の勉強会とかも含めがんばってやっていこうと思います。

以上です。

2023年11月19日　公開

関連記事

参考

生成AI何でもLT会

参加させていただき、ありがとうございました。

大規模LT会に初参加したので､ネタ作りにやったことを記録に残す

「AIボイチェンで、1人多役のバ美肉演技」登壇された、やなぎさんのふりかえりnoteです。

Google PixelとAI

Google PixelとAIを発表された、L4Phさんの発表資料です。

https://git.l4ph.moe/Slide/genai-lt-2/…

【第2回】生成AIなんでもLT会 主催振り返り (@miketako3)

主催者であるみけたこさんの振り返りnoteです。

#アンドロイドは好きな人の夢を見るか

👉noteで読む

👉Kindleで読む（無料）

👉Xで読む

#週刊マンガ専科

#コルクラボマンガ専科 の卒業制作を投稿するハッシュタグです。
コルクラボマンガ専科の仲間たちの作品が読めるので、ぜひチェックしてみてください。

第2回AIアートグランプリエントリー作品

第2回AIアートグランプリエントリー作品である「明日はどんな物語を作ろう？」のページです。
結果は予選落ちでした。。

コルク佐渡島の好きのおすそわけ

コルクの佐渡島さんのnoteです。

マンガ編集者・佐渡島チャンネル

コルクの佐渡島さんのYouTubeチャンネルです。