見出し画像

無料作画AIサービスMemeplexの使い方

Memeplex.appは、誰でも無料でAI作画ができるWebサービスです。
使い方をまとめます。

Memeplex.appに関するニュースヘッドライン

2024/2/11 キャラクターを固定して出せるCustom_SDXLに対応しました(ブロンズユーザー以上)

同じプロンプトを与えると同じキャラクター(人物)が生成されるCustom_SDXLに対応しました。ブロンズユーザー(レベル3)で2種類、シルバーで8種類、ゴールドユーザー(レベル5)で12種類のCustom_SDXLを使うことができます。漫画制作などが捗ります。

同じキャラクターを繰り返し出せます

2024/2/11 個別画像をループバックして高解像度化/透過できるようになりました(ブロンズユーザー以上)

要望が多かったので、レベル3以上(ブロンズ)ユーザー様に対して個別の画像ページから「ループバック」でクリエイトページに戻った後、高解像度化、透過化ができるようになりました。

こんな感じで出ます

2024/2/1 カスタムモデルをダウンロード可能になりました

レベル5ユーザー向けにカスタムモデルのダウンロードを可能にしました。
モデル画面でフロッピーディスクのアイコンをクリックするとダウンロードできます。

今時フロッピーでいいのか

ダウンロードしたファイルは、拡張子を.ckptに変更することで、StableDiffusionWebUI(Automatic1111)やComfyUIで使うことができます。

この機能を作ったきっかけは、最近ローカルでAutomatic1111やComfyUIを触ってみて、意外とLoRAでは学習に限界があり、特に人物を学習させるならフルファインチューニングするMemeplexのカスタムモデル学習に活躍の機会があると思ったからです。創作活動にご活用ください。

2023/10/25 Zero123+に対応しました(まだレベル5のみ)

一枚の画像から複数のアングルの画像を生成するZero123+に実験的に対応しました。

こういう画像を入力すると・・・
こんな感じで出力されます

結構いろんなものに適用できてすごいのと、背景を透過させると結果が大きく変わります。

背景を透過させない場合


こんな感じに

うまくいかない場合もあるのでケースバイケースで使い分けて下さい
huggingface Spacesにもあります


2023/8/9 AnimateDiffによる動画生成で縦横比を変更できるようにしました

AnimateDiffによる動画生成で、縦横比を変えられるようになりました。

シネマティック!


TIkTok?

絵が動くって想像以上に楽しい!
第一回AIアートグランプリの準グランプリ受賞者の小泉さんはこんなのを作っていました。

走るケンタウロス

もはや特撮の域


2023/8/8 AnimateDiffによる動画生成に対応しました!カスタムモデルも使用可能

AnimateDiffによる動画生成に対応しました。
動画生成にかかる時間は5分ほどです。
使用可能なのはBRAV5、SDHKおよびカスタムモデル(カスタムモデルはレベル3以上で作成可能)です。

こんな動画が手軽に作れる時代になってしまった

Gen2での動画生成がイマイチだったのでそれまであまり納得のいくものが出なかったのですが、AnimateDiffは汎用性も高く何よりも高速なので無料ユーザーでも使えるようにしたいと思い、ブーストモード時に動画作成リクエストが出せるようになりました(無料ユーザーの場合、ブーストモードは一日ログインして作画すると1pts付与され、5日で5ptになります)。サーバーはさくらインターネットさんの高火力サーバーと、ドスパラさんのサーバーの両方で作画します。

ブーストモードから動画生成を利用可能

特に大きいのはカスタムモデルへの対応です。

カスタムモデルで自分のオリジナルキャラクターを動かせる

まあまだガチャ要素が強く、i2iはできません(素の実装ができない状態です)が、AIの可能性を感じられるのではないかと思います。

852話盛さんのSDHKならアニメっぽい表現も可能
目指せAI時代の新海誠!

第二回AIアートグランプリの開催も発表されましたし、クリエイターの皆さんの助けになれば幸いです。


2023/8/4 SDXL1.0に対応 最大2048x2048解像度が使用可能になりました(レベル3以上)

SDXL1.0に対応しました。もともと1024x1024に対応した高精細なモデルですが、試したところ最大2048x2048まで出力できることがわかりました。もちろん、縦長、横長もOKです。

2048x512だとこんなにワイドに
俺たちはどう生きるか

とりあえず「対応しました」というだけで、まだInpaintingやImg2Imgには対応していません。でも、SDXL1.0が開くあたらしい世界の可能性をぜひ感じてください。

レベル3以上に上がるサブスクここから申し込めます


2023/7/8 img2imgによる動画変換に対応しました(レベル5限定)

img2imgで3秒程度の動画を変換しながら生成することができます。
β版のため、サブスクリプションのゴールドメンバー(レベル5)限定です。
動画生成はサーバー負荷がとても高いので、ブーストモードのみで使用可能です。
※MacのChromeではなぜか動画がそのまま表示されませんが、Safariだと正常に表示されます。iPadのChromeはOK。原因は謎

「動画変換」をクリックして、100MB以内のビデオをアップロードします。

ドロップダウンリストボックスから動画ファイルを選び、「この動画をimg2imgのソースにする」を押すと動画がループバックに入ります。

あとは通常と同じように、作画AIを選んでプロンプトを入れるだけです。
現在のところ、SDHK、BraV5、StableDiffusion1.5, InstructPix2Pix、およびカスタムモデルに対応しています

SDHKで1girlで生成
InstructionPix2Pixで「女性をロボットに変換」で生成

6/30 カスタムモデルのキャッシュ容量が640GB→120TBに増量


これまで、カスタムモデルはGoogleからさくらインターネットにダウンロードしたのをキャッシュしていたのですが、キャッシュ容量がRAMディスク32GBとハードディスク640GBしかなかったのでどうしてもたくさんの人が利用するとキャッシュが溢れていました。モデルひとつあたり4GBくらいなので、キャッシュできるモデルがハードディスクでも160個しかなかったことになります。

今回、さくらインターネットさんのご厚意で、120TBの大規模ストレージを使わせていただけるようになったので、キャッシュできるモデルが大幅に増えました。さくらインターネットさん、いつもありがとうございます

6/6 BRAV5とSDHKが使えるようになりました

要望を多くいただいたので、BRAV5と852話さんのSDHKに対応しました。
無料枠でお使いいただけます。

SHDKを使うとこんな感じの画像が出ます。
1girlというキーワードが重要なようです

1girl close-up,kimonooutdoors,sitting


5/30 koi_zoomさんによるMemeplex活用テクニック

Memeplexユーザーの小泉さんが素晴らしい記事をアップされていますのでぜひご参考にしてください


4/22 GPT Blocklyの提供を一時停止します

GPT Blockly、サーバーごと固まるので原因を究明するまで提供を一時停止します

3/22 OpenJourney-v4に対応しました

Openjourney-v4に対応しました。無料版でも使えます


3/17 カスタム動画生成で任意の動画ファイル

を学習可能に

これまでカスタム動画生成機能では、学習に使える動画ファイルを固定していました。しかし、新たに任意の動画をアップロード(100MB以内)して、動画学習を行えるように機能追加しました。今のところα版なのでレベル5ユーザー専用ですが、一ヶ月以内にレベル3ユーザー以上で使えるようにします。

開発にはChatGPTを用いたため、新規に書いたコードの80%以上はChatGPTが書いています。特にアップロード部分などは忘れがちなのでChatGPTに大変助けられました。


3/10 ChatGPTで手軽にプログラミングできるGPTブロックに対応しました

昨日作ったChatGPTによる思考の連鎖をブロックでビジュアル的に表現できる機能を手軽に試せるようにMemeplex内に実装しました。ただし、ChatGPTはけっこうお金がかかるので、ブーストモード専用にしました。

ブロックを並べてRunで文章を生成できる

せっかくMemeplexに統合するので、生成した文章をプロンプトにする機能も追加しました。

ピカソに美女について説明させて、プロンプトとして使用

すると、プロンプトが出てきます。
工夫次第では面白いかも?

ChatGPTが出力したプロンプトによるStableDiffusion2.0での作画

3/1 カスタムモデル用にT2Iに対応しました

ControlNetではカスタムモデルが使えなかったので、カスタムモデルはT2Iに対応しました。これであなたのキャラクターを自在に操ることができます。また、ポーズ集もユーザーレベル3以降に解放しました。撮影した素材はまだまだあるので、順次拡張していきます。

詳しい解説はこちらをご覧ください

左がポーズ集の素材、右がT2Iで生成したカスタムモデルです


2/17 ControlNetに部分的に対応しました

ControlNetに暫定的に対応しました。まだこなれていないのでレベル3ユーザー以上向けです。また、MemeplexではAIで用いるためのポーズ集を製作中です。格闘技経験のあるモデルさんなどに協力いただき、既に8万枚以上の様々な角度のポーズ画像を撮影済みです。Blenderで骨格を作るよりも簡単に欲しいポーズを検索できることを目指しています。

今回は、ポーズ集用に撮影したローキックの写真を使ってControlNetで他の画像に変換してみます。

こういうローキック画像から

「黄色いトラックスーツの男性」でこうなります

2/7 縦横比を変えられるようになりました。最大1024x768までの高解像度に対応

要望が多かった縦横比を変える機能を追加しました。無料ユーザーは256x768または768x256の縦長・横長の解像度のJPEG画像を生成できます。レベル3以上のユーザーは最大1024x768または768x1024までのサイズのPNG画像を作ることができます。また、生成した画像をさらに高解像度化できます。

これでゲームの背景などに使える横長や縦長の画面もバッチリです。

1024x512で生成したセクターヘブン

カスタム学習したモデルでも同様に生成可能です。

512x1024で生成したヘレナ

また、しばらく新しいモデルは乱数シード固定ができなくなっていましたが、今日のバグフィックスで乱数シード固定ができるようになりました。

さらに、アニメに強いと言われるCounterfeit-V2.0にも対応しました。無料ユーザーでもお使いいただけます。

1/31 動画生成に対応しました(実験対応)

サーフィンする犬

 StableDiffusionで動画が作れる「Tune-A-Video」に実験的に対応しました。今のところサーフィンする動画しか作れませんが、新しい時代が到来した、その可能性をぜひとも感じてください。

使い方は簡単「サーフィンする○○」と書いて、「サーフィンする動画を生成」モデルを選んでリクエストするだけです。

使い方はいつも通り
サーフィンするこゴジラ

ちなみに「サーフィンする」が一番上手く出ますが、「踊るゴジラ」でもこんな感じになりました。

踊るゴジラ
踊るロボット
暴れるゴジラ
ミュシャ風の貴婦人
ルノアール風の貴婦人
ジョルジュ・デ・キリコ

楽しすぎる!
画像生成AIから動画生成AIへ!
今日がAIアートグランプリ応募締め切り!まだ間に合う!



なんか色々これだけでも遊べそう!
遊んでみて!

1/27 Protogen5.8に対応しました

新たにProtogen5.8に対応しました。
写真に強いと言われています。


1/26 言葉で画像を編集できるようになりました

Diffusers0.12.0にバージョンアップした新機能、InstructPix2Pixに対応しました。

たとえば、この鳥の絵があるとして…

これをループバックして、「鳥が赤い」と指示するとこうなります。

「鳥が金属の棒にとまっている」と指示するとこうなります。

「鳥がポリゴン」と指示するとこうなります

今までちょっとした編集を手作業でやっていたことを考えると革命的に簡単になりましたね。楽しんでください。AIアートグランプリの募集締め切りまであと5日です!

1/18日付から過去の作品を検索できるようになりました

要望が多かったので日付から過去の作品を検索できる機能を作りました。
パーソナルページから、自分の過去の作品を検索することができます。

1/13 下絵を描く機能を一時的に無料開放しました

AIアートグランプリの応募開始も迫ってきたので、これまでレベル2ユーザー以上にのみ解放していた「下絵を描く機能」を一時的に全ユーザーが使えるようにしました。新しい表現にぜひ挑戦してみてください

1/5 Vintedois-diffusion-v0-1に対応しました

Vintedois-diffusion-v0-1に対応しました。

1/3 Mitua-Diffusionに対応しました


https://elanmitsua.com/のパブリックドメイン画像およびオプトイン画像のみから学習するプロジェクトで作成されているモデルMitua-Diffusionに対応しました。今のところGPUメモリの関係でimg2img/Inpaintingは使用できません。

2022/12/24 サブスクリプションサービスを開始しました!

サブスクリプションサービスでは、これまでのMemeplexのサービスに加えて…

・Privateモードが利用可能
・ブーストポイントを100ポイント以上付与
・カスタムモデル学習サービスが利用可能

となっています。
世界最安のサービスだと思いますのでぜひご利用をご検討ください。
AIアートグランプリを開催します! 詳細はこちら

Memeplex.appの初歩的な使い方

ログインしよう

Memeplex.appにログインするには、Googleアカウントが必要です。
ログインするには、ChromeかSafariかMicrosoft Edgeなど、WebKit系のブラウザを使用してください(Firefoxはサポート対象外です)。

Memeplexログイン前画面

ログインしなくても、「人気のタグ」などからAI作画で作られた作品をギャラリーで見ることができます。

ギャラリー

作品をクリックすると、作品の個別ページにジャンプし、その作品を作るのに使われたAIや呪文、乱数シード値などを知ることができます。

作品個別ページ

作品個別ページにもタグがあり、このタグから別のタグを辿っていくこともできます。

ログイン後

ログイン後は「みんなのギャラリー」として、最新の生成動画を見ることができます。

気に入ったものは❤️マークを押すとあとから「お気に入り」で見ることができます。

みんなのギャラリー
お気に入り

プロフィールを設定しよう

「プロフィール」というリンクをクリックすると、プロフィール設定画面に移行することができます。
デフォルトではGoogleアカウントに紐づけられた名前とアイコンが設定されています。これを自分のアイコンや名前に変更できます。

9/29からローカルのファイルをアップロードして自分のアイコンに設定可能に


Memeplex上で名前などが表示される可能性があるのでちゃんと名前を設定しておきましょう。

また、名前は5文字以下のものは設定できず、5文字以下の名前にしようとすると自動的にメールアドレスの@より前が名前としてつかわれます。ちゃんと設定しましょう。

また、自己紹介を書く欄が追加されました(9/29 PM6:50)
自己紹介に紹介文を書いておくと、自動的に個人ページに掲載されます。


Memeplexを使った画像生成

基本の呪文

さあいよいよ画像の生成です。
「クリエイト」をクリックしてクリエイトモードにします。
Memeplexは頻繁に新機能が追加されたり実験機能が追加されたりするのでクリエイトモードの表示は常に変化します。また、ユーザーレベルによっても違います。

Memeplexのクリエイト画面(2022/9/12 06:11現在)

基本的には一番大きい枠に好きな言葉を入れて、「作画をリクエスト」すると、作画が開始されます。混雑状況にもよりますが、作業待ちが10以内の状態で30秒程度かかります。

作画をリクエストする際に、いわゆる「呪文」を簡単に使えるようドロップダウンリストボックスが用意されています。

画風指定


作風指定
作家指定

これらの指定はしてもしなくても好みです。
しかし、手軽に綺麗な結果を得たいなら、指定した方が簡単に綺麗な映像を得ることができます。

Midjourneyにしろそのほかの作画AIにしろ、「難しい」と言われているのは呪文の部分です。Memeplexは呪文を簡単に詠唱できるように作られています。

生成された画像

生成された画像について、「失敗したな」と思ったら💣マークを押してください。その画像を消すことができます。気に入ったら❤️マークを押してお気に入りに保存したり、ツイッターアイコンをクリックしてツイッターで共有したりすることができます。

作成した画像の一括削除

作成した画像を複数選択して一括で消したいこともあると思います。
その場合は、プロフィールからパーソナルページを出して・・・

パーソナルページをクリック

パーソナルページで✅ボタンを押すと、複数選択ができるようになります。

✅ボタンを押します
 消したい画像を複数選択して「まとめて削除」をクリック

消したい画像をクリックで選択して、最後に「まとめて削除」をクリックするとまとめて削除することができます。

消えました

要望の多い機能だったのですがやっと実装できました。

複数のAIエンジンを使いこなそう

Memeplexは当初、StableDiffusionの無償公開をきっかけとしてStableDiffusionの公開後二時間で開発されました。

しかし、StableDiffusionによっていわゆる「パンドラの箱」が開き、さまざまな派生系が登場することは予想していました。
そこで、当初からMemeplexはStableDiffusion以外のAIエンジンも積極的に取り込んでいくという方針で開発されています。

現在((2022/10/20 15:06))サポートされているAIエンジンは次の通りです。

現在サポートされているAIエンジン

Memeplexでは、明示的に指定できるエンジンだけでなく、実験用に稼働している秘密の作画エンジンなどもあります。秘密の作画エンジンは、自分のリクエストと関係なく、突然描いて送ってきたりします。

それぞれのエンジンに「空の下でプログラミングする少女」を「映画の一場面」「君の名は風」「新海誠風」で描かせてみたので違いを把握してみてください。

StableDiffusion
WaifuDiffusion
trinart


Rinna-JapaneseStableDiffusion

それぞれのAIにはそれぞれの特徴があり、StableDiffusionは万能、WaifuDiffusionとtrinartは日本のアニメをもとに作られたのでアニメに強い。Rinna-JapaneseStableDiffusionは日本語から直接生成される、などの傾向があります。

描画されない(NSFW)のはどんな時?

NSFWとは、Not Safe For Workの略で、要は「職場で見たらヤバい画像」のことです。エロ・グロ、その他宗教的政治的にヤバい画像全般が含まれています。これはキーワードと関係なく、たとえば「ハンバーガー」とだけ入力しても、システムがたまたま作ってしまった絵がNSFWと判断される(これもAIによって自動的に判定されます)場合には、作画そのものが実行されません。

StableDiffusionも、ERNIEも、AIエンジンはそれぞれ独自の「倫理基準」を持っています。改造によってこれを外すことはできますが、Memeplexでは運営方針としてAI開発者の意思を尊重することにしています。また、公序良俗に反しそうな内容、Memeplexというサービス全体の存続を脅かすような内容の場合も予告なくデータの削除をおこなっています。

ギャラリーで💣マークをクリックされた画像は、作者やプロンプトとともにシステムに記録され、あまりに悪質な場合、利用停止になる場合があります。際どいプロンプトで攻めたい気持ちもわかりますが、世の中にはStableDiffusionやその他のAIを自在に試したりNSFWフィルタを外したりする方法も公開されているので、そちらで試すようにしてください。

https://note.com/npaka/n/ndd549d2ce556


プリセットの初期画像を使った作画

Memeplexでは、いわゆるimg2img(画像から画像の生成)にも対応しています。それには、StableDiffusionの隣のドロップダウンリストボックスを使います。

プリセットの初期画像

「初期画像」とは、作画に関して、事前に用意した画像のことです。
色々な初期画像をベースとして使うことができます。
丸いものが欲しければ「円」を選び、三人が並んでいるようなカットが欲しければ「三人」を選ぶというわけです。

初期画像に与えるプロンプト(呪文)の強さを「strength」で与えます。
左に行くほど弱く、右に行くほど強く設定できます。

初期画像「風景」で最弱の時。初期画像がほぼそのまんま出てきます。
初期画像「風景」でデフォルトの時。綺麗な景色が出てきます。
初期画像「風景」で最強に近い時。画像はほとんど無視されますがちゃんとした絵になります

ループバックを使いこなそう

ループバックとは、一度AIによって生成した画像を初期画像として与えて微調整していく手法です。

ループバックはStableDiffusionとWaifuDiffusionでのみ可能です(2022/9/12 6:35現在)。

生成された画像の下に表示されている「ループバック」ボタンを押します。

ループバックボタン(右下)

すると、「初期画像」のところにこの画像が小さく表示されます。

ループバック画像が指定された

この状態で「作画をリクエスト」すると元の画像をアレンジした画像を新しく生成することができます。

ループバックを使うと複数の画像AIエンジンを組み合わせることができます。

たとえば、StableDiffusionで生成した画像をWaifuDiffusionに持っていくとこんな感じにアレンジされます。

StableDiffusionで生成した画像をWaifuDiffusionにループバックした画像

ループバックの際、与えるプロンプトを変えることもできます。
先ほどの絵に「大都会でプログラミングする少女ハッカー」を「サイバーパンク風」でstrengthを弱めで与えてみるとこうなります

先ほどの画像をループバックして「サイバーパンク風」に

さらにループバックしてみます。

さらにループバックしてサイバーパンク色を強くする

このように、ループバックを活用することで、思わぬ発見があったり、自分の思い通りの絵に「作り込んでいく」ことができるようになります。

情報源とDiscord

Memeplexのその他の使い方に関しては、ユーザーの方が書いてくれたWikiなどにまとまっています。また、MemeplexのDiscordでもユーザー同士の活発な議論が交わされています。ぜひそちらもご覧ください。


さて、Memeplexの基本的な使い方は以上です。
以下は、購入特典として、Memeplexのシステム内部を知りたい方や、もっと活用したい方向けの情報になります。

このNoteの売上はMemeplexの運営に活用させていただきます。なので最初から少し高めの設定で始めさせていただきます。また、このNoteの内容はMemeplexの機能追加とともに増えていき、値上げすることはあっても値下げすることはありません。早めに買っていただいた方がお得です。

Memeplexの秘密

Memeplexの秘密を読者の方だけにお教えします。

ここから先は

29,432字 / 124画像

¥ 4,680