皆さまこんにちは。AIの波は今年は3Dに来るのではないかと勝手に思っている今日この頃ですが、今回はそんな高度な話ではないです。どっちかと言ったら結構アナログで手間かもしれません。さらに言うと覚え書きなのであまり手順も詳しくないですが、それでも良ければ読んでいただけますと幸いです。
※要は下記のようなことをします。

流れとしては
①元のUVの服モデル(元モデル)、正面と背面にテクスチャをベタ貼りするようにUV展開した服モデル(ベタ貼りモデル)を作成する。
②AIで正面と背面のイラストを出力し、ベタ貼りモデルに貼る
③Blenderでベタ貼りモデル→元モデルにテクスチャをベイクする
④ベイクしたテクスチャを書き出してVroidで使用する
という感じになります。

とりあえず一番シンプルなワンピースで試します。マテリアルは減らさずにそのままVRMに書き出します。

書き出したVRMをメタセコイア４で読み込みんで服だけにします。
※Blenderでもアドオン入れればVRMインポート可能なので使えるモデリングソフトでOK

適当にテクスチャは反映されているかわかるようにオレンジにしときました。まずはUVに何も変更を加えず、そのままの状態でとりあえずobj形式で保存しておきます。moto.objとでもしておきましょう。

そしたら今度は新しく横長のまっさらな画像を用意し、正面と背面をそれぞれ見たままの状態でUV操作から焼きこみを使用しUV展開します。※Blenderだとビューから投影でできると思います。

これも同様にobj形式で保存します。こっちはAI.objとしておきます。

これに合わせてAIイラスト出力用の画像をレンダリングとかで作成します。頭がないと正面と背面の見分けをしてくれないのでとりあえず合成しておきます。

これをもとにControlNetのlineart_animeを使用し、AIイラストを出力します。プロンプトは今回は「front and back, blue dress with frills and ribbons」にしました。

今回はテストなのであまり高画質ではないですがこれで行きましょう。
さっきのベタ貼りモデルに使用します。

ここまで準備ができたらBlenderの出番です。
スケールを0.001(作業環境によって違うかも)でmoto.objとAI.objをインポートします。

そしたらAI,motoオブジェクトの両方に右クリックからスムーズシェードを適用してください。その後AI→motoの順に選択してレンダープロパティタブを押してレンダーエンジンをCyclesにし変更、ベイクの設定を下記のようにします。

準備ができたらベイクボタンを押して待ちます。なんかノイズみたいのが入ったらレイの最大距離をいじってみてください。

上の画像の矢印のところの処理が終わったらUV編集タブを確認します。

motoオブジェクトを選択した状態でこんな感じになっていれば成功です。

画像を任意の名前で保存してVroidでテクスチャをインポートして確認しましょう。

なんというかワンピースに肌も描いてあるのでちょっと消して、境目も目立つところは少し塗ってみます。

つなぎ目がやっぱり変なのと今回の画像が荒かったのでそのまま使うにはちょっと、、といった感じですが、とりあえず形になりました。
使う人いるかわからないですが、今回使ったファイル貼っておきます。
Vroidの規約内であればご自由にお使いください。

ここまでお読みいただきありがとうございました。