3D生成AIであるMeshyという商用サービスでクルマの3Dモデルをテキストまたは画像から生成してみました。
以前の記事ではOne-2-3-45という１ショット画像から3Dモデルを作る手法を試しましたが、ここでは商用サービスの実力を見てみたいと思います。

Meshyとは？

3D生成AIの商用サービスです。現在のところ、3Dテクスチャ生成、2D画像→3D、テキスト→3Dの３つのサービスがあるようです。
3Dの生成スピードが速く、だいたい１～２分程度で作れます。インターフェースも直観的。さすが商用サービスです。

商用サービスなので利用には費用がかかります。初期登録で200クレジットがついてきます。3Dモデル生成は１回あたり10-20クレジット程度。ちょっとお試しレベルであれば無料で行けます。
クレジットがなくなってしまった場合は$4（約600円）＝200クレジットで購入できます。

技術の点では、NeRFや3D拡散モデルの良いとこどりをしているようです。詳しくはこちらをご覧ください。

Text→3Dを試す（１回目）

Meshyの設定画面

Text to 3Dを選ぶとこのような設定画面が出てきます。Objectで作りたい物体を指定して、Styleで物体の詳細スタイルを指定。Negative Promptの設定もできます。Stable Diffusionなどの画像生成AIと似てますね。

Art Styleの設定もできます。アニメ調とか指定できるようですね。今回はデフォルトのRealisticのままにしてみます。

プロンプトの準備

前回の記事でDALL-E3で作った画像を引っ張り出してきて、どんなプロンプトにするか考えます。

ChatGPTに画像を表すプロンプトを聞いてみます。とりあえず、このプロンプトを使ってみることにします。

3Dモデル生成

さっそくプロンプトを入力して生成してみます。

２分ほど待つと3Dモデルが生成されました！
しかし、窓がなくなっていたり、ボディにも穴が開いていたりとあまり品質は良くなさそうです。

こちらでインタラクティブに表示できます。

Text→3Dを試す（２回目）

気を取り直して再TRYします。プロンプトが細かすぎたのがダメだったかなと思い、プロンプトをシンプルなものに変更しました。

これで生成してみるとこんな感じ。クルマっぽい形にはなりましたが、ホイールのところが壊れています。なかなか前途多難です。

こちらでインタラクティブに表示できます。

テキストから3Dモデルを作れるのは手軽ですが、ちょっとコントロールが難しいです。

2D画像から3Dモデル生成

続いて2D画像から3Dモデルを作ってみます。前回の記事でも同じ画像でTRYしていますので、もしよければ比較してみてください。

Meshyの設定画面

いたって簡単です。画像をUploadしてGenerateを押すだけ。

3Dモデル生成

1分ほどで3Dモデルが出来上がります。速いですね。さすが商用サービスです。
見た感じ結構よさげです。入力した2D画像はフロント側からのものですが、画像では見えていないはずのリア側もそれっぽく生成してくれています。

こちらでインタラクティブに表示できます。

一見よさそうに見えますが、よく見るとフロント左側のホイールが二重に見えていておかしいです。どうやらテクスチャと3D形状の位置がずれているようです。

リア右側のホイールも同じような傾向。3D形状を生成した後で、2D画像の画角に合うようにテクスチャを貼っているのかもしれません。

フロントやルーフの部分が結構波打っているのも気になります。

メッシュを見てみる

形状データをダウンロードして、MeshLabでメッシュを見てみます。
やはり結構波打っています。テクスチャを貼った状態だとそこまで目立たないのですが、メッシュにすると3D形状のいびつさが目につきます。

現在の課題

テキストから3D形状は作れるのは手軽ですが、形状自体が壊れてしまいがちなのと、コントロールが難しいという感じがします。
まだまだMidjourneyやDALL-E3のように誰でも素晴らしい画像を作れる、という状態には程遠いです。

2D画像から大まかな3D形状は作れるものの、ディテールは飛んでしまいます。このあたりは商用サービスであっても同様の課題があります。
全体的な雰囲気を見るだけであればよいですが、実際にクルマの設計に使えるかといえば難しいでしょう。

今回利用したMeshyは様々な形状に対応した汎用モデルですので、クルマ用にチューニングしたモデルであれば、もっと良い結果が出るような気がします。
今後の3Dデータの増加やアルゴリズムの改善に期待したいところです。