ChatGPTでDALL-E3が使えるようになったので、3D生成AI（One-2-3-45）を組み合わせてクルマの3Dモデルを作ってみました。いろいろ課題はあるものの、CGツールも3DCADもいらないのは魅力的です。

ChatGPT+DALL-E3

クルマのデザインを模索する

未来的なクルマのデザインを作ってみたいと考えたのですが、そもそも未来的なクルマってどういうものか考えがまとまらなかったので、ChatGPTとディスカッションしてみました。

なるほど。いろいろ意見がありますね。ただ文字だけだとイメージがつかないので、さっそくDALL-E3にデザインを作ってもらいます。なかなかいい感じですね。

いろいろデザインを作ってもらう

自分の好みを伝えて、いくつかデザインを提案してもらいます。

3D生成AIに通せるように調整する

いくつかイメージが出来てきたので、ここから3D生成AIに通せるように調整します。背景がいろいろあると面倒なので、背景を消してもらいます。

気に入ったデザインを編集します。

さらに編集を加えます。

ちょっと前後が切れてしまったので、クルマ全体が見えるようにしてもらいます。これでイメージ図は完成。

3D生成AI One-2-3-45

One-2-3-45というのはビュー条件付き2D拡散モデルZero123を用いて入力ビューの多視点画像を生成し、それらを3Dモデルにするという技術です。形状ごとの最適化なしで、どんな単一画像も45秒で3Dメッシュにできるというのがウリ。
プロジェクトページはこちら。

論文はこちら。

Hagging Faceにデモがあるので、今回はこちらを利用します。

One-2-3-45に画像を入れて3D化する

使い方はいたって簡単。DALL-E3で作った画像を入力して[Generate]をクリックするだけ。1分～数分ぐらいで3Dモデルが出来上がります。（右下）

見えない部分の画像を調整する

今回インプットした画像は前方からの絵でした。ということはリア側は見えないはず。どうなっているかというと、いろんな視点から見た絵を生成しています。当然推測に基づくものなのでおかしなところもあります。
おかしな画像になっている場合は、その画角を選択してRegenerate（再生成）することで変更できます。

出来上がった3Dモデル

出来上がった3Dモデルはこんな感じ。ちょっと粗っぽいですが、大まかな形はとらえています。

メッシュを見てみると結構波打ってます。エッジの立ったような外観は再現されませんでした。

現在の課題

2D画像から大まかな3D形状は作れるものの、ディテールは飛んでしまいます。全体的な雰囲気を見るだけであればよいですが、実際にクルマの設計に使えるかといえば難しいでしょう。

今回利用したOne-2-3-45は様々な形状に対応した汎用モデルですので、クルマ用にチューニングしたモデルであれば、もっと良い結果が出るような気がします。
今後の3Dデータの増加やアルゴリズムの改善に期待したいところです。