見出し画像

AI生成なんでもオフ会でAIの性能の上げ方についての話したよ

先日こちらのイベントに参加して、登壇しました〜。

最近こういう LT会みたいなので発表してない…!!と思ったので今回申し込んで発表させていただきました!抹茶もなかさん(@GianMattya)ありがとう…!!

軽く自己紹介をすると、自分はまっくす(@minux302)というハンドルネームで活動しています。お仕事は機械学習エンジニア??(最近はインフラより)をしております。
個人で SketchEdge という写真を線画に変換するサービスを開発、運用しています。(あとでもっかい出てきます)


今回は「AIの性能の上げ方」というタイトルで登壇させていただきました。
自分は今までのキャリアで機械学習エンジニアとして3~4年ほど、CV系のプロジェクトや画像生成AI(GAN, StableDiffusion)のプロジェクトでモデル開発をしていたので、それらの経験を通して重要だと感じたことを発表しました。


いかかだったでしょうか…?

あたりまえのことしか言ってねぇ!! 

と思ったそこのあなた。そうです!その通りです。
いやでも当たり前のことをしっかりやるのがなかなかつらい…。

特に重要だと思っているのがちゃんとログを取ることです。
みなさんちゃんとログ(実験ノート、実験設定)とっていますか?

機械学習エンジニアのコードやその管理は雑なことが多いです。それに加えて実験自体の管理も雑だと再現性はおろか、何がうまくいき何がうまくいかないのかわからくなってしまいます。

PoC でのモデル開発は普通のシステム開発と異なり、最初から何を実装すればいいのかあまり定まっていません。プロジェクト期間中、そのプロジェクト固有にうまく行くことを試行錯誤しながら実装していくことになります。何が性能改善に寄与しそうかわからないと、何をやっていいのかわからないまま期間が過ぎてしまいます。ログがないと他の人に相談もできませんしね。せめてきっちりログをとってどの方向に進んだらいいか指針を立てながら進みましょう。

とはいえ、やることの大半は基本前処理の改善やデータの中身のクレンジングなんですが…(あとはモデルの変更や loss の改善とか?)大事なのはめんどくさいことをちゃんとめんどくさがらずにやることだと思っています。これをしっかりやっている人が成果を出していた印象があります。

(すみません。偉そうなことをつらつら書きましたがこれは自戒をこめて書いています。あと自分は kaggle とかやってないのでこういう話は kaggle で可算無限回されているかもしれない。)

そしてその経験で得られた知見をもとに開発したのが冒頭で紹介したSketchEdge  です!
SketchEdge では写真から線画を抽出するモデルを使用しているのですが、これは独自のモデルのアーキテクチャ、学習フローで構築したモデルです。

入力
出力


アーキテクチャを工夫したので比較的最初から精度はよかったのですが、様々なプロジェクトの経験からまだ…行ける…!!となったので性能改善に励みました。

正直そう思っているうちは根性で精度が上がります(は?)。毎日色々な設定や前処理を試して少しづつ精度を上げていきました。確か最初のツイートから3週間後くらいには今の精度になっていたと思います。

性能改善

自分で言うのもなんですが、当時としては多分 SOTA だと思っていたので(定量評価してないので妄言)毎日精度がメキメキ向上していくのは楽しかったです。今この成果を知っているのは世界で自分だけだ…!みたいな感覚はもうこの先得られないのかもしれません。機械学習エンジニアになってから毎度プロジェクトで胃をキリキリさせていましたが、その経験がここで生きて良かったです。

昨今の情勢は色々ありますが、以前からAIを創作に活用したい!という思いがあったので、この SketchEdge を実際の漫画で活用したというお声がけをいただいたときは本当に嬉しかったです。

(話は変わりますが、個人的にはフロント、バックエンドもあまり開発したことがなかったのですが、SketchEdge の開発の際に Next.js や firebase を勉強して実践する機会になったので非常によかったです。個人開発はいいぞ…!!)

他にも今勤めている会社で copainter という着彩モデルの開発をしました。
機械学習ではドメイン知識が常々重要だと思っており、自分は趣味でイラストを描いたりしているので、その知見(絵描きが何がほしいか、良い結果か悪い結果かの審美眼)を活かして開発できたと思います。


以上になります。
とても楽しいLT会でした。終わったあとは色々な方と交流できて良かったです。
特にありえん若い上にありえん異常に優秀な方にたくさんあったのでとても刺激になりました。昨今の bigtech の生成AIの登場によりもう俺何も開発しなくていいかな…という気持ちになりかけていたのですがもう少し頑張ろうと思いました。

最後に、この会の企画・運営してくださった抹茶もなかさん(@GianMattya)、みけたこさん(@miketako3)、会場を貸してくださった深津さん(@fladdict)をはじめ note の方々、本当にありがとうございました!!次回あるそうなので楽しみにしています!

では〜

この記事が気に入ったらサポートをしてみませんか?