Money Forward Labの久井です。
2023年3月3日にMLSE 機械学習オペレーションワーキンググループ(以下機械学習オペレーションWG)の活動として行ったMLOps 現場の課題に向き合う勉強会 #1 について今回ご紹介させていただきます。

機械学習工学研究会(MLSE)とは

MLSEでは、機械学習を実社会・実産業に適用していく上でのさまざまな知見の集積や体系化を学術界と産業界が共同で行っています。
本研究会内部には複数のWGがあり、私が所属している機械学習オペレーションWGもその中の1つです。

機械学習オペレーションWGとは

機械学習を実際のビジネスの場面に適用し定着させる上で、背景となる企業毎の事情や乗り越えるべき課題は様々であり、一つの模範となる先行事例はまだ不足していると感じています。
我々は、本WGで扱うMLOpsを広義のものとして、企業における実事業で機械学習を活用していく過程全体として考えています。
具体的には、企業が元々持つ文化を背景とした組織運営や、事業領域や蓄積しているデータを基礎とした機械学習のプロセス開発やモニタリング運用に関する事等があります。
我々のWGの活動の目的として、様々な企業における実事例を集めていき、集合知とする事を掲げています。

私が所属しているマネーフォワードでは、機械学習に関する研究開発や技術実装を積極的に行っています。
本WGでの活動を通して、様々な実例に加えてマネーフォワードでの知見も共有していく事で実社会における機械学習の浸透の一助になる事を目標としています。

今回のイベントについて

MLSE全体では毎年7月に夏合宿があり、基調講演やポスター発表・WGの企画セッションを行っております。
以下が昨年の夏合宿のイベントURLです。
https://mlxse.connpass.com/event/248383/

今回は、機械学習オペレーションWG単独での活動として、MLOps現場の課題に向き合う勉強会の第一回を実施しました。
本勉強会では、WGメンバーの1人でもある杉山阿聖さんから「機械学習システム開発と運用の落とし穴」というテーマで発表をしていただきつつ、参加者の皆様と発表内の問題への回答や機械学習を適用していく上でぶつかる課題等についての議論を行いました。
(杉山さんが公開されている資料は以下)

発表内容

発表では主に画像認識タスクを対象として、「モデルの研究開発」「機械学習システムの開発」「本番環境での運用」の3フェーズにおける陥りがちな問題と具体例・解決策について学ぶことができました。

• モデルの研究開発

  • 不均衡データやリークに関わる問題があげられていました

    • 上記はテーブルやテキストのデータでも現れるものではありますが、特に画像認識では学習データ作成の行い方(つまり写真の撮り方等)でリークが発生するという点が、特有な問題として起こりやすい側面があります。

    • 本章の質問にもあったのですが、「正しく」評価している事をどう担保しているかは、常に意識していく必要があると身に染みました。

• 機械学習システムの開発

  • 機械学習モデルの推論に関わる問題があげられていました。

    • 推論精度と速度のトレードオフ関係は一般的に知られているものではありますが、特に画像認識領域ではより顕著になりやすい現実があります。

    • 研究開発段階では予測精度に注意が行きますが、それ以外の観点についても注意が必要です。

• 本番環境での運用

  • 本番環境にリリースすると、関係者からの期待値よりも精度が低い事がありますが、様々な要因がありました。

    • 「物理的な開発環境と本番環境の違い」「AIに対する過大な期待」等が要因になりますが、実際にどのような環境で機械学習モデルが活用されるかを正確に把握し、関係者と適切なコミュニケーションを取っていく事が、重要な要素の1つとなります。
      

感想

発表を聞くだけでなく各章毎に出される質問に対し答える事により、私自身参加者として今までの自分の経験の内省に繋げられる経験となりました。
また、参加者同士で答え合う事により、共通で辛さとして出てきがちな問題・自分の経験だけだと知ることができていなかった事例について集められる良い機会となったと思います。

おわりに

機械学習オペレーションWGでは、今後もMLOpsに関する様々な知見や経験を共有するインタラクティブな勉強会を開催していく予定です。
今回のブログで少しでも気になったら、MLSEのdiscordを覗いていただけると大変嬉しいです。
我々のWG以外にも他のWGやLLM・基盤モデル等の情報共有も行われているので、興味のある内容が見つかるのではないかと思います。