こんにちは！個人投資家のTAKA Chanです。
Appleは、iPhoneやAndroidなどのモバイルUI画面を理解し、インタラクションできるように設計されたマルチモーダル大規模言語モデル（MLLM）「Ferret-UI」を発表しました。

これは、従来のマルチモーダルモデルとは異なり、スマホ画面の内容を理解し、スマホ操作のための適切な指示を出せる点が特徴との事ですが果たして？
少し調べて見ました！

Ferret-UIの特徴

• スマホ画面を理解する: アイコン、ボタン、テキストなどのUI要素を認識し、その役割を理解することができます。

• スマホ操作を指示する: 特定のアプリを開いたり、設定を変更したりするなどの操作を、自然言語で指示することができます。

• スクリーンショットの詳細説明: スクリーンショットに写っている内容を、詳細に説明することができます。

• 質疑応答: スクリーンショットの内容に関する質問に、答えることができます。

• 画面全体の機能推測: 画面全体の機能や目的を推測することができます。

Ferret-UIの技術

Ferret-UIは、Appleが2023年10月に発表した画像内の形や場所を言葉で説明するAI「Ferret」をベースに開発されています。Ferret-UIは以下の技術を活用しています。

• Any resolution: 画像解像度に依存せず、UIの詳細を認識することができます。

• マルチモーダル学習: 画像とテキストの両方の情報から学習することで、より高精度な認識が可能になります。

• ドメイン特化アノテーション: スマホアプリのUIに特化したデータで学習することで、より正確な指示を出すことができます。

Ferret-UIの性能

Appleの研究によると、Ferret-UIは、従来のマルチモーダルモデルであるGPT-4Vよりも高い性能を示しています。具体的には、以下のタスクにおいて、GPT-4Vよりも高い精度を達成しています。

• アイコン認識: 95% vs 85%

• テキスト検索: 92% vs 82%

• ウィジェットリスト: 90% vs 78%

Ferret-UIの将来展望

Ferret-UIは、まだ研究段階の技術ですが、将来的には以下のような活用が期待されています。

• 視覚障がい者向けの支援: 視覚障がい者がスマホを操作できるように支援することができる。

• 高齢者向けの支援: 高齢者がスマホを操作できるように支援することができる。

• スマホ操作の自動化: スマホ操作を自動化することで、ユーザーの利便性を向上させることができる。

• Siriとの連携: Siriと連携することで、より自然な言語でのスマホ操作が可能になるらしいです。

最後に

Ferret-UIは、スマホの操作性を大きく向上させる可能性を秘めた技術です。いよいよAppleも本気出して来たのでしょうか？今後の進展が注目されます。