MLX Swift による LLM のオンデバイス推論を試す

2024年4月4日 10:40

「MLX Swift」による「LLM」のオンデバイス推論を試したので、まとめました。

1. MLX Swift

「MLX Swift」は、Swiftから利用できる「MLX」で、「MLX」は、Appleが開発した新しい機械学習フレームワークで、「Apple Silicon」(M1/M2/M3など) を最大限に活用するように設計されています。

・サポートするプラットフォーム

・Mac
・iOS
・visionOS

iOSのデモアプリの実行手順は、次のとおりです。

(1) 以下のXcodeプロジェクトをダウンロードして実行。
初回は、モデルダウンロードに時間がかかります。

・LLMEval

MLX Swift で iOS上でのオンデバイスLLM推論をお試し中。https://t.co/kG08VCYZvF pic.twitter.com/KIZglmPXPk
— 布留川英一 / Hidekazu Furukawa (@npaka123) March 30, 2024

(2) 必要に応じてでモデルを切り替え。
ControlViewの150行目で切り替えることができます。

    let modelConfiguration = ModelConfiguration.phi4bit
　　　　　　　　　　　　　　　　　　　　　　　↓
    let modelConfiguration = ModelConfiguration.mistral7B4bit

・mistral7B4bit
・codeLlama13b4bit
・phi4bit
・qwen205b4bit

手持ちの「iPhone 12」の6GBでは、「Mistral 7B 4bit」は動作しませんでした。「iPhone 15 Pro」であれば8GBなので動くと思われます。