見出し画像

シニアだけどLM StudioでMistralとLlama3をダウンロードしよう

どうも、駆け出しシニアのHot3DegC(ホットサンド)です。

最近、Chat with RTXの方に浮気していたら、LM Studioがアップデートしていたみたいです。

そんなに長い間、放置していたはずはないと思うんだけど……



注目の新機能の確認

まずはじめに、確認出来たアップデートされたバージョンは、0.2.19と0.2.20になりますので、順を追って確認していこうと思います。

バージョン0.2.19の主なアップデート内容

0.2.19の案内
  • テキスト埋め込みモデルのサポート

  • バグ修正とパフォーマンスの改善

  • CohereForAI/Command-R-Plusのサポート

  • MistralAI Mistral 8x22B(ベースモデル)のサポート

  • GGUFモデルファイルのダウンロードと実行のサポート

私が特に注目したのは、Mistralの22B(ベースモデル)のサポートですかね。

利用出来る大規模モデルが増えるということは、それだけ用途にあわせた選択肢が増えることに繋がりますし、精度の向上は言うまでもなく大歓迎なことですしね。

因みに、テキスト埋め込みモデルやGGUFモデルファイルのサポートって今までも出来ていたんじゃないかと思うんだけど、何か拡張されたのかな?

時間に余裕があれば調べてみようと思います。


バージョン0.2.20で追加された機能

0.2.20の案内
  • Metaの"Llama3"が利用可能に

こちらは、Llama3の公開に併せて数時間レベルで対応したんでしょうね。

なんせ今朝発表されたはずなんだと思うんで、LM Studioのやる気が凄いと感じます。

提供されるモデルサイズは、ふたつあり8Bと70Bになるそうで、15兆トークンにトレーニングされた強力なモデルらしいですね。

前モデルのLlama2と比較すると7倍のデータ量でコードデータでは4倍になっているそうです。


MistralとLlama3のダウンロード

では、早速2つのモデルをダウンロードして利用してみようと思います。

まだ早かったようですね

が、現時点ではLMStudioからLlama 3を直接ダウンロードすることはできないようでしたので、Llama3については、もうしばらく様子をみてみましょう。


Mistral 22B とGeminiの日本語での対応状況

Llama3については少々残念ではありますが、一旦気を取り直してMistralをダウンロードして日本に関する情報と日本語での回答能力を検証してみました。

ん~……

神奈川県のことを「Kushinawa」と紹介してくれているようなのですが…。

プロンプトが日本語だからダメなのかな?と思い英語で質問してみることにしました。

威勢は良いのですが…

こちらも聞いたことのない伝統料理を紹介してくれていたり、築地魚市場が東京の神奈川地区にあるなどのお茶目な紹介をしてくれています。

残念ながら、日本の情報に関する知識はあまり学習されておらず日本語での回答も難しい状況ですね。

このままでは、少し寂しいのでGeminiモデルでも同様に神奈川県について紹介してもらいましたが、内容は期待ほどではありませんでした。

日本語では回答してくれています。

こちらは、日本語では回答してくれているのですが、やはり学習レベルはそれほど高くないようですね。

やはりこのあたりはクローズドモデルのサービスとの間にまだまだ距離があるように感じますね。

なので、情報収集等に関しては、当分はChatGPTやGeminiのお世話になりそうです。

そうなのです!お気づきかも知れませんが、最近はChatGPTよりGeminiで情報収集したりすることが多くなってきました。

後発の大規模モデルほど高い生成能力をもっているので、より新しく洗練された情報が得られやすいですよね。


まとめ

この結果から、LM Studioのサポートするモデルはまだ日本語での使用には最適化されていない傾向にあるのかと思います。

しかし逆に、これは日本語ユーザーにとって改善の余地があることを意味しており、LM Studioの利用率が拡大していけば、将来的にはより良いサポートが期待できる側面もあるのかとも思います。

なので、これからも新たなアップデートを注視して日本語対応がどのように改善されていくかを見守っていきたいと思います。

最後まで読んでいただき有難うございます。
引き続き応援の程宜しくお願い致します!!

よろしければサポートお願いします!頂いたサポートは記事テーマのツールやアプリの購入費に使わせていただきます!レビュー希望のツールなどあればコメント頂けると嬉しいです。