こんにちは、ChatGPT部の大城です。久々の更新です。私の方は先週は宮崎、今週は沖縄とChatGPTのセミナーラッシュの真っ只中です。
(GPTs発表とか、MS Copilotも楽しそうですがなかなか触れない・・)

こちらのシリーズはローカル環境で動作するLLMについての調査のログです。

エクセルでのサマリ

後ろの方でnoteで読みやすいようにしますが、こんな感じですね。

先人の調査

Javaのきしださんに教えてもらいましたが、清水さんの検証結果が結構参考になるよ、との事でしたので貼っておきます。

一部引用するとこんな感じ。GPT-4、強い

最近話題の日本語対応LLMは何があるか？

まだ本格的な調査前ですが、いくつかピックアップします。

Japanese Stable LM Gamma 7B (10/25)

• 公開日: 10月25日

• 特徴: Mistral-7B-v0.1をベースに日本語データを追加学習。Mistral-7BはMistral AIの言語モデル。

• ライセンス: Apache 2.0

• 公開元: stability.ai

• リンク: 詳細はこちら

ELYZA-japanese-Llama-2-7b (8/9)

• 公開日: 8月29日

• 特徴: MetaのLlama2に日本語を追加学習。語彙を追加することで高速化したものもあるが、今回はベースモデルを利用。

• ライセンス: Llama 2 Community License

• 公開元: ELYZA

• リンク: 詳細はこちら

CyberAgentLM2-7B (11/2)

• 公開日: 11月2日

• 特徴: Llama2アーキテクチャを独自に英語と日本語で学習。32Kトークンに対応(5万文字程度の長い文章が扱える。ただしメモリも必要)。

• ライセンス: Apache 2.0

• 公開元: CyberAgent

• リンク: 詳細はこちら

Youri 7B (10/31)

• 公開日: 10月31日

• 特徴: Llama2に日本語を追加学習。

• ライセンス: Llama 2 Community License

• 公開元: rinna

• リンク: 詳細はこちら

LLM-jp-13B (10/20)

• 公開日: 10月20日

• 特徴: 独自のモデル。

• ライセンス: Apache 2.0

• 公開元: NII

• リンク: 詳細はこちら

Stockmark-13b-Instruct (11/10)

• 公開日: 11月10日

• 特徴: ベースモデルは10/26に公開されたStockmark-13b。Llama2アーキテクチャを独自学習している。このInstructは研究目的のみ利用可能であるが、ベースモデルはMITライセンスで商用利用が可能。また、同様のチューニングを独自に施すことは可能。

• ライセンス: CC-BY-NC-SA(研究目的のみ)

• 公開元: Stockmark

• リンク: 詳細はこちら

所感等：ひとまずはELYZAとCyberAgent、あとstability.aiは気になる

清水さんのベンチマークで高そうなものから追加検証、で良さそうな気がしますね。

ローカル版のLLMが動くと情報漏洩等のリスクが一気に減りますので、直近の性能差はともかく1、2年後にChatGPT-4相当の性能が出始めたらかなり有益なのでは、と個人的には考えています。
(その頃にはGPT-5とかGPT-6とか出てるかもしれないですが・・)

余談：エクセルの表->ブログ変換

ChatGPTにお願いすれば楽々ですね。いい時代です。

上記テキストを雑にコピペして以下の依頼、で作りました。
(もちろん、元の表は必要です)

それではみなさんもどうぞ良いChatGPTライフを・・！(大城)