こんにちは、福田です。

今回はLINEから発表された最新LLMのJapanese-large-lm-3.6bを試しに動かして遊んでみます。

Hugging Face

こちらがリソースになります。

日本語で記述されているLINE公式Techブログもあるので気になる方は一読をお勧めします。

公式Techブログがおすすめ

単なる説明だけでなく、大規模言語モデル学習Tips(パラメータの初期値・Adamのハイパーパラメータ・Cosineスケジューラなど)も紹介されているのでLLM入門者には参考になるかと思われます。

遊んでみる

まずは必要なライブラリをインストールします。

!pip install transformers xformers sentencepiece -q

公式ではseedをセットしていましたが、今回は行いません。

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer, pipeline

モデル作成とトークナイザーの設定

• 高速化トークナイザーに対応していないようなのでuse_fast=Falseとすること

model = AutoModelForCausalLM.from_pretrained("line-corporation/japanese-large-lm-3.6b", torch_dtype=torch.float16)

tokenizer = AutoTokenizer.from_pretrained("line-corporation/japanese-large-lm-3.6b", use_fast=False)

generator = pipeline("text-generation", model=model, tokenizer=tokenizer, device=0)

それでは実際に推論します。 max_lengthについて、hugging faceでは30になっていましたが、もう少し長い文章で比較したかったので150にしておきました。

text = generator(
    "「アルジャーノンに花束を」を読んで、",
    max_length=150,
    do_sample=True,
    pad_token_id=tokenizer.pad_token_id,
    num_return_sequences=5,
)

for t in text:
  print(t)

学習リソースがわかるところ(出力④あたり)がまた面白いところです。

また他の文章も幾つか試してみましたが、日本語的な違和感を一部感じる部分があります。 ただ、個人的には従来と比較しても着実に質は上がってきているなと感じます。
これからの日系企業発の言語モデルの発展が楽しみです。

最後まで読んでいただきありがとうございました。
みなさんもぜひ手を動かして遊んでみてください。