「Google Colab」で「CALM2」を試したので、まとめました。

1. CALM2

「CALM2」は、「CyberAgent」が開発した70億パラメータ・32Kトークン対応の日本語LLMです。

2. CALM2 のモデル

「CALM2」は、現在2つのモデルが提供されています。

3. Colabでの実行

Colabでの実行手順は、次のとおりです。

(1) Colabのノートブックを開き、メニュー「編集 → ノートブックの設定」で「GPU」を選択。

(2) パッケージのインストール。

# パッケージのインストール
!pip install transformers accelerate

(3) トークナイザーとモデルとTextStreamerの準備。
今回は、チャットモデル「cyberagent/calm2-7b-chat」を使います。

import transformers
from transformers import AutoModelForCausalLM, AutoTokenizer, TextStreamer

# トークナイザーとモデルとTextStreamerの準備
tokenizer = AutoTokenizer.from_pretrained(
    "cyberagent/calm2-7b-chat"
)
model = AutoModelForCausalLM.from_pretrained(
    "cyberagent/calm2-7b-chat", 
    device_map="auto", 
    torch_dtype="auto"
)
streamer = TextStreamer(tokenizer, skip_prompt=True, skip_special_tokens=True)

(4) 推論の実行。

# プロンプトの準備
prompt = """USER: まどか☆マギカでは誰が一番かわいい?
ASSISTANT: """

# 推論の実行
token_ids = tokenizer.encode(prompt, return_tensors="pt")
output_ids = model.generate(
    input_ids=token_ids.to(model.device),
    max_new_tokens=300,
    do_sample=True,
    temperature=0.8,
    streamer=streamer,
)