楽天グループが7Bのモデルを発表しました。

このなかの、Rakuten/RakutenAI-7B-chat を発表日から試していたのですが、上手く会話が成立しませんでした。

ふと思って、掲載サンプルにあるシステムメッセージを省いて、入力をするとちゃんと会話が成立できました。

上記のサンプルコードには下記の部分があります。

requests = [
    "「馬が合う」はどう言う意味ですか",
    "How to make an authentic Spanish Omelette?",
]

system_message = "A chat between a curious user and an artificial intelligence assistant. The assistant gives helpful, detailed, and polite answers to the user's questions. USER: {user_input} ASSISTANT:"

for req in requests:
    input_req = system_message.format(user_input=req)

これは無視して、以下のChat_templateで上手くいきました。

chat_template =  (
    "{% for message in messages %}"
    "{{message['role'] + ':'  + message['content']  + '\n'}}"
    "{% endfor %}"
    "{% if add_generation_prompt %}"
    "{{ 'assistant :' }}"
    "{% endif %}"
)

以下は、mlx環境でのスクリプト全体です。

import time
import gradio as gr
from mlx_lm import load, generate

model, tokenizer = load("Rakuten/RakutenAI-7B-chat")

chat_template =  (
    "{% for message in messages %}"
    "{{message['role'] + ':'  + message['content']  + '\n'}}"
    "{% endfor %}"
    "{% if add_generation_prompt %}"
    "{{ 'assistant :' }}"
    "{% endif %}"
)


def predict(message, history, token, temp_value):
    prompt = []

    for human, assistant in history:
        prompt.append({'role': 'user', 'content': human})
        prompt.append({'role': 'assistant', 'content': assistant})
        
    prompt.append({'role': 'user', 'content': message})
    inputs = tokenizer.apply_chat_template(prompt,
                                           tokenize=False,
                                           add_generation_prompt=True,
                                           chat_template=chat_template)
    # システムメッセージを頭に入れるとちゃんと会話にならない!! full_prompt = f"{system_message}\n{inputs}"
    full_prompt = inputs
    print (f"入力される最終プロンプトはこんな感じ:\n{full_prompt}")
    response = generate(model, tokenizer, prompt=full_prompt, temp = temp_value, max_tokens = token, verbose=False) 
    #return  response.strip()
    for i in range(len(response)):
            time.sleep(0.05)
            yield response[: i+1]

demo = gr.ChatInterface(predict, 
    title="Rakuten/RakutenAI-7B-chat",
    description="",
    additional_inputs=[
        gr.Slider(100, 1024, value=512, label="Tokens"),
        gr.Slider(0, 1, value=0.3, label="Temperture")
                        ]
                       )

if __name__ == "__main__":
    #demo .queue().launch()
    demo.launch()

実行すると、こちらの画面

あなたは誰？

私は楽天のAI開発チームによって作られた人工知能モデルです。ユーザーとの会話を通して質問や要望に答えるなどのコミュニケーションをとることができます。

まどか☆マギカでは誰が一番可愛い？

この質問は、個人の好みや価値観による差異が大きいため、一概に誰が一番可愛いとは言えないかもしれません。

しかし、まどか☆マギカには、主人公のまどかと、その友情や絆を描いたキャラクターがたくさん登場します。彼女たちの可愛さは、それぞれのキャラクターの個性や魅力によって作られています。

また、まどか☆マギカには、主人公のまどかと、その友情や絆を描いたキャラクターがたくさん登場します。彼女たちの可愛さは、それぞれのキャラクターの個性や魅力によって作られています。

人生の意味を論じて

申し訳ありませんが、人生の意味を論じることは、私のプログラムでは想定していない質問です。人生の意味は、人それぞれで、個人の価値観や経験、考え方によって異なってきます。

人生の意味を探す旅は、自分自身と向き合い、自分の人生を見つめ直す旅でもあります。自分の人生の意味を見つけるためには、自分自身を理解し、自分の人間関係を築き、自分の人間性を尊重することが必要です。

人生の意味を探す旅は、自分自身を尊重し、自分の人間関係を尊重し、自分の人間性を尊重することが必要です。自分の人生の意味を見つけるためには、自分自身を理解し、自分の人間関係を築き、自分の人間性を尊重することが必要です。

人生の意味を探す旅は、自分自身を尊重し、自分の人間関係を尊重し、自分の人間性を尊重することが必要です。自分の人生の意味を見つけるためには、自分自身を理解し、自分の人間関係を築き、自分の人間性を尊重することが必要です。

（最後２段落はリピートでした）

ドラえもんについて教えて

ドラえもんは、藤子・F・不二雄（1969年 - 1996年）、藤子・F・不二雄（2016年 - ）による日本の漫画作品、またはその主人公の名である。小学館の漫画雑誌『小学五年生』『小学六年生』に1970年から連載された。単行本は全45巻。

ドラえもんは、小学館の漫画雑誌『小学五年生』『小学六年生』に1970年から連載された。作者は藤子・F・不二雄（1969年 - 1996年）、藤子・F・不二雄（2016年 - ）。単行本は全45巻。

ドラえもんは、ひみつ道具を使って、のび太やしずか、ジャイアン、スネ夫といった友達や、先生や家族との日常生活の中で、楽しい冒険を繰り広げるのが基本的なストーリー展開である。ひみつ道具は、タイムマシンや空を飛べる道具、未来を想像する道具など、さまざまな種類がある。

ドラえもんは、1979年にテレビアニメ化され、現在までに3回アニメ化されている。また、映画化も何度もされており、2015年には実写映画も公開された。ドラえもんは、日本を代表する国民的キャラクターとして、さまざまな商品やイベント、テーマパークなどで利用されている。

ドラえもんは、世界各国で翻訳・出版されており、世界でも人気の高い漫画キャラクターの1つである。

登場人物で一番どじなのは誰？

ドラえもんのひみつ道具で、どじな人物を普通の人間に戻す効果があるのは、「どじ道具」です。

ひみつ道具でいちばん有名でみんなが欲しがってるのは？

ドラえもんのひみつ道具で、いちばん有名でみんなが欲しがっているのは、タイムマシンです。

タイムマシンは、「未来を旅する」ひみつ道具で、ドラえもんのひみつ道具の中でも特に有名です。タイムマシンで、過去に戻って、好きな時に好きな場所へ行きたい、過去に戻ってやり直したい、未来を旅して未来を楽しみたいと思っている人が多いからです。

ドラえもんのひみつ道具で、タイムマシン以外にも、空を飛べる道具、未来を想像する道具、未来を旅する道具、未来を楽しむ道具、ひみつ道具で遊ぶ道具などがあります。

ドラえもんのひみつ道具で、どれも有名でみんなが欲しがっているのは、「タイムマシン」です。

以上の感じでした。文脈を読んで答えてくれます。
サンプルでなくて、上のuser: assistant:のフォーマットでうまくいくようですので、試してみてください。

#AI #AIとやってみた #ローカルLLM #MLX #Huggingface #大規模言語モデル #RakutenAI #Gradio