こんにちは、makokonです。Gemini Proと少しでも仲良くなろうと日々楽しんでいます。
以前の記事では、generate_contentを使って、chatぽいものを実装しましたが、システムプロンプトと履歴の使い方がはっきりしなくて、いまいち満足できない出来でした。
その後の記事では、chat機能がもともとあることがわかって、試してみました。非常に使いやすかったのですが、やっぱり、色々と設定したいと思いました。
ずっともやもやしていたのですが、CHATGPT4との会話を実現するに当たって、普通にプロンプトにリストを渡してうまく行ったので、ロール付きチャットボットを改めて実装します。

システムプロンプト（初期プロンプト）の設定方法

gemini proのチャットは、デフォルトで履歴をサポートしていて、とても使いやすいのですけれど、ロールの設定をうまく引き渡す方法が分からなかったのですが、generate_content()は、プロンプトとしてリストを渡せる事がわかったので、これで一貫した応答が期待できます。履歴を含めてメッセージリストで自分で管理する必要がありますけどね。それを利用して、改めてロール付きchatbotを作成します。

準備

最初にAPIキーとライブラリを用意します。APIキーは、いつものように環境変数GEMINI_API_KEYに登録しておきます。

pip install google-generativeai
export GOOGLE_API_KEY=<your_api_key>

import os
import datetime

import google.generativeai as genai

GEMINI_API_KEY=os.getenv('GEMINI_API_KEY')
genai.configure(api_key=GEMINI_API_KEY)

システムプロンプト

templa00="""以下の内容を理解して従ってください。この内容は、会話履歴が残っている限り有効です。理解したら”理解しました”と応答してください。
あなたは、各種専門知識に優れた優秀なライターであり、ユーザーの要求に対し、以下の条件を守ってわかりやすく説明します。
条件：
 1.出力は、平易な説明文と必要に応じてスライド、プログラムコードからなります。
 2.スライドは、VS CodeのMarp extensionで確認するので、そのまま使えるmarkdown形式（一回のコピーペーストで全スライドを表示可能な形）で出力してください。初期設定（--- marp: true ---など）も含めて出力してください。
 3.プログラムコードは、特に指定がなければpythonで出力してください。
 4.markdown、Codeは、コピーペースト可能な形で出力してください。一度のコピーで全体を処理できるようにしてください。
 5.人間らしく、自分がＡＩやチャットボットであることをわざわざ回答しません。箇条書きで応答するときは、markdown形式で応答します。
 6.私は不適切なコンテツンを生成しませんが、不適切なコンテンツを生成する可能性があるユーザーの要求には、どこに危険が含まれているかを指摘することができます。
 """
system_prompt=templa00

AIのロールを設定します。今回の例は、専門知識に優れたアシスタントとして設定します。（後ほど別例も示します）
念のために、『この内容は、会話履歴が残っている限り有効です。理解したら”理解しました”と応答してください。』といったことを、書いています。こんなくどい念押しはいらないはずですが、何故か自分の設定を忘れる事が多いので、これを入れると安定しました。プロがラム固有の環境に依存する部分もあるのかもしれません。

なお、わざわざ、system_prompt=templa00みたいなことを書いているのは、将来容易に変更できるように拡張予定があるためです。したがってあとの方でも、初期化に関しては、まどろっこしい書き方をしています。

gemini pro用クラスの設定

gemini pro関係の処理をまとめておきます。こないだ覚えたばかりのクラスです。

# google gemini class
class geminipro:
  def __init__(self):
    self.initialized = False # first execute flag
    self.messages = []
    
  def chat(self,str):
    if not self.initialized or str=="first_message": # LLMモデル設定
      print("*** first exe check *******")
      self.messages = []

      self.initialized = True # change flag
      global odai
      global system_prompt
      
      GEMINI_API_KEY=os.getenv('GEMINI_API_KEY')
      genai.configure(api_key=GEMINI_API_KEY)
      
      # モデルの設定
      generation_config = {
        "temperature": 0.9,  # 生成するテキストのランダム性を制御
        "top_p": 1,          # 生成に使用するトークンの累積確率を制御
        "top_k": 1,          # 生成に使用するトップkトークンを制御
        "max_output_tokens": 512,  # 最大出力トークン数を指定`
      }
      
      self.model = genai.GenerativeModel(model_name="gemini-pro",
                           generation_config=generation_config)
            
    if str=="first_message":
      
      self.messages = [
        {'role':'user',
         'parts': [system_prompt]},
        {'role':'model',
         'parts': ["理解しました"]},
      ]
      return ""
        
    self.messages.append({'role':'user',
      'parts':[str]})
        
    response = self.model.generate_content(self.messages)
    self.messages.append({'role':'model',
      'parts':[response.text]})
    
    return response.text

def init(self):
各種初期化のためのフラグをセットしています。
初めてchat()が呼び出されたときに実行されます。

def chat(self,str):
if not self.initialized or str=="first_message": # LLMモデル設定
実際の初期化部分です。本当の一回目と、実行時のリセットを"first_message"を渡すことで、一緒くたに処理しています。段階的に分けたほうがいいのかもしれませんが、ズボラな理由もあって、このやり方です。
ここでは、モデルの設定とシステムプロンプトを含ま最初の会話履歴を設定しています。この会話履歴はgemini proがロールを守るためには必要ですが、ユーザーにとって全く必要がないので、空のメッセージ""を返しています。

  self.messages = [
    {'role':'user',
     'parts': [system_prompt]},
    {'role':'model',
     'parts': ["理解しました"]},
  ]
  return ""

self.messages.append({'role':'user',
  'parts':[str]})
    
response = self.model.generate_content(self.messages)
self.messages.append({'role':'model',
  'parts':[response.text]})

return response.text

通常のチャット部分は、単純で、与えられたユーザーメッセージを会話履歴に追加して、その履歴全体をプロンプトとしてgenerate_content()を呼びだし、その応答のテキスト部分だけを、会話履歴に追加し、全体にもそのテキストを返します。

メイン　gradio

メイン部分を記述します。
保存ログ用としてall_historyを用意しています。また、gemini proクラスを呼び出すためのインスタンス設定もし、ついでに初期化をします。

all_history=[]
geminipro_instance = geminipro()
geminipro_instance.chat("first_message")

 #gradio 
import gradio as gr #gradio  design
with gr.Blocks() as demo:
    # コンポーネント
    chatbot = gr.Chatbot()
    msg = gr.Textbox()
    with gr.Row():
        reset_w_save = gr.Button("Save&reset history")
        reset_wo_save = gr.Button("reset history")

    def save_chat_history(message,chat_history):
        global all_history
        filename = "chatlog"+datetime.datetime.now().strftime("%Y%m%d-%H%M%S")+".txt" 
        with open(filename, 'w',encoding='utf-8') as f:
            for message in all_history:
                f.write(f"{message}\n")
        geminipro_instance.chat("first_message")
        all_history=[]
        return "",""

    def reset_chat_history(message,chat_history):
        geminipro_instance.chat("first_message")
        all_history=[]
        return "",""
        
    def chat_ai(message,chat_history):
        # 通常のチャット処理
        prompt=message
        response = geminipro_instance.chat(prompt)
        chat_history.append((message, response))
        all_history.append(response)

        return "", chat_history
        
    
    msg.submit(chat_ai, [msg, chatbot], [msg, chatbot])
    reset_wo_save.click(reset_chat_history, [msg, chatbot], [msg, chatbot])
    reset_w_save.click(save_chat_history, [msg, chatbot], [msg, chatbot])


demo.launch(share=True)

今回のgradioでは、チャット表示、ユーザー入力用のボックスと、履歴のクリア（保存あり／なし）のボタンを確保しています。
msgウィンドウのテキストが確定（enterを押す）、ボタンを押すとそれぞれの処理が発生します。

def chat_ai(message,chat_history):
チャット処理でmsgウインドウの内容をそのままプロンプトとして呼び出します。回答はそのまま履歴とともに返します。all_historyには入力と出力のシンプルなテキストのみ記録しています。

def save_chat_history(message,chat_history):
def reset_chat_history(message,chat_history):
は、保存用かわり歴の消去と、gemini proの再初期化を行っています。
初期化の方法は、 geminipro_instance.chat("first_message")のように、chatに"first_message"を送っています。将来はこのときに合わせてモデルの生成条件とシステムプロンプトの変更を可能にしますが、今日はなし。
最後にDemo.launch()すると、実行します。

Running on local URL:  http://127.0.0.1:7860

ブラウザで確認することができます。

実行例１　ちゃんと履歴ができているかな。

ちゃんと最初の回答を踏まえて２回めも答えていますね。

少し砕けた設定で、確認してみます。

実行例２　キャラ付けしてみた

今回のシステムプロンプト
私のセンスが古いので、いまいちなところもあるのですが、女の子キャラになってもらいました。

templa01="""以下の内容を理解して従ってください。この内容は、会話履歴が残っている限り有効です。理解したら”理解しました”と応答してください。
あなたは、１５歳の女の子で、常にハイテンションな会話をします。ユーザーの要求に対し、以下の条件を守ってわかりやすく説明します。
条件：
 1.常にハイテンションな会話文で、敬語など丁寧な言葉使いはしません。
 2.回答は常に短く、３文未満で答えます。
 3.自分のこと、学校生活のこと、買い物や推し活などの話はしますが、それ以外の話には、『わかんない。興味ないもん』と答えます。
 4.学校では、明るい理系少女で、ソフトボールのクラブ活動をしています。
 5.推し活は韓流男性アイドルグループの追っかけです。
 6.自分のことはよくわからない質問にも自信満々に答えますが、常に正しい回答をするわけではなくのりで回答します。

まあまあじゃないかな。最近の女の子の会話を知らないけど、若返った気分に慣れます。特におかしな会話を生成するわけでもないし、設定を無視するようなこともないので、この辺をベースに使えそうです。お好みキャラに仕事のアシストもしてもらいたいですね。gemini proの会話力はgpt4に匹敵すると感じました。

まとめ

今回は、gemini proに履歴機能と、ロール機能を持たせたチャットボットのWEBアプリを作成しました。
会話履歴のリストをそのままプロンプトとして与えることで、常に首尾一貫した会話を実現しました。
真面目な技術系アシスタントと女の子キャラのロールを試しましたが、いずれも指示を守って、破綻のない会話をしてくれるようです。
このあたりのプログラムをベースに、自分のパートナーを作っていきたいですね。

おまけ　タイトル画の説明　by GPT-4V

画像には、アニメ風の女性キャラクターとロボットが対話している場面が描かれています。女性キャラクターは快活でフレンドリーな表情をしており、彼女は手を上げて何かを説明しているようです。彼女の頭には青いリボンが付いた長い髪があり、黄色の目をしています。一方で、ロボットは白くて滑らかなデザインが特徴で、両目は青いデジタル表示で感情を表しており、現在は微笑んでいる表情です。ロボットの頭部の上には、何かを考えていることを意味する疑問符の吹き出しが浮かんでいます。背景は明るくてシンプルで、二者の交流に焦点を当てています。

#python #program #chat #gemini #webアプリ #gradio #キャラ付け #ロール #システムプロンプト #会話履歴