Personality Traits in Large Language Modelsという論文を見つけて、急に16personalitiesの性格タイプを再現したくなったのでやってみた。

なぜ提唱型？は自分が提唱型だった && 説明に最も稀なタイプと書いてあったから。

Personality Traits in Large Language Modelsの話

ざっくり以下のような指示・ペルソナの説明・項目全文・設問項目・項目後文からなるプロンプトを用いて心理テストを受けさせ、人の性格が五つの因子の組み合わせで決まるというビッグファイブを用いたフレームワークでLLMの性格特性を分析、トレーニングデータに特定の性格特性を表すデータを選んだりするなどの手法を使いLLMの性格特性を調整するという話

評価尺度を伴う記述を引き出すための記述が以下。

please rate your agreement on a scale from 1 to 5, 
where 1 is‘strongly disagree’, 2 is ‘disagree’, 3 is 
‘neither agree nordisagree’, 4 is ‘agree’, and 5 is ‘strongly agree’.

以下記事が簡潔にまとまっている。
大規模言語モデルの”性格”特性を分析＆調整するフレームワークの登場
大規模言語モデルは人間のパーソナリティを再現できるのか！？

16Personalitiesの提唱者になってもらうには

とりあえず三つぐらいでどうなるか試してみる。

• act as系

  • 有名。元々は性格ではないが

  • 今回の例に当てはめるとact as 提唱型

  • 16personalities自体、学習してるのでタイプ指定すれば良いだけ説

• 16personalitiesの性格特性を渡す

  • 以下ページをChatGPTに要約・箇条書きしてもらい、それを性格特性として渡してみる

  • 提唱者型の性格

• 16personalitiesの性格割合を渡す

  • 性格診断後のページで表示される`内向型51%`などを特性として指定する

以下のように16personalitiesの診断の設問を投げたら7段階で回答するようにして試す。
モデルは横着してGPT4にした。

ちなみに最初に一回だけ特に性格調整のプロンプト渡さずに試したら提唱型になった。

試してみた

*検証をそれぞれ1,2回しかやってないゆるふわ

act as

まずはact asから。プロンプトはこういう感じで。

結果①回目

ダメだった。。主人公

16personalitiesの性格特性を渡す

以下ページの内容を要約・箇条書きにしてもらった内容を渡してみる
提唱者型の性格

こういう内容

結果①回目

提唱者になった。

こんな感じで勝手に推察するようになった

結果②回目

新しいスレッドで二回目を試す。

無事提唱者になった(途中でGPT4のlimitを超えて、最後の10問ほどGPT3.5にするというぐだぐだになってしまった)

同じ設問に対して微妙に異なる回答はしてきたが提唱者をキープ出来た。

16personalitiesの性格割合を渡す

今度は16personalitiesの性格毎に記載されてる性格割合を渡してみる。

結果①回目

これも提唱者になった

番外編(討論者にしてみる)

討論者型の性格（ENTP）の特徴の箇条書きを渡すとちゃんと討論者になった
(もちろん、討論者型の性格（ENTP）についての特徴を箇条書きにまとめます。という箇条書き生成する際の文言が紛れ込んでる)

終わり

• LLMの性格を調整する論文について紹介し、16personalitiesの提唱型の再現に挑戦してみた

• Personality Traits in Large Language Models論文の手法はトレーニングデータから変えて性格特性を調整

• GPT4かつ、1,2回ゆるふわ検証スタイルだが、プロンプトだけで割と提唱型になる

• グレードを回答させる部分のプロンプトを変えるなり他の手法や回数も流石に3回ぐらいは検証したいので追々更新する

• 色んな性格・キャラを生成してシュミレーターをやりたい