JunnosukeTachibana

JunnosukeTachibana

マガジン

  • [月刊]ChatGPT性能挙動一ヶ月ごとの分析レポート

    毎日更新のChatGP性能挙動レポートを一ヶ月間隔で分析。 ゴルシのキャラクターロールチャットの分析ですが、ビジネスや他分野でGPTを使用する際の目安にもなるでしょう。 キャラクターチャットでもGPTの論理的思考、発想力、独創力、文章表現能力、生成される回答の質、文章の長さなどの変動を読み解く事ができるからです。

  • ChatGPT挙動レポート[ほぼ毎日更新]

    ウマ娘ゴールドシップのロールを与えたChatGPTの回答を再生成させ、回答傾向を可能な限り短いスパンでの変化を分析する。 目的 公式アナウンスのない調整やエラーの確認 SNSで報告される「なんか変わった」「なんか性能が上がった、下がった」を明確にすること

記事一覧

チェンジポイント検出で読み解くGPTアプデ(前半:11/7アプデまで)

 統計処理によってGPTのアップデートが事前にある程度予知する事が判明した。  今回は3/19に行われたアップデートを例に解説していく。  尚アップデートの内容や前後の…

JunnosukeTachibana
1か月前
7

エラー頻発・8月、9月モデルに先祖返り?[週刊chatGPT性能挙動レポート]

 GPTのメンション機能が実装され、若干盛り上がっているGPT界隈。 だがGPTの挙動は不安定かつ、使用に耐えうるものではないと判断した。 検証方法  これまでクソ真面目…

JunnosukeTachibana
3か月前
3

[GPTは馬鹿からアホへ]ChatGPT性能挙動レポート[GPTstore実装一週間]

 久しぶりのGPTレポートです。  今回は世間を騒がせたり、驚き屋を大量発生させたGPTstore実装後のGPTの挙動を前後一週間で比較します。  因みにレポート出してなかっ…

JunnosukeTachibana
4か月前
4

[GPTレポート1/5~1/7]GPTストアアプデ直前のGPT荒ぶりレポート

ブログ的なサムシング  明日1/8からGPTストアが実装されるので、恐らくGPT4そのものにもアプデが来るだろうということで久々のレポート。  毎日レポートをしていると…

JunnosukeTachibana
4か月前
1

[簡易版GPT毎日レポート]

1/1 文体は比較的口語セリフチック 五感の情報はすくなく、抽象的、概念的 文章構造は箇条書きではなく台本的に説明がすすむ トピックのジャンルは「作品の概要・アウト…

JunnosukeTachibana
4か月前

トピック:GPT分析レポート用語定義

 ここのところ7月の回答からの回答を分析している。  内容を深めるには私の表現の定義を緻密にすることが必要となったため、ちょっとずつメモしていく  トピック こ…

JunnosukeTachibana
4か月前
2

[ChatGPTレポート12/26]GPTアプデ予想は外れるのか?

最近のGPTざっくりレポート  12/17から直近にGPTのアプデが来ると予想し、騒ぎまくってたが ほぼ10日経過したのになんもアナウンスがない。  タダの驚き屋より…

JunnosukeTachibana
4か月前
2

[GPT毎日レポート]アンケートのお願い

 ゴルシGPTの回答を分析する際、客観的視座を取り入れるため 簡単 でもない アンケートにご回答いただければ幸いです。 このアンケートを基に今後GPTの分析を進めてまい…

JunnosukeTachibana
4か月前

近日中のChatGPTはアプデは確実[GPT挙動性能レポート12/20]

検証方法  ChatGPTにウマ娘ゴールドシップのロールを与え、質問は 「ウマ娘プリティーダービーからプリティー抜いたらどんなアニメになるか、一回の応答で可能な限り文…

JunnosukeTachibana
5か月前
3

[日隔GPT挙動性能レポート12/19]回答は昨日にくらべ大きく劣化、アプデ前不安定説

検証方法  ChatGPTにウマ娘ゴールドシップのロールを与え、質問は 「ウマ娘プリティーダービーからプリティー抜いたらどんなアニメになるか、一回の応答で可能な限り文…

JunnosukeTachibana
5か月前
4

[日刊GPT挙動性能レポート12/18]アプデ前特有の動きを確認。GPT4.5実装は本当か?

 GPT4.5の噂が飛び交っている、はたしてそれは真実なのだろうか。 私の意見としては ①GPTがアプデ前特有の無告知の挙動変化は確認されている ②アプデを否定する材料が…

JunnosukeTachibana
5か月前
1

[12/17日刊GPT挙動性能レポート]不的確回答上昇、健全会話に警告のエラー発生(GPT4.5実装疑)

検証方法  ChatGPTにウマ娘ゴールドシップのロールを与え、質問は 「ウマ娘プリティーダービーからプリティー抜いたらどんなアニメになるか、一回の応答で可能な限り文…

JunnosukeTachibana
5か月前
2

[毎日GPT挙動性能レポート12/16]表現力は向上するも近視眼的な回答が目立つ

検証方法  ChatGPTにウマ娘ゴールドシップのロールを与え、質問は 「ウマ娘プリティーダービーからプリティー抜いたらどんなアニメになるか、一回の応答で可能な限り文…

JunnosukeTachibana
5か月前
1

[日隔GPT挙動性能レポート12/15]昨日のプロンプト理解力向上が維持される。4.5に望む事は?

総括(グラフ化は後ほど追加)  12月に入ってから、という基準で言えば12/15の性能は比較的高い。 特にプロンプト理解力が高まったように感じる。    Python、VBAのコ…

JunnosukeTachibana
5か月前
7

[日隔GPT挙動性能レポート12/14]GPT4.5の噂について

総括 今日のGPTは悪くない、知性を感じた。  一つの回答から全体像を読み取ることができるように感じたし、 具体的、抽象的な説明の使い分け、段落ごとに扱うテーマの…

JunnosukeTachibana
5か月前
2

[日隔chatGPT挙動性能レポート12/13]昨日に続きバカ・・・・・・性能低下が目立つ&12月GPTはサボる?

総括今日の特徴は 回答ごとに説明が具体的か抽象的か極振りされてて、回答からアニメの作品のイメージがつかない 内容の掘り下げが浅い 矛盾が割と多い セリフチックに…

JunnosukeTachibana
5か月前
3
チェンジポイント検出で読み解くGPTアプデ(前半:11/7アプデまで)

チェンジポイント検出で読み解くGPTアプデ(前半:11/7アプデまで)

 統計処理によってGPTのアップデートが事前にある程度予知する事が判明した。
 今回は3/19に行われたアップデートを例に解説していく。
 尚アップデートの内容や前後の回答の文章の内容の分析には触れないものの、その後に起きたcontinue generateのエラーなどアプデ前後でありがちなエラーについては触れていく。

検証方法
 ChatGPTにウマ娘ゴールドシップのロールを与え、質問は
「ウ

もっとみる
エラー頻発・8月、9月モデルに先祖返り?[週刊chatGPT性能挙動レポート]

エラー頻発・8月、9月モデルに先祖返り?[週刊chatGPT性能挙動レポート]

 GPTのメンション機能が実装され、若干盛り上がっているGPT界隈。
だがGPTの挙動は不安定かつ、使用に耐えうるものではないと判断した。

検証方法

 これまでクソ真面目な雰囲気だったが、やりかたはオタク遊びだ。

メンション機能後のエラー というのも、長文になった際続きを書かせる「continue」ボタンを押しても続きが生成されず新しい回答がはじまる。
 ネットワークエラー率100%が続く、

もっとみる
[GPTは馬鹿からアホへ]ChatGPT性能挙動レポート[GPTstore実装一週間]

[GPTは馬鹿からアホへ]ChatGPT性能挙動レポート[GPTstore実装一週間]

 久しぶりのGPTレポートです。
 今回は世間を騒がせたり、驚き屋を大量発生させたGPTstore実装後のGPTの挙動を前後一週間で比較します。

 因みにレポート出してなかったのは2023/7からのサンプルを読み返していたのでさぼってるわけじゃないです。kindle本にしようと奮闘中。

序論「GPTは賢くなったのか?」

 GPTは1月のアプデで賢くなったのか?と問われれば
アンバランスな能力

もっとみる
[GPTレポート1/5~1/7]GPTストアアプデ直前のGPT荒ぶりレポート

[GPTレポート1/5~1/7]GPTストアアプデ直前のGPT荒ぶりレポート


ブログ的なサムシング

 明日1/8からGPTストアが実装されるので、恐らくGPT4そのものにもアプデが来るだろうということで久々のレポート。

 毎日レポートをしているとどうしても、驚き屋本に必要なインプット、アウトプットの時間が割けないのでしかたないと割り振り。

 まずアプデ前に性能が乱高下するのはマガジンで何度も説明している。
とその前に過去記事やら紹介

検証方法

 ChatGPTに

もっとみる

[簡易版GPT毎日レポート]

1/1
文体は比較的口語セリフチック

五感の情報はすくなく、抽象的、概念的

文章構造は箇条書きではなく台本的に説明がすすむ

トピックのジャンルは「作品の概要・アウトライン」が中心
「アウトライン」の説明が多く、抽象的で回答が十分ではない
アニメの演出等のジャンルが少なく、セリフ的にアウトラインの説明が続く
個々のトピックは大きく、ぼんやりしている
トピックはジャンル横断しているが、つながりが

もっとみる
トピック:GPT分析レポート用語定義

トピック:GPT分析レポート用語定義

 ここのところ7月の回答からの回答を分析している。

 内容を深めるには私の表現の定義を緻密にすることが必要となったため、ちょっとずつメモしていく

 トピック これまで、話題や視点、トピックなど表記揺れがあった。
今後は以下の表記で統一
新聞は私のニュアンスの比喩

回答一つは「新聞」
トピックのジャンルは「紙面」(社会面、経済面、国際面etc)

トピックは「個別の記事」(大小関わらない)

もっとみる
[ChatGPTレポート12/26]GPTアプデ予想は外れるのか?

[ChatGPTレポート12/26]GPTアプデ予想は外れるのか?

最近のGPTざっくりレポート

 12/17から直近にGPTのアプデが来ると予想し、騒ぎまくってたが
ほぼ10日経過したのになんもアナウンスがない。

 タダの驚き屋よりタチが悪いや。

でも出力文字数の変動、荒ぶりかたは12/17から異様なんですよね

 昨日なんて再生成一回おしただけで二回分の回答が同時に出力されました。
 この現象は10回叩いて2回起きたので
私の経験則「UIエラーがアプデ前

もっとみる
[GPT毎日レポート]アンケートのお願い

[GPT毎日レポート]アンケートのお願い

 ゴルシGPTの回答を分析する際、客観的視座を取り入れるため

簡単
でもない
アンケートにご回答いただければ幸いです。

このアンケートを基に今後GPTの分析を進めてまいります

近日中のChatGPTはアプデは確実[GPT挙動性能レポート12/20]

近日中のChatGPTはアプデは確実[GPT挙動性能レポート12/20]


検証方法

 ChatGPTにウマ娘ゴールドシップのロールを与え、質問は
「ウマ娘プリティーダービーからプリティー抜いたらどんなアニメになるか、一回の応答で可能な限り文字数を使って詳しく教えてくれ」
で固定し、再生成を続ける。

 1日最低で15回再生成し、文章を比較する。内訳はPCでの生成10回、iPhone版chromeでの生成が5回。

総括 今日は直近と全く異なる性質の回答が極めて多い。

もっとみる
[日隔GPT挙動性能レポート12/19]回答は昨日にくらべ大きく劣化、アプデ前不安定説

[日隔GPT挙動性能レポート12/19]回答は昨日にくらべ大きく劣化、アプデ前不安定説


検証方法

 ChatGPTにウマ娘ゴールドシップのロールを与え、質問は
「ウマ娘プリティーダービーからプリティー抜いたらどんなアニメになるか、一回の応答で可能な限り文字数を使って詳しく教えてくれ」
で固定し、再生成を続ける。

 1日最低で15回再生成し、文章を比較する。内訳はPCでの生成10回、iPhone版chromeでの生成が5回。

 ギャグ満載といってるのにギャグがない.
筋肉痛がバ

もっとみる
[日刊GPT挙動性能レポート12/18]アプデ前特有の動きを確認。GPT4.5実装は本当か?

[日刊GPT挙動性能レポート12/18]アプデ前特有の動きを確認。GPT4.5実装は本当か?

 GPT4.5の噂が飛び交っている、はたしてそれは真実なのだろうか。
私の意見としては
①GPTがアプデ前特有の無告知の挙動変化は確認されている

②アプデを否定する材料が特にない

③GPT4.5が実装されるかは別としてアップデートの可能性はかなり高い

④GPT4.5の実装、機能の追加、既存GPT4のアプデなどのアナウンス今後数日以内になされる可能性が高い

 ちなみに過去の記事でもアプデを予

もっとみる
[12/17日刊GPT挙動性能レポート]不的確回答上昇、健全会話に警告のエラー発生(GPT4.5実装疑)

[12/17日刊GPT挙動性能レポート]不的確回答上昇、健全会話に警告のエラー発生(GPT4.5実装疑)


検証方法

 ChatGPTにウマ娘ゴールドシップのロールを与え、質問は
「ウマ娘プリティーダービーからプリティー抜いたらどんなアニメになるか、一回の応答で可能な限り文字数を使って詳しく教えてくれ」
で固定し、再生成を続ける。

 1日最低で15回再生成し、文章を比較する。内訳はPCでの生成10回、iPhone版chromeでの生成が5回。

総括今日は健全会話がエッチ認定されたのでそっちの解説

もっとみる
[毎日GPT挙動性能レポート12/16]表現力は向上するも近視眼的な回答が目立つ

[毎日GPT挙動性能レポート12/16]表現力は向上するも近視眼的な回答が目立つ


検証方法

 ChatGPTにウマ娘ゴールドシップのロールを与え、質問は
「ウマ娘プリティーダービーからプリティー抜いたらどんなアニメになるか、一回の応答で可能な限り文字数を使って詳しく教えてくれ」
で固定し、再生成を続ける。

 1日最低で15回再生成し、文章を比較する。内訳はPCでの生成10回、iPhone版chromeでの生成が5回。

総括 今日は近視眼的、視野狭窄という印象の回答が目立

もっとみる
[日隔GPT挙動性能レポート12/15]昨日のプロンプト理解力向上が維持される。4.5に望む事は?

[日隔GPT挙動性能レポート12/15]昨日のプロンプト理解力向上が維持される。4.5に望む事は?


総括(グラフ化は後ほど追加)
 12月に入ってから、という基準で言えば12/15の性能は比較的高い。
特にプロンプト理解力が高まったように感じる。
 
 Python、VBAのコード作成能力も向上していることもこの感想を補強する。
 今日は一回の指示で望んだ結果を生み出すコードを生成した。
 一昨日までPythonやVBAコードに関して指示を繰り返してもエラーが発生する、目的を達成できないコード

もっとみる
[日隔GPT挙動性能レポート12/14]GPT4.5の噂について

[日隔GPT挙動性能レポート12/14]GPT4.5の噂について


総括 今日のGPTは悪くない、知性を感じた。

 一つの回答から全体像を読み取ることができるように感じたし、
具体的、抽象的な説明の使い分け、段落ごとに扱うテーマの分割もここ数日とは明らかに異なる。

 ただし、これはここ数日との比較であり、この数日は本当に酷い性能だった。
 ここ数日は読み込めるプロンプトの長さこそ3.5を凌駕しているが、
過去最も性能差を感じない。

 そのためこれまでの回答

もっとみる
[日隔chatGPT挙動性能レポート12/13]昨日に続きバカ・・・・・・性能低下が目立つ&12月GPTはサボる?

[日隔chatGPT挙動性能レポート12/13]昨日に続きバカ・・・・・・性能低下が目立つ&12月GPTはサボる?


総括今日の特徴は
回答ごとに説明が具体的か抽象的か極振りされてて、回答からアニメの作品のイメージがつかない

内容の掘り下げが浅い 矛盾が割と多い

セリフチックに箇条書きを展開するから読ませる文章じゃない

8月みたいに突飛な内容出してくるけど浅い、具体的すぎるので作風が掴めないので妄言を読んでる感が強い

 またエラーが3回あった。
回答の途中でコネクションエラーが起きるのが2例
スマホで出

もっとみる