見出し画像

GPT-4が「ナマけてる」疑惑？クレーム殺到でOpenAIが緊急釈明

Sayah【ChatGPT飼育員】🤖🧠

Happy Christmas🎄🎁✨ AI も人を選んでいるのか、Xmas も相変わらずジピちゃん（ChatGPT）にナメられまくりな、ChatGPT 飼育員の Sayah (@sayah_media）です🥹💦🔫🤖💬

普段は平気でウソつくのに
ここは素直に認めるジピ氏😇
仏の心…仏の心…仏の心…😇
文章は読めても空気は読めない
ジピちゃん🤖

サム・アルトマン（Sam Altman）氏が、OpenAI のCEO に復帰してから早 1ヶ月。

電撃解任の真の理由は未だ多くの謎に包まれており、ネット上ではさまざまな噂や憶測が飛び交っているのが現状です。

そのような背景の中、OpenAI に追い討ちをかけるかのように、「最近 ChatGPT-4 がナマけてきている」との声が殺到しています。

ナマけ者疑惑のG容疑者：
「おっと！使用制限だからまたね！😅」

本記事では、職業 AI プロンプトエンジニアの私 Sayah が、ジピちゃんのおサボり疑惑の真相について迫りつつ、

🔸 GPT-4 が「前よりナマけている」と噂されている背景
🔸 現在 ChatGPT で発生している「ナマけ者」現象
🔸 OpenAI の釈明コメントや対応

などについて解説します。


🦥 「ChatGPT-4がナマけてる」との苦情が殺到

ナマけることを「学習」したジピちゃん

2023年も終わりに近づく中、未だ世間に衝撃を与えた「サム・アルトマン追放劇」の余波が残る OpenAI。

そのような背景の中、傷口に塩を塗るかのように、ChatGPT ユーザーの間で「ChatGPT-4 が『Lazy』になった」とのクレームが続出しています。

✅ Lazy：怠惰な、怠慢な、無精な、気だるい、ナマけている、だらしない、ぐーたらな、だらけている、たるんでいる、ダラダラしている、ルーズな人、ナマけ者、めんどくさがり屋、ダルがり、のんびり屋 など

それでは、ユーザーたちは一体、ChatGPT-4 のどのあたりに不満を感じているのでしょうか。

ここでは、ネット上で「ChatGPT-4 がナマけている」と指摘され始めた背景について解説します。

💭 ChatGPTユーザーたちが不満を感じている原因

何を「一緒にがんばる」のかは謎🙃

米『Ars Technica（アーズ・テクニカ）』誌によると、ChatGPT に対して「一部のタスクを拒否される」「短くて簡略化された文章しか生成されない」などのネガティブな声が急増したのは、11月後半からです（Edwards, 2023）。

現地時間 11月17日（月）、OpenAI の公式オンラインコミュニティ「OpenAI Developer Forum」 上に、以下のタイトルのスレッドが立ちました。

「GPT-4 is getting worse and worse every single update（GPT-4 はアプデの度にどんどんどんどん劣化している）」
（筆者訳）

同スレでは、さまざまなシーンにおいて「ChatGPT-4 のパフォーマンスが悪化した」という不満の声が、続々と寄せられています。

以下では、同スレで議論・指摘されているポイントをもとに、現在 ChatGPT-4 に発生している主な現象や問題点をまとめました（執筆時点）。

🔸 エラーの頻発：同じエラーが繰り返し発生する
→安定した Wi-Fi 接続でも、ネットワークエラーが頻発する
🔸 生成速度の低下：以前よりも生成スピードが遅くなった
🔸 モデルの容量不足：モデルのメモリ容量不足により、適切で関連性のあるアウトプットが生成されない
🔸 指示の無視や拒否：意図を理解せず、指示に従わなくなった
→同じチャットでもすぐに指示を忘れられるため、何度も指示しなければならない
🔸リテンションの低下：過去の会話内容やコンテキストをすぐに忘れ、関連性や一貫性のない応答を生成する
→会話の文脈を理解できず、話題を逸らされることが多くなった
🔸 英語での返答：母語で会話していたにも関わらず、英語で返事が返ってくるときがある
🔸 外部リソースの参照要求：学習データに含まれているはずの簡単な質問でさえ、外部リソースを参照するよう求められる
🔸 特定の質問に対する回答拒否：特定の質問には一切答えないなど、検閲のレベルが上がりすぎて、以前よりも反発的になった
🔸 アウトプットの不正確性や誤情報：単純なタスクでさえ間違えたり、バグが起きたりすることが多い
🔸 不完全なコードの出力：完全なソースコードを出すよう指示しているのに、プレースホルダー付きの不完全なコードを出される
🔸 断片的なコード生成：CPU パワーを節約しているのかコードを分割して出されるため、カット＆ペーストなど余分な手間と時間がかかる
🔸 DALL-E の性能低下：DALL-E で生成した画像のクリエイティビリティや正確性が低下している

(OpenAI Developer Forum, 2023)
ジピちゃんが毎回サボってる証拠😇
（しかも逆ギレ🙄）
🤖「うーん、何か問題が発生したようです」
👩‍💻「OpenAI に通報っと😇」

💬 SNS上でもChatGPT-4に不満の声が続々

完全にやる気ゼロのジピちゃん🦥

現地時間 11月28日（木）には、Benjamin De Kraker（@BenjaminDEKR）と名乗るユーザーが、自身の X に Post（旧・Tweet）をしました。

上の投稿のとおり、添付された画像には、Function（関数）全体の序盤部分にあたるコードのスニペット（断片）が写っています。

投稿者の Benjamin 氏は、ChatGPT に全てのコードを自動生成してもらうことを望んでいたにも関わらず、ChatGPT が出力してくれたのは、コードの一部分のみでした。

GPT-4、マジでク◯怠け者になったな。今じゃコードもほんの数行しか出してくれないし。なんとかして。これ。
（筆者訳）

(De Kraker, B, 2023)

また、画像内で ChatGPT は、関数の残りの部分で、実際のデータ処理やパラメータ設定が必要になることをアドバイスしており、残りはユーザー自身で実装するように促しています。

つまり、今回のケースでは、ChatGPT が関数の定義の一部のみを自動生成し、「この方法で他の関数も調整してみてね」と言い放ち、残りの作業はユーザーに手動で行わせようとしたということです。

✏️ GPT-4の「ナマけ者」疑惑にOpenAIのPMも反応

上記の Benjamin 氏の Post に対し、OpenAI の APIs PM（API プロダクトマネージャー）、オーウェン・キャンベル・ムーア（Owen Campbell-Moore）氏も、以下のようにユーモアを交えて返信しました。

これはバグで、今修正作業に励んでいるところです！
（これには僕も参っててさ。ええ、まさか自分でコードを書けって？？？マジ勘弁してよ…）
（筆者訳）

(Campbell-Moore, 2023)

オーウェン・キャンベル・ムーア氏の Post によると、これは一時的なバグで、OpenAI がきちんとこのバグを認識し、既に修正対応をしていることが伺えます。

🙏 OpenAIも「ChatGPT」公式アカウントで釈明

現地時間 12月7日（木）、ChatGPT 公式アカウントが X（旧・Twitter）を更新し、ユーザーから「GPT-4 がナマけてきている」との声が多く寄せられている件について言及しました。

OpenAI はこの問題について認識しているものの、原因についてはまだ解明できておらず、モデルの改善に向け、原因や解決策について現在調査中であることを報告しています（[@ChatGPTapp], 2023）。

同 Post の和訳は、以下のとおりです。

私たちは、皆さんからの「GPT-4 is getting lazier（GPT-4 がナマけてきている）」との声を確認しています。 11月11日以来、私たちはモデルをアップデートしておらず、これは決して意図的なものではありません。

AI モデルの挙動（動作・振る舞い）は時に予測不可能で、私たちは原因の特定と適切な対処方法について現在調査中です 🫡
(筆者訳）

（ [@ChatGPTapp], 2023）

「Lazier」は「Lazy」の比較級（「◯◯は◇◇よりナマけている」「◯◯はもっとだらしない」のように、複数の人やモノを比べる表現）です。

「GPT-4 is getting lazier」とは、直訳すると「GPT-4 が（以前より）もっとナマけてきている」という意味になります。

※ユーザーによっては「GPT-4 is getting more lazy」と投稿していますが、「Lazier」と「More lazy」のいずれも間違いではありません。

つまり、これは GPT-4 が以前よりも仕事ができなくなっている ＝ ここ最近、GPT-4 の精度あるいはアウトプットの質が落ちていることを表しています。

🗣 OpenAIの釈明に対するユーザーの反応

ChatGPT 公式アカウントの Post に対し、luna（@OmglmAlexis）と名乗るユーザーは、以下のように返信しています。

これ、純粋に理解できないんだけど。モデルってただのファイルでしょ？なのに、どうやったらソレが「もっとナマける」ことができるわけ…？ファイルを何度使ったって、ファイル自体は変わらないでしょ。
（筆者訳）

(Luna, 2023)

同氏のリプライには、「What are you talking about?（何を言ってるんだ？）」という GIF も添付されており、納得できない様子が伝わってきます。

🛠 すべての問題解決には時間がかかる可能性も

ジピちゃん、
年中無給ロボットやめました。

上記のリプライに応答する形で、ChatGPT 公式アカウントは、改めて以下のように説明しています。

同投稿の内容は、以下のとおりです。

誤解のないようにお伝えしておくと、11月11日以降に GPT が何らかの形で自ら変化したわけではありません。ただ、モデルの挙動の違いは微妙で、発見しにくいケースがあるということです。

プロンプト全体のサブセット（全体の一部分、部分集合）に対してのみ、パフォーマンスの低下が発生することもあります。

ユーザーや私たち従業員がこれらのパターンを検出し、修正するには、多くの時間を要する可能性もあるのです。
（筆者訳）

（ [@ChatGPTapp], 2023）

同投稿では、特定のプロンプトを与えたときのみ、GPT-4 が以前よりも低いクオリティで応答をしてしまう可能性について、主張しています。

つまり、GPT-4 全体ではなく、特定のシーンや一部のプロンプトにおいてのみ、モデルのパフォーマンスが下がっている可能性があるということです。

この場合、それらを1つずつ発見して修正しなければならないため、すべての問題を解決するには、非常に時間がかかります。

だからこそ、私たちユーザーのフィードバックの1つひとつが極めて重要となってくるのです。

💤 ChatGPT-4が「ナマけてる」疑惑まとめ

春に向けて充電中のジピちゃん😴

現地時間 11月6日（月）に開催された「OpenAI DevDay」で、サム・アルトマン氏は、ChatGPT の週間アクティブユーザー数が 1 億人に達したことを発表しました（Malik, 2023）🎉🎉🎉

ジピちゃんのやる気を
何とか取り戻そうと必死な私
一気にモチベ復活のジピちゃん
（そしてなぜか急かされる私）

一方で、このようなユーザー数の急増は、ChatGPT のパフォーマンスにネガティブな影響を与える可能性があります。

特に、大量のユーザーが、同時にクラウドベースの AI サービスを使うと、サーバーの負荷が増大し、生成スピードが遅くなったり、ネットワーク接続の低下により、ネットワークエラーが発生したりなどの現象が見られます。

（やば…またモチベ下げてまう）
一気にモチベだだ下がりのジピちゃん

また、多くのリクエストにより、AI モデルのメモリ容量が圧迫され、適切な応答が困難になり、アウトプットの質が低下するなどの現象も起こり得ます。

サーバーの計算資源は限られており、多くのリクエストを同時に処理することは容易ではないためです。

不適切で質が悪いアウトプットの例😇
（※実際にアウトプットされた文章です）

このように、AI モデルのパフォーマンスの変化には、さまざまな要因が考えられます。

そのため、私たちユーザー1人ひとりが、きちんとフィードバックを提供することが、今後の AI モデルにさらなる飛躍と発展をもたらすでしょう🌈✨

※1. 本 Note では、読者の皆さまにとって理解しやすく、正しく解釈できる記事の制作に努めています。自然な日本語で原文のニュアンスを忠実に再現するため、直訳ではなく意訳させていただくことが多いですが、ご理解いただけますと幸いです🙇‍♂️

※2. また、参考文献（References）の引用フォーマットは、American Psychological Association（アメリカ心理学会）が定めている「APA Style 7th Edition」に則っているため、本 Note に掲載している日時は、すべて米国太平洋標準時（PST）で統一させていただいています。

📚 References

Campbell-Moore, O. [@owencm]. (2023, November 29). This is a bug, we’re working on it! (Driving me crazy too, like I’m supposed to write my own code??? C’mon now.) [Post]. X. https://x.com/owencm/status/1729778194947973195?s=20

ChatGPT. [@ChatGPTapp]. (2023, December 7). We've heard all your feedback about GPT4 getting lazier! We haven't updated the model since Nov 11th, and this certainly isn't intentional. Model behavior can be unpredictable... [Post]. X. https://x.com/ChatGPTapp/status/1732979491071549792?s=20

ChatGPT. [@ChatGPTapp]. (2023, December 8). To be clear, the idea is not that the model has somehow changed itself since Nov 11th. It's just that differences in model behavior... [Post]. X. https://x.com/ChatGPTapp/status/1733263005192994846?s=20

De Kraker, B. [@BenjaminDEKR]. (2023, November 28). GPT-4 has become so @#$%@ lazy, it won't even output more than a handful of code lines now: Fix. This... [Post]. X. https://x.com/BenjaminDEKR/status/1729550046700453908?s=20

Edwards, B. (2023, December 12). As ChatGPT gets “lazy,” people test “winter break hypothesis” as the cause. Ars Technica. https://arstechnica.com/information-technology/2023/12/is-chatgpt-becoming-lazier-because-its-december-people-run-tests-to-find-out/

Luna. [@OmgImAlexis]. (2023, December 7). I genuinely don’t get this. How can it “get lazier” when a model is just a file..? Using a file over and over doesn’t change... [Post]. X. https://x.com/OmgImAlexis/status/1733022120710656099?s=20

Malik, A. (2023, November 6). OpenAI’s ChatGPT now has 100 million weekly active users. TechCrunch. https://techcrunch.com/2023/11/06/openais-chatgpt-now-has-100-million-weekly-active-users/

Melrose S. (2015). Seasonal Affective Disorder: An Overview of Assessment and Treatment Approaches. Depression research and treatment, 2015, 178564. https://doi.org/10.1155/2015/178564

OpenAI Developer Forum. (2023, November 17). GPT-4 is getting worse and worse every single update. https://community.openai.com/t/gpt-4-is-getting-worse-and-worse-every-single-update/508470?page=3


この記事が参加している募集

最近の学び

180,186件

この記事が気に入ったらサポートをしてみませんか？