この記事は「Auto-GPT Unmasked: The Hype and Hard Truths of Its Production Pitfalls」の要約 & 和訳です。

要約

Auto-GPTには色々と問題があります。

1.GPT-4のコストが高い

Auto-GPTでは、小さなタスクを完了させるのに、平均50ステップかかることも珍しくありません。
1ステップのコストを3.9円（0.3$）で計算すると、1タスクを完了するのに平均1820円（14$）かかります。

2.ループにはまる

多くのユーザーから、Auto-GPTが頻繁にループにはまり、真の問題解決に至らないという報告があります。
いくつかのツイートでは、一晩中思考の連鎖を処理しても、Auto-GPTがループにはまったままであることが報告されています。
ループにハマってしまうのは、現状Auto-GPTが利用できるツール（Web検索、メモリ管理、ファイル操作等）が限定的なのと、GPT-4ではまだまだ推論能力が足りないということが理由です。
さらに人間は、重複する部分問題の解を認識し、過去に計算された解を戦略的に再利用することができるが、GPT-4は、必ずしも同じレベルの認識を持っているとは限らず、同じサブ問題を何度も冗長に解くことになり、非効率な解を導く可能性があります。

3.ベクトルDBがオーバーキル

Auto-GPTはk-nearest neighbor（kNN）検索を高速化するために、ベクトルDBを利用しています。
このデータベースは、以前の思考の連鎖を検索し、GPTの現在のクエリコンテキストに組み込んで記憶効果を発揮させます。しかし、Auto-GPTの制約と限界を考えると、このアプローチは過剰で不必要にリソースを消費するとの批判があります。

4.思考の連鎖を再利用できない

Auto-GPTを使用する場合、目標を達成し、思考の連鎖が導き出されると、開発フェーズは完了したとみなされます。
しかし、その連鎖を再利用可能な機能として「シリアル化」し、後日、本番に持ち込むという方法はありません。
その結果、ユーザーは問題を解決しようとするたびに、開発のゼロから始めなければならない。
この非効率性は、時間と費用の無駄であり、現実世界での問題解決への取り組み方と比較して、非現実的な期待を抱かせます。

和訳

＊deeplを利用

Auto-GPT Unmasked：その制作の落とし穴の噂と真実

Auto-GPT：画期的なプロジェクトなのか、それとも単なる誇張されたAI実験なのか？このブログでは、話題の裏に隠された真実を解き明かし、このプロジェクトが実世界での応用に適さない限界を明らかにします。

しかし、一夜にして成功したものには、それなりの成長痛がつきものです。Auto-GPTの快進撃に酔いしれながら、その潜在的な欠点に目を向けることが重要です。この記事では、Auto-GPTが直面する生産準備のための限界と課題について、深く掘り下げていきます。Auto-GPTのスターダムへの道を紆余曲折しながらも歩んでいく、この旅にご期待ください。

Auto-GPTはどのように機能するのですか？
Auto-GPTがAIの世界で話題になっていますが、これには理由があります。GPTベースのモデルに記憶と体を与えることで、独自にタスクに取り組み、その経験から学習することができるようになるのです。Auto-GPTの仕組みを理解するために、簡単な比喩を使って説明しましょう。

Auto-GPTは、機知に富んだロボットだと想像してください。ミッションを与えれば、それを達成するための計画を立ててくれます。インターネットを見たり、新しいデータを使ったりする必要がある場合、Auto-GPTはタスクが完了するまでその戦略を変更します。市場分析、カスタマーサービス、マーケティング、ファイナンスなど、さまざまなタスクをこなすパーソナルアシスタントを持つようなものです。

このロボットを動かしているのは、主に4つの部品です：

アーキテクチャAuto-GPTは、強力なGPT-4とGPT-3.5の言語モデルを使用して構築されており、これらはロボットの脳として、思考と推論を支援します。
自律的な反復：これは、ロボットが失敗から学ぶ能力のようなものです。Auto-GPTは、自分の仕事を見直し、過去の努力に基づき、より正確な結果を出すためにその履歴を利用することができます。
メモリ管理：メモリストレージソリューションであるベクトルデータベースとの統合により、Auto-GPTはコンテキストを保持し、より良い意思決定を行うことができます。これは、過去の経験を記憶するための長期記憶をロボットに装備するようなものです。
多機能であること：Auto-GPTは、ファイル操作、ウェブブラウジング、データ検索などの機能を備えているため、汎用性が高く、これまでのAIの進化とは一線を画しています。ロボットに複数のスキルを与えることで、より幅広いタスクに対応できるようにしたようなものです。
つまり、Auto-GPTは、経験から学び、継続的にパフォーマンスを向上させることで、驚くべきタスクの範囲を約束するAI搭載ロボットなのです。しかし、このような魅力的な展望は、Auto-GPTが提供できる真の能力にまだ変換されていない可能性があることを認識することが重要である。私たちは、その限界と課題を探るにあたり、以下の主要な分野に焦点を当てます：

高すぎるコスト：タスク完了の障害となるもの
融合する世界：開発と生産の難問
ルーピングの泥沼：Auto-GPTが行き詰まる理由
ベクターDB：オーバーキル・ソリューション
エージェント機構の誕生：進行中の仕事

これらの重要な点を掘り下げることで、Auto-GPTの生産準備の可能性についてバランスの取れた視点を提供することができます。

高すぎるコスト：タスク完了の障害となるもの
Auto-GPTは驚くべき機能を備えていますが、実稼働環境での採用の大きな障害となっているのが、その法外なコストです。タスクは思考の連鎖によって達成されるため、各ステップで高価なGPT-4モデルを呼び出す必要があり、より良い推論とプロンプトを提供するために、しばしばトークンを最大化する。

GPT-4トークンは決して安くはありません。OpenAIによると、8Kのコンテキストウィンドウを持つGPT-4モデルは、プロンプトに1,000トークンあたり0.03ドル、結果に1,000トークンあたり0.06ドルのコストがかかる。それぞれの行動が8,000トークンのコンテキストウィンドウを最大にし、80％がプロンプト、20％が結果であると仮定して、思考の連鎖の各ステップのコストを分解してみましょう。

1ステップあたりの総コスト： $0.192 + $0.096 = $0.288
Auto-GPTでは、小さなタスクを完了させるのに、平均50ステップかかることも珍しくありません。つまり、1つのタスクを完了するのに必要なコストは

タスクコスト：50ステップ×0.288ドル/ステップ＝14.4ドル
1つのタスクを完了させるためのコストはすぐにかなりの額になるため、Auto-GPTの現在の実装は多くのユーザーや組織にとって非現実的なものです。

融合する世界：開発と生産の難問

一見すると、クリスマスのレシピを探すのに14.4ドルは妥当な価格だと思うかもしれない。しかし、同じ思考回路で感謝祭のレシピを探すと、さらに14.4ドルも支払わなければならないことに気づいたとき、本当の問題が浮かび上がってくるのです。クリスマスや感謝祭のレシピを作るには、「お祭り」というたった一つの「パラメータ」によって異なるはずだということがわかります。最初の14.4ドルは、レシピを作るための方法を開発するために費やされます。一度確立したパラメータを調整するために、また同じ金額を費やすのは非論理的です。これは、「Auto-GPT」の根本的な問題点である「開発と生産の分離」ができていないことを物語っています。

Auto-GPTを使用する場合、目標を達成し、思考の連鎖が導き出されると、開発フェーズは完了したとみなされます。しかし、その連鎖を再利用可能な機能として「シリアル化」し、後日、本番に持ち込むという方法はない。その結果、ユーザーは問題を解決しようとするたびに、開発のゼロから始めなければならない。この非効率性は、時間と費用の無駄であり、現実世界での問題解決への取り組み方と比較して、非現実的な期待を抱かせます。

残念ながら、Auto-GPTの現在の実装では、このような開発・生産の分離ができません。アクションの連鎖を再利用可能な関数に「シリアライズ」することができないため、ユーザーは一見小さな要件の変更に14.4ドル全額を再び支払うことを余儀なくされます。この経済的な非効率性は、現実の生産環境におけるAuto-GPTの実用性に疑問を投げかけるものである。これは、大規模な問題解決のための持続可能で費用対効果の高いソリューションを提供する上での限界を浮き彫りにしています。

ルーピングの泥沼：Auto-GPTが行き詰まる理由
14.4ドルで純粋に問題を解決できるのであれば、まだ価値があると思うかもしれません。しかし、多くのユーザーから、Auto-GPTが頻繁にループにはまり、真の問題解決に至らないという報告があります。いくつかのツイートでは、一晩中思考の連鎖を処理しても、Auto-GPTがループにはまったままであることが報告されています。このように、Auto-GPTは、多くの場合、約束した解決策を提供することができないという現実があるのです。

Auto-GPTはなぜこのようなループに陥ってしまうのでしょうか？
これを理解するために、Auto-GPTは、タスクを解決するために非常に単純なプログラミング言語を利用するGPTに依存していると考えることができます。タスクを解決できるかどうかは、そのプログラミング言語で利用できる関数の範囲と、GPTの分割統治能力、つまりGPTがタスクを定義済みのプログラミング言語にどれだけ分解できるかの2つの要素に依存します。残念ながら、この2つの要素は現在不十分です。

Auto-GPTが提供する限られた機能は、そのソースコードで確認することができます。例えば、Web検索、メモリ管理、ファイル操作、コード実行、画像生成などの機能を提供する。しかし、この制限された機能は、Auto-GPTが効果的に実行できるタスクの範囲を狭めています。また、GPTの分解・推論能力もまだ制約があります。GPT-4はGPT-3.5と比較して大幅に改善されましたが、推論能力は完璧とは言い難く、Auto-GPTの問題解決能力はさらに制限されます。

この状況は、Pythonを使ってStarCraftのような複雑なゲームを作ろうとするのと似ています。Pythonは強力な言語ですが、StarCraftをPythonの関数に分解することは非常に困難です。あるいは、ネットワーク通信に必要な機能を持たないBASICでインスタントメッセージングアプリを作ろうとするようなものです。要するに、限られた関数セットとGPT-4の制約された推論能力の組み合わせが、ループの泥沼を生み、多くの場合、Auto-GPTが期待通りの結果を提供することを妨げているのです。

Python経由でStarCraftを構築するのはオーバーシュートでしょう。しかし 、PythonのPyGameライブラリの上に構築されたVoid Infinityは、太陽系の惑星を操作して艦隊を作り、敵を破壊するリアルタイム戦略ゲームです。出典：https://www.pygame.org/project-Void+Infinity-2195-3815.html
人間対GPTの分割統治について
Auto-GPTの鍵は「分割統治」です。GPT-3.5/4は前作から大きな進化を遂げましたが、分割統治技術を採用した場合、人間レベルの推論能力にはまだ及ばないのが現状です。問題の分解が不十分であること、適切なベースケースを特定することが困難であること、適応性や学習性がないことなどが、GPT-3.5/4が分割統治法を用いて複雑な問題を解くことの限界につながっています。

問題の分解が不十分である：分割統治アプローチの有効性は、複雑な問題をより小さく、管理可能なサブ問題に分解する能力に大きく依存します。GPT-3.5/4は、改良されたとはいえ、効率的で正確な解決策を可能にする方法で、一貫して効果的に問題を分解することに苦労しています。人間の理性は、問題を分解するための複数の方法を特定することができますが、GPT-3.5/4は、同じレベルの適応性や創造性を持っていない可能性があります。
適切なベースケースを特定することが難しい：人間は、効率的な解を導く適切なものを直感的に選択することができます。一方、GPT-3.5/4では、与えられた問題に対して最も効果的なベースケースを特定するのに苦労し、分割統治プロセスの全体的な効率と精度に大きな影響を及ぼす可能性がある。
問題文脈の理解不足： 人間は、複雑な問題に対処するために、領域知識や文脈の理解を活用することができますが、GPT-3.5/4は、事前に学習した知識に制限されており、特定の問題を分割統治技術で効率的に解決するために必要な文脈が欠けている場合があります。
重複する部分問題を処理する：人間は、重複する部分問題の解を認識し、過去に計算された解を戦略的に再利用することができる場合が多い。一方、GPT-3.5/4は、必ずしも同じレベルの認識を持っているとは限らず、同じサブ問題を何度も冗長に解くことになり、非効率な解を導く可能性があります。
ベクターDB：オーバーキル・ソリューション
Auto-GPTは、k-nearest neighbor（kNN）検索を高速化するために、ベクトルデータベースを利用しています。これらのデータベースは、以前の思考の連鎖を検索し、GPTの現在のクエリコンテキストに組み込んで記憶効果を発揮します。しかし、Auto-GPTの制約と限界を考えると、このアプローチは過剰で不必要にリソースを消費するとの批判がある。

ベクターデータベースの使用に対する主な議論は、Auto-GPTの思考の連鎖に関連するコストの制約に起因しています。50ステップの思考連鎖は14.4ドル、1000ステップの思考連鎖はそれ以上のコストがかかる。そのため、思考の連鎖のメモリサイズや長さが4桁を超えることはほとんどありません。そのような場合、最近接の網羅的検索（256dimのベクトルと10,000×256の行列とのドット積）が十分に効率的であることがわかり、1秒未満で完了する。一方、GPT-4は1回の呼び出しに約10秒かかるため、データベースバウンドではなくGPTバウンドとなる。

ベクトルデータベースは、特定のシナリオにおいていくつかの利点をもたらすかもしれませんが、kNNの「ロングメモリ」検索を高速化するためのAuto-GPTシステムへの実装は、不必要な浪費であり、過剰なソリューションであるように見えます。この文脈でベクトルデータベースを使用する主な理由は、すぐに使用できる使いやすい砂糖の構文にあるようです。

エージェント機構の誕生：進行中の仕事
Auto-GPTは、タスクを委任するエージェントを生成することで、非常に興味深い概念を導入しています。しかし、このメカニズムはまだ初期段階にあり、その可能性はほとんど未開拓のままです。現在のエージェントシステムを強化・拡張し、より効率的でダイナミックなインタラクションの新たな可能性を開く方法はいくつかあるはずです。

改善策として考えられるのは、非同期エージェントの導入です。非同期-待ち合わせパターンを取り入れることで、エージェントは互いにブロックすることなく同時に動作することができ、システム全体の効率と応答性を大幅に向上させることができます。このコンセプトは、複数のタスクを同時に管理するために非同期メソッドを採用した現代のプログラミングパラダイムからインスピレーションを得ています。

また、エージェント間の相互通信を可能にすることも有望な方向性です。エージェントの通信とコラボレーションを可能にすることで、複雑な問題をより効果的に解決するために協力し合うことができます。このアプローチは、プログラミングにおけるIPCの概念に似ており、複数のスレッド/プロセスが情報やリソースを共有し、共通の目標を達成することができる。

ジェネレイティブエージェントは未来のもの
GPTを搭載したエージェントが進化を続ける中、この革新的なアプローチの未来は明るいと思われます。Parkらの論文 "Generative Agents：Parkらによる論文「Generative Agents: Interactive Simulacra of Human Behavior」は、エージェントベースシステムが信じられる人間の行動をシミュレートできる可能性を強調しています。この論文で提案されている生成エージェントは、複雑で魅力的な方法で対話することができ、意見を述べたり、会話を始めたり、さらには自律的にイベントを計画したり参加したりすることができます。この研究は、エージェントメカニズムがAI開発において有望な未来を持っているという議論をさらに後押しするものです。

Auto-GPTは、非同期プログラミングへのパラダイムシフトを受け入れ、エージェント間のコミュニケーションを促進することで、より効率的でダイナミックな問題解決能力への新たな可能性を引き出すことができます。Generative Agents」論文で紹介されたアーキテクチャとインタラクションのパターンを取り入れることで、大規模な言語モデルと計算可能でインタラクティブなエージェントを融合させることができます。この組み合わせは、AIのフレームワークにおけるタスクの委譲や実行方法を革新し、人間の行動のより信憑性の高いシミュレーションを可能にする可能性を秘めています。エージェントシステムの開発と探求は、AIアプリケーションの進歩に大きく貢献し、複雑な問題に対してより強固でダイナミックな解決策を提供することができます。

結論

結論として、Auto-GPTをめぐる話題は、AI研究のあり方や、新興技術の誇大広告を促進するための社会的理解の役割について重要な問題を提起している。私たちが示したように、Auto-GPTの推論能力の限界、ベクトルデータベースの過剰な使用、エージェントメカニズムの初期段階での開発は、実用的なソリューションにはほど遠いことを明らかにしています。しかし、その内部構造を深く理解していない一般の人々の想像力をかき立てることに成功したのです。

Auto-GPTをめぐる騒動は、浅い理解がいかに大きな期待につながり、最終的にAIの真の能力を歪めて認識させるかを痛感させるものです。社会として、私たちは、新しい技術を取り巻く物語を疑うことに警戒し、批判的思考と情報に基づいた議論を促進するよう努めなければなりません。

しかし、Auto-GPTは、生成エージェントシステムという、AIの将来にとって有望な方向性を示している。私たちは、Auto-GPTの失敗から学び、AI研究に関して、よりニュアンスと情報に富んだ対話をすることに集中しましょう。そうすることで、私たちはジェネレーティブ・エージェント・システムが持つ変革の力を利用し、AI能力の限界を押し広げ、テクノロジーが人類に真に恩恵をもたらす未来を形作ることができるのです。