はじめに

AIが自律的に作業をすることによって認知能力をもったAIを最大限に使うことができます。
ソフトウェア開発を自動的に行うAIエージェントなどがその対象です。

未来のソフトウェア開発

自律的AIエージェントとは

周囲の環境を認識し、人間からの個別の指示なしで自分で計画を作って行動するソフトウェアです。

自律的AIエージェントによるソフトウェア開発

Cognition社のDevin, Microsoft社のAutoDevなど自律的AIエージェントによるソフトウェア開発が注目されています。

エージェントコンピュータインタフェース

エージェントコンピュータインタフェースとは

プリンストン大学のSWE-Agentのチームは生成AIのエージェントが作業をする上で必要なインタフェースをエージェントコンピュータインタフェースと呼んでいます。生成AIに人間と同じような仕事をさせるためには、人間が環境とやりとりをするインタフェースとは違う特別なインタフェースが必要であるということです。

エージェントコンピュータインタフェースが何故重要か

人間と同じような認知的能力を持っているといっても人間と生成AIは違う働き方をもっています。生成AIの能力を最大限に引き出すためには生成AIにあったソフトウェア開発のためのコンピュータインタフェースが必要です。
生成AIがプログラミングのバグを修正するために最適なコンピュータインタフェースは人間にとってのインタフェースとは違います。
あまりにもたくさんの複雑な情報を提供しても生成AIが混乱することもあります。プリンストン大学のチームは全てのファイルを提供するより関連するところを100行だけ提示するほうが精度があがることを示しています。
人間とは違うインタフェースを提供することで生成AIの精度を正しくバグを修正する作業に利用することができます。

ソフトウェア開発以外でのエージェントコンピュータインタフェース

ソフトウェア開発以外でも検索でも企業システムのインタフェースでも最高の性能を引き出すための設計が必要になる可能性があります。エージェントコンピュータインタフェースが生成AIの精度と同様に重要な課題となるかもしれません。

おわりに

世界をあっといわせたCognitition社のDevinも、プリンストン大学のSWE-Agentもソフトウェア開発のベンチマークSWE-Benchの性能はそれぞれ13%と12%です。人間とはまだ86%以上のギャップがあります。
単に生成AIが精度をあげるだけでなく、能力をあげた生成AIにどのような仕事のインタフェースを提供するかにも進歩が必要です。

参考文献

• SWE-Agent https://github.com/princeton-nlp/SWE-agent 2024年

• SWE-bench https://www.swebench.com/