The public release of Large Language Models (LLMs) has sparked tremendous interest in how humans will use Artificial Intelligence (AI) to accomplish a variety of tasks. In our study conducted with Boston Consulting Group, a global management consulting firm, we examine the performance implications of AI on realistic, complex, and knowledge-intensive tasks. The pre-registered experiment involved 758 consultants comprising about 7% of the individual contributor-level employees at the company. After establishing a performance baseline on a similar task, subjects were randomly assigned to one of three conditions: no AI access, GPT-4 AI access, or GPT-4 AI access with a prompt engineering overview.

大規模言語モデル(LLM)の一般公開は、人間が人工知能(AI)を使って様々なタスクを達成する方法について、大きな関心を呼んでいる。世界的な経営コンサルティング会社であるボストン・コンサルティング・グループと共同で実施した本研究では、現実的で複雑な知識集約的タスクにおけるAIのパフォーマンスへの影響を検証した。事前登録された実験には、同社の個人貢献レベルの従業員の約7％を占める758人のコンサルタントが参加した。同様のタスクでパフォーマンスのベースラインを確立した後、被験者は3つの条件の1つにランダムに割り当てられた：AIアクセスなし、GPT-4 AIアクセス、またはプロンプトエンジニアリング概要付きGPT-4 AIアクセス。

We suggest that the capabilities of AI create a “jagged technological frontier” where some tasks are easily done by AI, while others, though seemingly similar in difficulty level, are outside the current capability of AI. For each one of a set of 18 realistic consulting tasks within the frontier of AI capabilities, consultants using AI were significantly more productive (they completed 12.2% more tasks on average, and completed tasks 25.1% more quickly), and produced significantly higher quality results (more than 40% higher quality compared to a control group). Consultants across the skills distribution benefited significantly from having AI augmentation, with those below the average performance threshold increasing by 43% and those above increasing by 17% compared to their own scores. For a task selected to be outside the frontier, however, consultants using AI were 19 percentage points less likely to produce correct solutions compared to those without AI.

私たちは、AIの能力が「ギザギザの技術的フロンティア」を形成していることを示唆する。そこでは、あるタスクはAIでも容易にこなせるが、他のタスクは一見同じような難易度に見えるが、現在のAIの能力からは外れている。AIの能力のフロンティア内にある18の現実的なコンサルティング・タスクのそれぞれについて、AIを使用したコンサルタントは、著しく生産性が高く（平均で12.2％多くタスクを完了し、25.1％早くタスクを完了した）、著しく質の高い結果を生み出した（コントロール・グループと比較して40％以上質が高い）。平均的なパフォーマンスのしきい値以下のコンサルタントは43％増加し、それ以上のコンサルタントは17％増加した。しかし、フロンティアから外れたタスクを選択した場合、AIを使用したコンサルタントは、AIを使用しなかったコンサルタントと比較して、正しい解決策を生み出す可能性が19ポイント低かった。

AIが単に高度な専門家や高性能な従業員にのみ有益なのではなく、さまざまな能力を持つ個人にもメリットがあるよ！

初心者から上級者まで、異なるレベルのスキルを持つ人々がAIを利用することで、そのパフォーマンスが向上する可能性がある

For a task selected to be outside the frontier, however, consultants using AI were 19 percentage points less likely to produce correct solutions compared to those without AI

AIを使用したコンサルタントが、AIを使用しないコンサルタントに比べて、正しい解決策を見つける確率が19パーセントポイント低かった

タスクの性質によってはAIの使用が実際にパフォーマンスを低下させる可能性がある

Further, our analysis shows the emergence of two distinctive patterns of successful AI use by humans along a spectrum of human-AI integration. One set of consultants acted as “Centaurs,” like the mythical half-horse/half-human creature, dividing and delegating their solution-creation activities to the AI or to themselves. Another set of consultants acted more like “Cyborgs,” completely integrating their task flow with the AI and continually interacting with the technology.

さらに、我々の分析は、人間とAIの統合のスペクトルに沿って、人間によるAIの成功の2つの特徴的なパターンの出現を示している。1つは、神話に登場する馬と人間のハーフのような「ケンタウロス」として行動するコンサルタントで、ソリューションの創造活動をAIや自分自身に分担・委譲していた。もう一組のコンサルタントは、より「サイボーグ」のように行動し、自分のタスクフローをAIと完全に統合し、テクノロジーと絶えず相互作用していた。