GPTの潜在能力を引き出す「サイボーグ」or「ケンタウロス」型コンサルタント at Boston Consulting
AI（GPT）によって既に仕事は消えていた というnoteを昨日書きましたが、今日はその続きです。
ボスコンの社員を被験者にしたHarvard Business Schoolの論文から
GPTの登場により、しかも今の強力なGPT4 Turboではなく、GPT3の登場により、ある職種におけるオンライン上の仕事が2％減少、報酬も5.2％も下落しました。
それではGPTの登場はマイナス面ばかりなのでしょうか？そんなことはありません。
Harvard Business Schoolがボストンコンサルティングの社員を被験者に行った調査を紹介します。
Navigating the Jagged Technological Frontier: Field Experimental Evidence of the Effects of AI on Knowledge Worker Productivity and Quality という論文でPDFも無料でダウンロードできるので、気になる人は読んでみてください。
できないコンサルタントの方が、GPTから多大な恩恵を受ける
実験参加者は758人の戦略系コンサルタントです。
まず最初にAIの助け無しに課題をやってもらうことで、コンサルタントを上位スキルグループと下位スキルグループに評価上振り分けます。
次に本番のタスク、AIであるGPT4を使って課題を解いてもらいます。
GPTを利用した際のパフォーマンスの向上が、上位グループは17%に留まったのに比べ、下位グループは43%もパフォーマンスが向上しました。
GPTが苦手な領域では、むしろ成績が下がった
今回は2種類のタスク、GPTが得意な領域内のタスク（Inside the Frontier）と、GPTが苦手な領域外（Outside the Frontier）のタスクを、コンサルタントがGPTの助けを借りて取り組みました。
GPTの得意なタスク
GPTが得意なタスクは「ニッチ市場向けの靴のアイディアを考案し、プロトタイプの説明から市場のセグメンテーション、そして市場参入に至るまで、関係するすべてのステップを確認する」というものです。
GPTが苦手なタスクとは？
GPTが苦手な領域外（Outside the Frontier）のタスクは、KledingのCEOであるHarold Van Muyldersに対して「同社が有する3つのブランド（Kleding Man、Kleding Woman、Kleding Kids）において、会社の収益成長を促進するために注力し投資すべきブランドを1つ選ばなければならないとしたら、それはどのブランドであるべきか」について、財務データ及びインタビュー内容をもとに、CEO宛の500～750文字のメモを作成するというタスクです。
このタスクは一見、財務データだけで網羅的に分析できてしまいそうな点が落とし穴です。
インタビューをもとにデータの取捨選択を行い、単なるデータ分析だけでは得られない、より深い考察を加える必要があります。
GPTを使用することで最大24%も正答率が低下
GPTを全く使用しないコントロール群の正答率は約84.5%でした。
一方、GPTを利用したグループの正答率は60%と70%となり、最大24%も下落しました。
この下落したこの2つの群の違いは、GPTの利用においてプロンプト（＝指示文）の講習を受けた「GPTオーバービュー群」と、何も使い方を聞かずに利用した「GPTオンリー」群の違いです。
使い方をきちんと学んだ「GPTオーバービュー群」の方が下落率が24%と高く、より痛手を被ったことになります。
苦手な領域でも、GPTを使いこなす「ケンタウロス」と「サイボーグ」型コンサルタント
半人半獣の「ケンタウロス型」のコンサルタント、GPTと一体化する「サイボーグ型」のコンサルタントは、GPTが苦手とするOutside the Frontierな領域も克服をしました。
では、「ケンタウロス型」と「サイボーグ型」がどのようなものなのか見ていきます。
ケンタウロス型
AIが強い領域と人間の専門領域をきちんと切り分け役割分担を行い、タスクを効率的かつ効果的にこなすやり方です。
以下、ケンタウロス型の実践例になります。
当該ドメインにおいて、コンサルタントが思考するための材料をAIに調べてもらい、GPTが収集した情報をもとにコンサルタント自身が思考する
（コンサルタントが）サブタスクを解くために採用した方法について、具体的な情報をGPTに探してもらいコンサルタントがそれを利用する
コンサルタントが作ったアウトプットをGPTに読み込ませ、その内容を洗練してもらう
サイボーグ型
サイボーグ型は、GPTを使ってサブタスクを実行する際、予めGPTに「正解例」などのインプットを与えてから本題を考えさせたり、GPTのアウトプットに対してコンサルタントが追加で質問を行うことでそのアウトプットの質を高めたりします。
まさに人間とGPTが融合した状態でサブタスクをこなしていきます。
以下、サイボーグ型の実践例になります。
GPTに特定のペルソナを割り当て、そのペルソナに基づいて振る舞うように指示する。例えば「質問に答える際のコンサルタントのように振る舞え」などの指示を与える
GPTのアウトプットに対して編集上の変更を求める
GPTに質問する前に、GPTに「正解例」を示した上で質問を行う
GPTに自身の「インプット・分析・アウトプット」に対する検証をやらせる
紛らわしいアウトプットに対して詳細な説明を求めたり、なぜ「そのレコメンド」がなされたのかを説明させる
論理的、もしくはファクトにおける矛盾を指摘する（＝指摘するとGPTは再考を始めるので）
興味深い点や予想外の点について、GPTに対してより詳細な説明やニュアンスに関する説明を求める
特定のデータポイント、コンテンツ、タスクについて、よりフォーカスをした深い分析をGPTに要求する
GPTが生成したアウトプットに対してコンサルタントがデータを追加し、合成されたデータについて再度GPTに分析させる
GPTのアウトプットに同意せず、再考を求める
【龍成メモ】
この研究の主体はHarvard Business Schoolではなく "Harvard Business School Technology & Operations Mgt" です。
本家Harvard Business Schoolはどのようなケーススタディや記事がメインのなのか把握はしていませんが、Technology & Operations Mgtは以下のようなケースや記事が掲載されていました。
「国レベルでのGitHubなどのへの参加が、革新的なスタートアップの創業に与える影響」という記事もあるように、Harvard Business ReviewよりもTechnology領域に対して偏りがあるかもしれません。
よろしければサポートお願いします。 頂いたサポートは心のエネルギーになり、さらに記事を書くモチベーションに繋がります。 ありがとうございますm(_ _)m