マイクロソフト研究院のChief Scientific Officerエリック・ホルヴィッツ氏（https://twitter.com/erichorvitz）とそのチームが開発した「Medprompt」は、GPT-4という汎用モデルが、特定のドメインに特化したモデルを超越する能力を持つことを示しました。この画期的な研究では、微調整や専門家の提示を必要とせず、GPT-4を用いて医学分野での専門家レベルの性能を達成しました。これはAI技術の応用範囲を大きく広げるものであり、MedpromptとGPT-4の融合によって医学知識の新たな源が開かれています。

Medpromptの戦略

• 多様化提示：異なるタイプの提示を使用して、医学問題に対するモデルのパフォーマンスを向上させます。これには、問題の異なる表現、関連する背景情報、専門用語の説明などが含まれます。

• 上下文学習：特定の医学上の文脈をより深く理解するために、関連情報を問題の前後に追加します。

• 思考の連鎖：専門家が診断を下す際の思考プロセスに似た、一連の思考ステップを模倣させます。

• 選択のシャッフル統合：複数の異なる提示からの回答を組み合わせることで、全体の精度を高めます。

• クロスデータセットの適用：異なる医学データセットで効果的に機能し、柔軟性と適応性を高めます。

基準テスト

MedpromptはMedQA、MedMCQA、PubMedQA、MMLUの複数のサブセットに適用され、優れた結果を示しました。特にMedQAでの研究では、自動生成された思考の連鎖の提示だけで、専門家による提示よりも3.1%向上しました。

パフォーマンスの評価

• MedQAデータセット：90%を超えるパフォーマンスを達成。

• MultiMedQAスイート：すべての9つの基準データセットで最高の結果を報告。

• MedPaLM 2との比較：MedQAでのエラー率が27%減少。

研究の意義

1. 通用性と専門性：GPT-4が特定の領域で専門家レベルの能力を示すことができることを証明しました。

2. リソースとコストの削減：専門的な微調整に必要なリソースを削減し、中小規模の組織にも高度なAI技術の利用を可能にします。

3. 多領域への応用：この技術は医学だけでなく、電気工学、機械学習、哲学、会計、法律、看護、臨床心理学など、多岐にわたる分野での応用が期待されます。

消融研究による評価

この研究においては、消融研究（Ablation Study）も行われました。この研究では、Medpromptの各構成要素が全体の性能にどのような影響を与えているかを評価しました。結果として、GPT-4が自動生成した思考の連鎖、動的な少量のサンプル提示、そして選択のシャッフル統合が、それぞれ性能向上に大きな貢献をしていることが確認されました。

技術の応用可能性

この研究により、提示技術の革新が基礎モデルの能力を大幅に向上させる可能性が示されました。これにより、複雑な問題への新たなアプローチが提供され、特に医学分野における診断支援や治療計画の策定などに役立つことが期待されます。さらに、この技術は他の専門分野へも応用できるため、広範な分野における知識獲得や意思決定支援に貢献することが予想されます。

まとめと展望

エリック・ホルヴィッツ氏とそのチームによるMedpromptの開発は、GPT-4を医学分野での専門家に変えるための重要な一歩です。この研究は、特定の専門知識を持つモデルの必要性を減らし、汎用モデルの活用範囲を拡大しました。今後、このような技術が更に発展し、様々な領域での専門家レベルのアドバイスやサポートが、より手軽に提供されるようになることが期待されます。また、この進展は、AI研究における新たな方向性を示唆しており、その潜在的な応用範囲は計り知れないものがあります。