2週間後にアップデートされ、画像認識能力と音声対話能力を兼ね備えたAIに生まれ変わるChatGPTの陰には、レッドチームの並々ならぬ努力がありました。画像認識面での倫理を徹底的に教え込んだチューニングの様子をまとめた論文が、下記の公式ページのリンクより閲覧可能です。

今回のアップデートについては下記のNoteにまとめましたので合わせてご覧ください。

GPT-4Vとは何か？

GPT-4VはOpenAIが開発した最新のマルチモーダルAIモデルで、テキストだけでなく画像も理解することができます。GPT-4の進化版とも言えるこのモデルは、テキストと画像の両方を入力として受け取り、それに基づいて高度な認識や生成タスクを実行することが可能です。

この多機能性が特に注目されるのは、AIが日常生活やビジネス、科学研究において多様な形で活用される現代において、単なるテキスト解析だけではなく、画像とその内容に対する深い理解も必要とされるからです。例えば、医療画像解析に使われることを想定すると、GPT-4VはX線画像に対する説明や診断をサポートできる可能性があります。

しかし、画像を解釈する能力は、倫理的な問題やプライバシーの懸念も引き起こします。それは、人々の顔や感情、場所など、非常にデリケートな情報を含む可能性があるためです。このようなリスクを軽減するため、OpenAIはGPT-4Vの開発にあたり、いわゆる「レッドチーミング」（注1）を行い、様々な角度からその安全性と倫理性を評価しています。

※注１：「レッドチーミング（Red Teaming）」とは、セキュリティや機能の弱点を探るために外部または内部の専門家チームが模擬攻撃や評価を行うプロセスのことです。GPT-4Vの潜在的な脆弱性や不具合、倫理的な問題点を事前に特定するために結成されました。

画像認識とその応用例

GPT-4Vの最も注目すべき特長の一つは、テキストだけでなく画像も理解する能力です。この多機能性は、ユーザーがより直感的に質問をしたり、複雑な問題を解決する際に新たな道を開く可能性があります。たとえば、画像をアップロードして「この花は何？」と質問すると、GPT-4Vは花の種類を識別して答えることができます。さらに、「この機械の部品はどれが壊れている可能性が高い？」といった専門的な質問に対しても有用な回答を提供することが期待されます。

しかし、個々の人々やその他のセンシティブな情報を含む画像に対する扱いには、多くの倫理的、法的な問題が潜在しています。例えば、写真中の人物の身元を特定したり、その人物の感情や健康状態を診断するような行為は、プライバシーや偏見の問題につながる可能性があります。

このため、GPT-4Vの開発レッドチームは潜在的なリスクや不正確な出力、偏りを最小限に抑えるための対策を施しています。具体的には、不適切なリクエストやセンシティブな情報に対する「拒否」の挙動を強化しているのです。この画像認識機能は、多くの産業、特に医療、自動運転車、製造業などでの応用が期待されています。ただし、その全てのポテンシャルを活かす前に、倫理的な側面やセキュリティ問題に対する十分な対策が必要です。

倫理的課題：人と画像の認識

GPT-4Vはより「倫理的な」画像認識技術を目指しています。特に、人物やその他のセンシティブな情報を含む画像の認識と処理において、慎重なアプローチが必要です。

一つ目の課題は、プライバシーの保護です。例えば、公共の場で撮影された写真に写っている人々の顔を識別することが技術的には可能ですが、これは明らかなプライバシー侵害につながる可能性があります。GPT-4Vはこのようなリクエストに対して「拒否」する挙動を強化しています。

二つ目は、偏見やステレオタイプの強化です。AIが画像を「解釈」する過程で、無意識のうちに社会的な偏見を反映してしまう可能性があります。たとえば、特定の人物や集団に対するステレオタイプに基づいた不適切な推測をしてしまうことが考えられます。

三つ目は、センシティブな特性（例：年齢、人種、性別など）に基づく不当な判断や差別です。GPT-4Vはこのような「根拠のない推測」に対しても拒否する設定がされています。

リスクと対策：科学、医療、プライバシー

GPT-4Vの進化により、より高度な認識能力と多機能性が手に入りましたが、その反面、新たなリスクも生まれています。特に科学、医療、プライバシーに関連する領域での懸念が高まっています。

科学的プロフィシェンシー：GPT-4Vは科学的な画像や文献を高い精度で解釈できる一方で、その情報を誤用する可能性もあります。例えば、特定の危険な化学物質の合成方法を誤って提供するリスクがあります。そのため、開発チームはこのようなリクエストに対する「拒否」の機能を強化しています。

医療アドバイス：医療関連の画像に対する解釈能力もありますが、その解釈が必ずしも正確でない場合もあるため、医療の専門的判断には適していません。医療画像の誤診や、医療的なアドバイスに関する誤情報の拡散が懸念されます。

プライバシー：人々のプライバシーを侵害する可能性もあります。特に、人物の特定や、敏感な個人情報の推測が問題とされています。GPT-4Vは、このようなリクエストに対して拒否する仕組みが取り入れられています。

ローンチカウントダウン：次世代機能への期待と準備

GPT-4Vの登場は、AIの多様な適用領域に革新をもたらしつつ、新たな倫理的課題も生み出しています。

倫理的懸念と社会的役割：OpenAIはGPT-4Vの一連の倫理的問題に直面し、これを解決する事によりAIが果たす社会的役割といった多角的な課題解決を進めていきます。

グローバルな適応性：モデルが全世界で使われるようになるにつれ、多様な言語と文化に対応した性能向上が求められます。OpenAIは、全球的なユーザーにとって価値ある画像認識機能の強化にも力を入れています。

人々とのより良い関わり方：OpenAIは、人々の画像や機密情報をどう扱うかについて、より高度で洗練された方法を研究しています。特に、偏見やステレオタイプに基づく表象的損害を最小限に抑える方策が検討されています。

パートナーシップと感謝：この進展には、Microsoftなどのパートナーとの協力が大いに寄与しています。特に、インフラの設計と安全性において重要な役割を果たしています。