キーポイントはマルチモーダル(Omni-Modal)で特に音声認識+画像認識が劇的に強化された事と、デスクトップバージョンがリリースされた事

OpenAIのSpring Updateにおける Mira Murati (CTO)

今朝（5／13）の大きな発表で、OpenAIは、テキスト、音声、ビデオを扱う能力を持つ新バージョンのChatGPTシステム、GPT-4oのリリースを発表しました。「o」は「omni」を意味し、GPT-4oは今後数週間で会社の開発者向けおよび消費者向け製品に「反復的に」展開される予定です。

OpenAIによると、GPT-4oは約50の言語でのパフォーマンスが向上し、さらに多言語対応になっています。また、OpenAIのAPIでは、GPT-4oはGPT-4 Turboの2倍の速さで、半分の価格で、そしてより高いレート制限を持っていると会社は述べています。

GPT-4oは、今日からChatGPTの無料枠で利用可能であり、OpenAIのプレミアムChatGPT PlusとTeamプランの加入者には、「5倍高い」メッセージ制限で提供されます。

現在、全ての顧客に対してGPT-4o APIの一部として音声は提供されていません。OpenAIは、誤用のリスクを引き合いに出し、GPT-4oの新たな音声機能のサポートを「信頼できるパートナーの小グループ」に対して初めて提供する予定であると述べています。

関連ニュースとして、OpenAIはウェブ上で新しく「より会話的」なホーム画面とメッセージレイアウトを備えたChatGPT UIをリリースし、キーボードショートカットを介して質問をしたり、スクリーンショットを取って議論したりするためのmacOS向けのChatGPTデスクトップバージョンを発表しました。ChatGPT Plusのユーザーは、今日からアプリにアクセスできるようになり、Windows版は今年後半にリリースされる予定です。

OpenAIエグゼクティブからのコメント

GPT-4oのマルチモーダル機能

OpenAIの前のトップモデルであるGPT-4 Turboは、画像とテキストの両方で訓練されました。画像とテキストを見て、画像からテキストを引き出したり、画像の内容を説明したりするような仕事を行うことができました。しかし、GPT-4oはこの組み合わせに音声を追加します。

GPT-4oはOpenAIのAI駆動型チャットボット、ChatGPTでの体験を大幅に改善します。このプラットフォームは、長い間、テキスト・トゥ・スピーチモデルを使用してチャットボットの応答を書き起こす音声モードを提供してきましたが、GPT-4oはこれを超充電し、ユーザーがChatGPTとよりアシスタントのように対話できるようにします。

たとえば、ユーザーはGPT-4o搭載のChatGPTに質問をし、ChatGPTが答えを出す中で中断することができます。このモデルは、「リアルタイム」の反応性を提供し、OpenAIは言います、ユーザーの声のニュアンスをさえつかむことができ、応答として「さまざまな感情的なスタイル」（歌を含む）の声を生成することができます。

GPT-4oの視覚機能。

デモンストレーターは数学の問題を書き留め、それを解く方法についてのガイダンスを求めます。

このデモでは、コーディングタスクでChatGPTのデスクトップアプリが使われています。ChatGPTにはエディターのスクリーンショットが提供され、そのコードが何をするのかを分析し説明するように求められます。

OpenAIの新モデル - GPT-4o

GPT-4oの古いモデルは3つの異なるモデルの組み合わせでした。

• まず、トランスクリプションモデルがあなたの声をテキストに変換します。

• このテキストは、GPT-4をサポートする同じシステムであるインテリジェンスモデルによって処理されます。

• インテリジェンスモデルがテキストを生成し、そのテキストはChatGPTによってコンピュータ化された声に戻されます。これにより、システムは一部の制限を伴いながらも会話能力を持つことができます。

このシステムとのコミュニケーションは、異なるモデル間でコンテンツを転送する必要があるため、遅くて不便なことがあります。私のテストでは、システムに話しかけてから応答を受け取るまでに3から5秒の遅延があることに気付きました。

GPT-4oは、音声認識、音声生成、インテリジェンスを一つのシステムに統合します。

これは、会話を作り出すために3つの異なるモデルを使用していた古いシステムがなくなったことを意味します。今では、新しいバージョンのChatGPTは音声を聞き、それを即座に処理し、現実的な音声で応答することができます。

あなたはChatGPTとより自然に話すことができます。あなたの質問を入力する必要はなく、友達に話すようにアプリに話しかけるだけでよいのです。

ライブデモでは、OpenAIのエンジニアが、システムがユーザーの声を聞き、ミリ秒単位で賢い返答をすることができることを示しました。

この速度は、新モデルがタスク間を切り替える必要がないため可能です。つまり、一つのステップで音声を聞き、音声で応答することができます。

GPT-4oはまた、感情を理解し、表現することもできます。

会話デモ

デモでは、OpenAIのスタッフメンバーがシステムに呼吸エクササイズの指導を求めました。彼は呼吸が速くなるふりをし、ChatGPTは彼の速い呼吸とパニックに気づき、彼にゆっくりと深呼吸をするように指示しました。

感情を込めた寝る前の物語

システムは自己の応答に感情を変えることもできます。別のデモでは、スタッフはGPT-4oに、よりドラマチックな声で寝る前の物語を読むように頼みました。そしてそれは、興奮しすぎた中学生の俳優のように聞こえました！

この新システムは、GPT-4の視覚機能と統合されているため、人の顔の感情を理解することもできます。これは、システムをより良い会話相手にする可能性があります。

他の新機能も役立つでしょう。ユーザーはGPT-4oが話している間に割り込むことができます。

デモ中、OpenAIのスタッフメンバーは、モデルが他の何かについて話し始めたとき、友人に質問の答えを求めるようにしばしばモデルを遮りました。

リアルタイム翻訳

観客の質問に基づいて、OpenAIのスタッフメンバーはシステムがイタリア語の話し言葉を聞き取り、それを迅速かつ正確に英語の話し言葉に翻訳する方法を示しました。また、その逆も可能です。

これは、GPT-4oが英語とスペイン語の会話をリアルタイムで翻訳できることを示す別のデモ例です。

市場に対するインパクト

• GPT-4oは今後APIも公開されるので、このAPIをベースにした新規アプリの開発が立ち上がると想定されます。高度な音声認識機能によって、上記のデモにもあった「感情表現」や自動翻訳などを使ったアプリが出てくると思います。また、画像／映像認識と組み合わせるとさらの広範囲のアプリが期待できると感じます。

• すでに音声や画像認識を採用しているアプリケーションは世の中にいっぱいあると思いますが、GPT-4oの持つ機能ははるかに優れているのでそれらを置き換える動きは出てくると思います。監視カメラ等のセキュリティの世界、顧客サービス等のチャットボット、自動運転などの安全性要件が高いアプリ、果ては医療の世界などでもいろいろなアイディアが出てくると考えられます。