MicrosoftはOpenAIのChatGPTを採用した機能を次々に発表していますが、Seeing AIアプリにも実装されています。
ドキュメントのチャンネルで文字認識した内容をchatGPTで解析させることができます。
シーン、写真の内容についても詳しい説明をしてくれます。写真の内容については質問する機能はありません。


ただし、現時点では日本語環境では利用できません。

操作の手順としては、Documentチャンネルで文字認識させると「Ask Seeing AI」というボタンが表示されます。
それを実行するとエディットボックスが現れるので、質問を文字入力してSendボタンをタップします。
日本語で質問できますが、答えは英語でした。
Pixel 7, Android 13、端末の言語は英語に切り替えて試しました。
もし端末の言語を日本語のまま、Seeing AIアプリの言語を英語に指定することができるのであれば、答えは日本語で返ってくると思われます。
実はiOSではそれができるので、答えは日本語で表示されます。

この機能は、文字認識した文書の中から電話番号だけを知りたいとき、そんなばめんで活用できます。
すでにエンビジョングラスでは可能になっている機能でした。
しかし、Ask Seeing AIが興味深いのは複数ページに渡って文字認識した内容に対しても質問できることです。
エンビジョングラスの場合は1ページごとでないと解析してくれません。最新バージョンでは違っているかもしれませんが、今もたぶんそのはず。

早く日本語環境でも使えるようになってほしいものです。
センスプレーヤーでも利用できるようになると、ユーザは一気に増えるでしょうね。


先日アメリカで開催されたSight Tech GlobalのイベントでもSeeing AIのセッションがあり、MicrosoftからSaqib Shaikhさんがスピーカーとして出演されておられました。
その様子は動画でも視聴できますが、transcript 書き起こしテキストも公開されています。

The 2023 Agenda - Sight Tech Global
https://sighttechglobal.com/2023-agenda/


とくに目新しい情報はなさそうでした。
が、先日発表されたウェアラブルのデバイス、Humaneのai Pinの話題に対して、Seeing AIの機能を実装したい。
そのようにSaqibさんはx発言されておられました。

今後のSeeing AIの動きには注目、いや、注耳でしょうかね。