Anthropic社の最新モデルClaude 3。

開発者向けのAnthropic Cookbook。
APIを使ったサンプルが載っています。

サンプルはPythonで書かれています。
マルチモーダルのケースで使っている画像を、無料枠で使用できるチャット型「claude.ai」で試してみました。

Best practices for using vision with Claude

犬は何匹？

右上のアイコンをクリックすると、使用しているモデルを確認できます。
無料のチャットで使用できるのは「Sonnet」です。

細部まで注意して数えて

1匹多く数えてます。
Cookbookを参考に、プロンプトを変更します。
9匹と認識してくれました。

面積は？

円の画像を使います。

2つの数字の差は？

表の画像です。

レストラン名と合計金額

2つに分かれたレシートです。