の続き

DALL-E3 での画像生成と ChatGPT-4V の API を試すぞ☆

まずはシュッと画像を生成

response = client.images.generate(
  model="dall-e-3",
  prompt="a white siamese cat",
  size="1024x1024",
  quality="standard",
  n=1,
)

image_url = response.data[0].url

するとこちらのネコちゃんが爆誕☆

まぁ特に気を付けることはないけれど、現状 DALL-E3 は画像生成のみで編集とかはできないぞ☆

リクエスト時のパラメーターが DALL-E3 とそれ以外でちょっと違っているので細かいところは公式ドキュメントを見てね☆

で、次は生成した画像を Vision API で読み込ませてみよう(/・ω・)/

response = client.chat.completions.create(
    model="gpt-4-vision-preview",
    messages=[
        {
            "role": "user",
            "content": [
                {"type": "text", "text": "写真の中に何が映ってる？"},
                {
                    "type": "image_url",
                    "image_url": image_url,
                },
            ],
        }
    ],
    max_tokens=300,
)

print(response.choices[0].message.content)

やってることは簡単で画像 URL を渡しているだけですな(/・ω・)/
(base 64 encode された画像も渡せるよ)

んで結果はこちら

この画像には、２匹のシャム猫が描かれています。
デジタルアートやリアリスティックなイラストで描かれたようです。
猫たちは真っ直ぐ前を見ており、その青い目は非常に生き生きとしていて詳細に作りこまれています。
毛並みの質感や色合いがとても精密で、白とクリーム色が主な体の色ですが、
耳、顔、足、尾にかけて濃い褐色がみられます。

ちゃんと読めてるね(/・ω・)/

複数の画像も渡せるみたいよ

from openai import OpenAI

client = OpenAI()
response = client.chat.completions.create(
    model="gpt-4-vision-preview",
    messages=[
        {
            "role": "user",
            "content": [
                {
                    "type": "image_url",
                    "image_url": "https://upload.wikimedia.org/wikipedia/commons/thumb/d/dd/Gfp-wisconsin-madison-the-nature-boardwalk.jpg/2560px-Gfp-wisconsin-madison-the-nature-boardwalk.jpg",
                },
                {
                    "type": "text",
                    "text": "What’s in these images? Is there any difference between them?",
                },
                {
                    "type": "image_url",
                    "image_url": "https://upload.wikimedia.org/wikipedia/commons/thumb/d/dd/Gfp-wisconsin-madison-the-nature-boardwalk.jpg/2560px-Gfp-wisconsin-madison-the-nature-boardwalk.jpg",
                },
            ],
        }
    ],
    max_tokens=300,
)
print(response.choices[0])

んで detail というパラメータがありんす

ドキュメントにはちゃんと書いてないけどこういう風に渡しますわよ～

            "content": [
                {"type": "text", "text": "写真の中に何が映ってる？"},
                {
                    "type": "image_url",
                    "image_url": { "url": image_url, "detail": "high" },
                    
                },
            ],

low

この画像には、2匹のシャム猫のイラストが描かれています。
彼らはクリーム色のコートと美しい青い瞳を持ち、リラックスした姿勢で一緒に寄り添っています。
猫たちはとてもリアルに描かれており、細部に至るまで丁寧な作画がされています。

high

この画像には二匹の猫が描かれています。
それぞれクリーム色とブラウン色のポイントを持つシャム猫
（またはシャム猫に似た品種）のように見えます。
一匹は直接こちらを見つめていて、もう一匹はやや斜めにこちらを見ています。
両方とも青い目をしていて、柔らかそうな毛並みが特徴的です。
美しい描写とリアルなディテールで、高いアートの技術が感じられます。

やはり出力に差がありんすねぇ(/・ω・)/

んで制限事項も書かれておりますなぁ

ちゃんと CAPTCHA ブロックはいってるのね(/・ω・)/

そして気になるコストですな

Vision の方は少々ややこいでござる(/・ω・)/

しかしまぁ Pricing ページで簡単にわかるのである

というわけでおしまい