GPTsは、ノーコードでChatGPTをカスタマイズできるというのが売りですが、Code Interpreterを使うことができるので、コードを実行することも可能です。

そこで、今回は、コードを実行して動くGPTsを作ってみました。
なお、自分でコードが書けなくても、ChatGPTがコードを作成してくれるので問題ありません。

１．ウィルス感染シミュレーション

(1) GPTの概要

ここ数年、新型コロナ感染症は世界中で猛威を振るい、社会に大きな爪痕を残しました。ただ実際には、ウィルスはどのようにして広がっていくのでしょうか。それをシミュレーションで示したいと思って、「ウィルス感染シミュレーション」というGPTを作りました。

仕組みは簡単です。まず、長方形の枠の中に円で表される個体を沢山表示します。そして、その個体をランダムに運動させて、ウィルスに感染した個体が接触すると感染したことにします。そうやって、枠内の個体がすべて感染するまで続けます。

また、パラメータとして、個体の大きさ（円の直径）、個体の数、個体の動く範囲（距離）を設定し、ユーザーが変更できるようにしました。

(2) コードの作成

GPTを作成する前に、ChatGPTに以下のプロンプトを入力して、Code Interpreterにコードを作成させます。

なお、PillowはCode Interpreterが利用できるPythonの画像処理ライブラリです。Pillowを指定しないと、GIF画像の作成に失敗することが多いので、明示的にPillowを指定しています。

GPTではパラメータを変更できるようにしますが、ここでは、パラメータを固定してしまって構いません。パラメータの変更を想定せずにコードを作成しても、ユーザーが異なるパラメータを入力したら、ChatGPTが上手くコードを修正してくれます。

また、ここでは、個体の動く距離を設定していませんが、これもChatGPTがちょうどよい塩梅の距離を自動で設定してくれます。

ChatGPTの性格上、生成されるコードは毎回変わりますが、何度か試してみて、最も上手く動作したものを採用します。

出力結果は以下のとおりです。

最終行の青字をクリックしてGIF画像をダウンロードすることができ、そのGIF画像を再度入力欄からアップロードしてChatGPTの画面に表示することもできます。

Code Interpreterの作成したコードを見るには、「解析が完了しました」の右の「v」印をクリックします。すると、以下のようにコードが表示されます。なお、コードの内容は毎回変わるので、これは、(3)のGPTに採用した内容と同じではありません。

(3) GPTの作成

ChatGPTのサイドメニューの「GPTを探索する」→「+GPTを作成する」をクリックして、GPT Builderを起動します。

ここで、Configureモードを選んで、以下のとおり入力していきます。Instructionsの「以下のコードを実行してください。」の下に(2)で作成したコードをコピペします。

from PIL import Image, ImageDraw
import random

def run_virus_spread_simulation_gif(diameter=30, num_circles=150, move_range=7, frames=500, width=800, height=600):
class Circle:
def __init__(self, x, y, infected=False):
self.x = x
self.y = y
self.infected = infected

def move(self):
directions = [(-move_range, 0), (move_range, 0), (0, -move_range), (0, move_range)]
dx, dy = random.choice(directions)
self.x = max(min(self.x + dx, width - diameter), diameter)
self.y = max(min(self.y + dy, height - diameter), diameter)

class Grid:
def __init__(self, width, height, cell_size):
self.cell_size = cell_size
self.cols = int(width / cell_size)
self.rows = int(height / cell_size)
self.cells = [[[] for _ in range(self.rows)] for _ in range(self.cols)]

def clear(self):
for col in self.cells:
for cell in col:
cell.clear()

def insert(self, circle):
col = int(circle.x / self.cell_size)
row = int(circle.y / self.cell_size)
self.cells[col][row].append(circle)

def get_nearby(self, circle):
col = int(circle.x / self.cell_size)
row = int(circle.y / self.cell_size)
nearby = []
for i in range(max(0, col - 1), min(self.cols, col + 2)):
for j in range(max(0, row - 1), min(self.rows, row + 2)):
nearby.extend(self.cells[i][j])
return nearby

circles = [Circle(random.randint(diameter, width - diameter), random.randint(diameter, height - diameter), infected=(i == 0)) for i in range(num_circles)]
grid = Grid(width, height, diameter * 2)

images = []
for _ in range(frames):
grid.clear()
image = Image.new("RGB", (width, height), "white")
draw = ImageDraw.Draw(image)

for circle in circles:
grid.insert(circle)

for circle in circles:
circle.move()
nearby_circles = grid.get_nearby(circle)
for other in nearby_circles:
if circle != other:
dx = circle.x - other.x
dy = circle.y - other.y
distance_squared = dx * dx + dy * dy
if distance_squared < (diameter * diameter):
if circle.infected or other.infected:
circle.infected = other.infected = True

color = "red" if circle.infected else "green"
draw.ellipse([(circle.x - diameter / 2, circle.y - diameter / 2), (circle.x + diameter / 2, circle.y + diameter / 2)], fill=color)

images.append(image)

gif_path = '/mnt/data/virus_spread_simulation.gif'
images[0].save(gif_path, save_all=True, append_images=images[1:], optimize=False, duration=40, loop=0)

return gif_path

# Run the simulation and create GIF
gif_file_path = run_virus_spread_simulation_gif()
gif_file_path

コードは、別ファイルにして、Knowledgeからアップロードする方法もありますが、Instructionsに直接貼り付ける方が正確だと思います。

(4) 実行例

以下は、「ウィルス感染シミュレーション」の実行例です。

最終行の青字をクリックすると、GIF画像をダウンロードできます。

「ウィルス感染シミュレーション」

２．笑い男メーカー

(1) GPTの概要

2024年2月は、「攻殻機動隊」で笑い男事件が発生した月です。それを記念して、今月からキャンペーンで、公式の「笑い男ポータルサイト」が自由に利用できる笑い男マーク限定ver.を無料配布しています。

これはチャンスだとばかりに、画像の顔の部分に笑い男のマークを貼り付けるGPTを作成しました。

この「笑い男メーカー」は次の手順でこれを実現しています。

1. Pythonで使える機械学習ライブラリのdlibを使用して、ユーザーがアップロードした画像の顔検出を行う。

2. ユーザー画像の顔部分にサイズ調整した笑い男マークを貼り付ける。

3. 完成した動画をGIF画像形式で出力する。

Code Interpreterでは、画像処理ライブラリのOpenCVによる顔検出と機械学習ライブラリのdlibによる顔検出機能が使用できますが、特に指示しないと、前者を使用して失敗することが多いため、dlibを指定しています。

ユーザーはGPTsの入力欄に画像を貼り付けて、何も書かずに送信するだけで、あとは全部GPTがやってくれます。 複数人の画像でも、人の顔を検出して自動的に笑い男マークを貼り付けます。

(2) コードの作成

ChatGPTに人物の顔が入った画像と笑い男マークをアップロードし、以下のプロンプトを入力して、Code Interpreterにコードを作成させます。

(1)で説明したように、顔検出にdlibを使うように指示しています。

今回の作業は、なかなか大変なので、Code Interpreterが失敗して、実行結果がエラーになることも多いのですが、エラーになった場合はやり直して、上手く作動したコードを採用します。

出力結果は以下のとおりです。

最終行の青字をクリックしてGIF画像をダウンロードすることができます。

Code Interpreterの作成したコードを見るには、「Download the GIF」の右の「>_」印（分析を見る）をクリックします。すると、以下のようにコードが表示されます。なお、コードの内容は毎回変わるので、これは、(3)のGPTに採用した内容と同じではありません。

(3) GPTの作成

GPT Builderを起動し、Configureモードを選んで、以下のとおり入力していきます。Instructionsの「以下のコードを参考にしてください。」の下に(2)で作成したコードをコピペします。

# 顔検出のコード：
import dlib
import cv2
from skimage import io
from PIL import Image

# Load the image using skimage
image_path = '/mnt/data/resized_image.webp'
image = io.imread(image_path)

# Initialize dlib's face detector (HOG-based)
detector = dlib.get_frontal_face_detector()

# Detect faces in the image
detected_faces = detector(image, 1)

# Let's see if any faces are detected and how many
num_faces = len(detected_faces)
num_faces, detected_faces

# 笑い男のマークを貼り付けてGIF画像化するコード：
from PIL import ImageSequence

# Load the Laughing Man gif
laughing_man_gif_path = '/mnt/data/img_mark_04.gif'
laughing_man_gif = Image.open(laughing_man_gif_path)

# Function to overlay the Laughing Man gif on detected faces
def add_laughing_man_to_face(image, face_rectangles, gif):
    frames = []
    for frame in ImageSequence.Iterator(gif):
        # Make frame image
        frame_image = frame.convert('RGBA')
        
        # Create a new image to hold the result
        result_image = Image.new('RGBA', image.size)
        # Paste the original image
        result_image.paste(image, (0, 0))

        for rect in face_rectangles:
            # Scale the gif frame to the face size
            frame_resized = frame_image.resize((rect.width(), rect.height()))
            
            # Calculate position to paste on the original image
            position = (rect.left(), rect.top())
            # Paste the resized gif frame onto the original image
            result_image.paste(frame_resized, position, frame_resized)

        # Add to frames
        frames.append(result_image.convert('P', dither=Image.NONE))

    return frames

# Convert the original image to PIL format for processing
pil_image = Image.fromarray(image)

# Call the function to add the Laughing Man gif to all detected faces
frames = add_laughing_man_to_face(pil_image, detected_faces, laughing_man_gif)

# Save the resulting gif
output_gif_path = '/mnt/data/laughing_man_overlay.gif'
frames[0].save(output_gif_path, save_all=True, append_images=frames[1:], loop=0, duration=laughing_man_gif.info['duration'])

output_gif_path

注１：Code Interpreterが生成するコードは、サンプルコードがあっても、毎回少しずつ違うため、失敗することもあります。その場合でも、コードを修正して、何度か試行錯誤してくれます。

注２：処理時間が長くなるとエラーになるため、顔検出のタスクとマークを貼り付けてGIF画像化するタスクを分けて実行するように、コードを分割しています。それでもエラーになる場合は、入力画像のサイズを小さくするなど工夫してください。

(4) 実行例

入力欄に画像を貼り付けて、何も書かずに送信します。

青字をクリックして、ダウンロードした画像は以下のとおりです。

画像のファイルサイズが大きいと、処理時間が長くなってエラーを起こしやすくなるため、サイズを縮小することをお勧めします。画像を縮小する場合も、「画像を半分のサイズに縮小してください」などとCode Interpreterに指示すれば、実行してくれます。

ただし、サイズを小さくし過ぎると、顔検出の精度が低下し、複数人が写っている画像では全員の顔を検出できなくなる可能性があるため、適切なバランスの取り方が重要です。

「笑い男メーカー」