「Google Colab」で「ImageBind」を試したので、まとめました。

1. ImageBind

「ImageBind」は、「画像」「テキスト」「音声」「深度(3D)」「熱」「IMU(慣性測定ユニット)」といった6つの異なるモダリティにまたがる共同埋め込みを学習します。これにより、クロスモーダル検索、演算によるモダリティの合成、クロスモーダル検出や生成など、すぐに使える新しい創発的アプリケーションを実現します。

2. Colabでの実行

Colabでの実行手順は、次のとおりです。

(1) メニュー「編集→ノートブックの設定」で、「ハードウェアアクセラレータ」で「GPU」を選択。

(2) パッケージのインストール。

# パッケージのインストール
!git clone https://github.com/facebookresearch/ImageBind
%cd ImageBind
!pip install -r requirements.txt

(3) デバイスの準備。
GPUとCPUをどちらを使うかの情報です。

import torch

# デバイスの準備
device = "cuda:0" if torch.cuda.is_available() else "cpu"

(4) モダリティ (テキスト・画像・音声) の準備。

import data
from models.imagebind_model import ModalityType

# モダリティ (テキスト・画像・音声) の準備
text_list=["A dog.", "A car", "A bird"]
image_paths=[".assets/dog_image.jpg", ".assets/car_image.jpg", ".assets/bird_image.jpg"]
audio_paths=[".assets/dog_audio.wav", ".assets/car_audio.wav", ".assets/bird_audio.wav"]
inputs = {
    ModalityType.TEXT: data.load_and_transform_text(text_list, device),
    ModalityType.VISION: data.load_and_transform_vision_data(image_paths, device),
    ModalityType.AUDIO: data.load_and_transform_audio_data(audio_paths, device),
}

以下のメソッドでデータを読み込みます。

画像と音声は、.assetsフォルダにあります。

(5) モデルの準備。

from models import imagebind_model

# モデルの準備
model = imagebind_model.imagebind_huge(pretrained=True)
model.eval()
model.to(device)

以下のメソッドでモデルを読み込みます。

(6) 推論の実行。

# 推論の実行
with torch.no_grad():
    embeddings = model(inputs)

# 結果の確認
print(
    "Vision x Text: ",
    torch.softmax(embeddings[ModalityType.VISION] @ embeddings[ModalityType.TEXT].T, dim=-1),
)
print(
    "Audio x Text: ",
    torch.softmax(embeddings[ModalityType.AUDIO] @ embeddings[ModalityType.TEXT].T, dim=-1),
)
print(
    "Vision x Audio: ",
    torch.softmax(embeddings[ModalityType.VISION] @ embeddings[ModalityType.AUDIO].T, dim=-1),
)

Vision x Text:  tensor([
        [9.9684e-01, 3.1310e-03, 2.5929e-05],
        [5.4495e-05, 9.9993e-01, 2.0353e-05],
        [4.4847e-05, 1.3246e-02, 9.8671e-01]], device='cuda:0')
Audio x Text:  tensor([
        [1., 0., 0.],
        [0., 1., 0.],
        [0., 0., 1.]], device='cuda:0')
Vision x Audio:  tensor([
        [0.8064, 0.1051, 0.0885],
        [0.1284, 0.7205, 0.1511],
        [0.0016, 0.0022, 0.9962]], device='cuda:0')

「画像 x テキスト」「音声 x テキスト」「画像 x 音声」のモダリティの距離が出力されます。1に近いほど類似してることを示します。「dog, car, bird」同士を比較してるため、対角線上に1に近い値が並んでいます。