AIアバターチャットボット

本

自分自身のアバターを作成し、ChatGPTで会話などができるAIアバターチャットボット作成プロジェクトです。いつかは自分自身をすべてAIで再現してみたい...

運営しているクリエイター: SeaGate

AIアバターとの音声会話によって、MR空間から現実空間を制御

とあるセミナーでXRと生成AIについて喋ることになったので、以前、Meta Quest 3のパススルー機能のテスト用に作った「AIしげちゃん（MR版）」のデモ動画を作成し直して、生成AIとXR、現実空間とデジタル空間（MR空間）が融合しているイメージのデモ動画にしてみました。前回のデモ動画では、MR空間内で「AIしげちゃん」と音声会話したり、Function callingで気象庁のAPIから指定した都市の天気予報を取得・回答させたりして、生成AIとXRが連動している様子

AI〇〇部長（スマホ版）GPT-4 Turbo with Vision

新入社員研修に間に合わせるため、Windows用にやっつけで作った「AI〇〇部長」を Androidスマホ用に改造。機能追加に合わせて若干UIにも手を加えて整理しましたが、この辺りは、ChatdollKitがフレームワークとして柔軟にできているがおかげで簡単ですね。最新の「gpt-4-turbo（gpt-4-turbo-2024-04-09）」でもGPT-4 Vision APIが使用できるようになったので、モデルを「gpt-4-vision-preview」から変

AI〇〇部長に新入社員研修で部門紹介をしてもらった

僕に代わって、AI〇〇部長に新入社員研修で部門紹介をしてもらった。機材トラブルで音声が出なかったけど、テロップを表示するようにしておいて良かった。新入社員からの質問にもいい感じで答えてくれる、頼れる部長さんw 動画はTeamsの画面共有の録画なのでガクガクしてるけど。

AI〇〇部長（新入社員研修用）

新入社員研修での部署紹介をAIにやってもらったらどうかと思って、「AIしげちゃん」をWindows用にビルドし直して、「AI〇〇部長」にプチ改造してみた。ちょうど、ChatdollKit がアップデートしていたので、「AI〇〇部長」も最新版の v0.7.2 ベースに乗せ換え。 ChatdollKit v0.7.2 が GPT-4 Vision API に対応したので、PC内の画像ファイルを選択するダイアログなどを追加し、選択した画像の解析結果を喋るようにしてみた。こ

AIしげちゃんでAnthropic Claude API のテスト

ChatdollKitが v0.7.0/0.7.1 にバージョンアップして、ChatGPT/Azure OpenAI Service、Anthropic Claude、Google Gemini Pro等のマルチLLMに対応しました。（作者のうえぞう様、ありがとうございます！）それで早速、Anthropic ClaudeのAPIキーを取得して、AIしげちゃんのLLMを GPT-3.5 Turbo から Claude-2.1に変更して試してみました。 Claude API

AIしげちゃん（MR版）テスト

先日、スマホ版「AIしげちゃん2」の再構築が完了しましたが、VRヘッドセットをQuest 3に買い替えたので、折角なので、スマホ版と同様、Unityプロジェクトが破損してしまったVR版も再構築することにしました。 Quest 3用ということで、カラーパススルー機能で、自分の部屋に「しげちゃん」を呼び出してみたいので、取り合えずサンプル通りにビルドして、作成したアプリが下の動画。VR版でなくMR版「AIしげちゃん」ですねw 以下のサイトを参考に、スマホ（Andoroid）版

AIしげちゃん2（スマホ版）Ver 1.1

ほぼ再構築が完了した「AIしげちゃん」ですが、Android用にビルドしようとするとエラーが出て、アプリが作成できなくなっていました。それで、しばらく原因を探っていたのですが、ようやくビルドできるようになり、うちのPixel 7aでも動作させることができました。もっとも、ChatdollKit v0.6.6に含まれる「ChatGPTContentSkill.cs」「ChatGPTRouter.cs」「ChatGPTServiceWebGL」を以下のように編集しただけ

AIしげちゃん 2

再構築中の「AIしげちゃん」ですが、概ね、元あった機能が復活できた。とは言え、前バージョンで追加した機能のいくつかは、既に ChatdollKit v0.6.6で実装されていたので、思ってたより早く復活できたんですが。で、改めて「AIしげちゃん 2」の機能紹介。基本機能音声による質問を認識し、ChatGPTの回答を音声で話す。 Google Cloud Speech to Text → OpenAI（ChatGPT 3.5 Turbo） → Google Cl

スマートリモコンと連携し、「AIしげちゃん」で部屋の照明などを制御する

前回に引き続き、破損前の「AIしげちゃん」に実装していた、スマートリモコン（Nature Remo）と連携し、部屋の照明や家電製品を制御するスキルを復活中。前回の環境センサーの値を取得するスキルとほとんど同じだけど、GPTのFunction CallingでNature Remo Cloud APIを叩く関数を呼び出して、赤外線リモコンの信号毎に割り振られたシグナルIDをPOST。 [CeilingLightSkill.cs]using System.Collectio

「AIしげちゃん」でNature Remoの環境センサーの値を取得

前回に引き続き、破損前の「AIしげちゃん」にあった、Nature Remoの環境センサーの値を取得して、温湿度の値を答えるスキルを復活中。ただ、センサーの値を答えるだけでは芸がないので、温湿度の値から不快指数を計算して、少し盛った会話ができるようにしているw [SensorSkill.cs]using System.Collections.Generic;using System.Threading;using UnityEngine;using Cysharp.Thr

「AIしげちゃん」の天気予報機能

Unityプロジェクトを破損してしまって、ChatdollKit v0.6.6 で再構築中の「AIしげちゃん」ですが、破損前のバージョンで GPTのFunction Callingを使って実装していた、以下の機能を復活させているところです。気象庁の気象情報APIを利用し、指定した地域の天気予報を答える環境センサーと連携し、温湿度の値や不快指数等を答えるスマートリモコンと連携し、部屋の照明や家電製品を制御するまず始めは、ChatdollKitのサンプルにもあった

「AIしげちゃん」再構築中

少し前、PCの調子が悪くなったので初期化して、バックアップしていたデータをリストアしたんだけど、最近、Unityのプロジェクトを開いてみたらいくつか破損しているのに気が付いた。バックアップデータ自体も破損していて、AIしげちゃんのソースコードが一部失われてしまった… デモ用として、思いつくままオリジナルのChatdollKitの改造を重ねていたので、当然、ドキュメントもなく。で、半ばあきらめかけていたんだけど、ChatdollKitがv0.6.6になって音声認識が速

こはれ03 Ver 2.5

2023.08.27 以前のバージョンでは、音声認識・合成にGoogle Cloud Speech APIを使用してたんだけど、落ち着いた大人の女性の声って感じだったので、音声認識・合成周りをMicrosoft Azureの音声サービスに変更した。今度は、アバターの外見より少し幼い感じの声になってしまったけど、妹設定としてはまあまあ良い感じになったんじゃないかなw

こはれ03 Ver 2.4

2023.08.20 いつも、おじさんばかりだと何なので、アバターを差し替えて、声を女性に。 ChatGPTのキャラクター設定を変更すれば、サブカルチャーに詳しくカワイイものが大好きな、妹設定の少女型のアンドロイドのAIチャットボットのできあがり。まあ、妹設定の割には、落ち着いた声だけどねw