最新AI研究&検証

本

最新AIの最前線に立つ技術、理論、応用を深掘りするマガジンです。検証結果や研究の記事をまとめています。

運営しているクリエイター: SUTO💡

Ollamaとの連携でDifyでRAGチャットボットを完全無料で作って遊ぶ

前回すごいすごいと話題になってたDifyがオープンソースだと知りなんとなくインストールしてみました。今回はそれの続きです！ RAGチャットボット制作にはchatGPTのAPIを使ってもよかったのですが、せっかくなのでここまで来たらLLMも無料のもので全部無料でやりたい欲がでてしまい少し調べるとOllamaとの連携でDifyができる記事見つかりそれでやってみることにしました。ありがたや～！ということで記事通りにやってみた結果がこちら！超かんたん😊すばらしい😊😊😊

OllamaでMeta社製のオープンLLM「Llama3」を試してみる

今回はこれまでで最も高性能なオープンに利用可能な LLMと名高いMeta Llama 3を試してみたいと思います。 🌐 Meta Llama 3の詳しい説明はこちら👇 Xでも話題です！ Claude 3 SonnetやGPT-3.5等と比較しても優れていると評価されているとか…！！ということで早速このLlama3をOllamaで試してみたいと思います。 Ollamaを導入済みであればLlama3のインストールはこのコードを入れるだけ。 ollama run lla

ちまたで人気のローコードLLM アプリ開発プラットフォーム「Dify」をWindowsのローカルで動かす

いま大人気のローコードなAIシステムの開発環境のLLMツール「Dify」。あまりに人気なもんだから流石に調べておかなきゃ〜と思ったらこれがまあすごい。オールインワンのワークスペースで視覚的に生成型AIアプリを作成、何百もの独自/オープンソース LLM とのシームレスな統合ができちゃうという異常なツールです。このDify、クラウドサービスだと200回分のGPT無料トライアルができるのでちょっといじってみたい！という人にも優しい設計。しかし通常はプロで59ドルします。

Ollamaを使ってMicrosoftの軽量オープンソースLLMの「phi-3」をローカルで試してみる

ちまたでGPT3.5より優秀かも？と話題になっているMicrosoft製のオープンソースLLMの「phi-3」。これはスマートフォンのローカルでも動かせるくらいの軽さということで話題になってたのでちょっといじってみたいと思います！ちなみにPhi-3は2024年4月リリースしたてで、Phi-3-mini（3.8GB）、Phi-3-small（70GB）、Phi-3-midium（140GB）があって、Phi-3-miniはシリーズ最小モデルでしたのでそれを試してみようと思い

仮想着せ替えができるAIの「IDM-VTON」で遊んでみる

今回は任意のモデルに仮想試着が手軽にできるIDM-VTONを試してみようと思います！プロジェクトページ類はこちら。デモのUIはこんな感じでした。それでは早速モデルと洋服を用意して試してみます。長袖でしたがちゃんと半袖の花柄Tシャツを着てくれました！柄もほぼ破綻してないです。すごい。つぎは柄シャツの男性にニットカーディガンをきせたいと思います。いいですね、次はこの美しい女性にめちゃダサセーターを着てもらいたいと思います。さて、これからはすこし難しく

元画像にマテリアルイメージ画像一枚で反映させるトレーニング不要のAI「ZeST」を試してみる

画像から画像へマテリアルを転送し、ゼロショットでトレーニング不要というAIの「ZeST」を今回は試してみたいと思います！ 🌐プロジェクトページ類は以下。それでは早速いじってみたいと思います！サンプルがあったので試しにそちらでテスト。インプットしたかぼちゃに対してマテリアルがしっかりと反映されていますね！オリジナルの画像でも試してみたいと思います。まずはマグカップと緑色の液体が入った瓶。赤いバッグと黄色い帽子。精度がめちゃ高いです！だいぶ思い通りにマ

最強のAIチャットボットを決めようとしている「Chatbot Arena」をみんなに触ってほしい（ユーザー登録不要）

Chatbot Arenaってご存知ですか？ Chatbot Arenaは大規模言語モデル（LLM）を人間の好みに基づいて評価するバトル形式のオープンプラットフォームです。ユーザーはざまざまなモデルと対話し、どちらのモデルがより良い応答をしたか投票することで、モデル間のランキングが形成されるというもの。これが触ってみると意外と差異があるものだな〜と感心したので記事にまとめました。 👇から試せます！ユーザー登録不要というのも嬉しい点。 https://chat.lmsy

任意のオブジェクトイメージをいろんな角度やシチュエーションで再生成できる「🌈CustomNet」を試してみる

画像のオブジェクトイメージを保持しながら、いろんなアングルや位置での背景をコントロールできることで話題になっている「CustomNet」。今回はこちらのモデルを試してみたいと思います。プロジェクトページ類はこちら。こちらがUIです。今回はこちらの三毛猫の招き猫の画像で試してみようとおもいます。いいですね〜これも雑コラが捗りそうです！！動画はこちらから。ボタンぽちぽちするだけであっという間にできちゃうのは便利ですね！使用感も良いです。こういうところ

新しく発表されていた2D-to-3Dの「InstantMesh」を試してみる

一枚の写真から3Dのメッシュモデル（立体的なネットワーク構造）を生成するためのフレームワーク「InstantMesh」がすごそうだったので試してみました。 3Dを作るフレームワークは他にもいくつかあって、過去にこんな感じで試しています。さて今回はどんな感じでしょうね？？プロジェクト類は以下から。普通、3Dモデルを作る時は複数の画像やデータを基にして詳細を加えていく必要がありますが、InstantMeshは一枚の画像から短時間（約10秒）でメッシュを生成することが

言葉で画像編集ができるくらいの精密さで話題の「CosXL Edit」を試してみる

Stability AIの新しい CosXLモデルがひっそりと話題となっています。 control netもinpaintingもmaskも不要でプロンプトだけで指定箇所を修正（再生成）できるというくらい精密な脅威的なモデル「CosXL」です。言葉の理解の精度が高く、ツールからの指定範囲がなくとも言語のみで適用箇所を理解するということの凄さ。 CosXLはbaseとEditの 2 つのモデルで構成されており、今回の検証ではEditのほうを中心にいじってみたいと思います！

世界観を保って画像生成するオープンなAIフレームワーク「InstantStyle」を試してみる

物語性を持たせたいときや画風や絵柄を安定させたいときに良さそうなオープンなAIフレームワーク「InstantStyle」。いままで絵柄安定といえばLoRA一択でした。そんななか、画像の写真をアップロードし、その画像スタイルで画像を生成するという LoRA 不要のインスタント生成はかなり便利そうだったので、ちょっと試してみようと思います。プロジェクトページ類はこちら！インストールした後のUIはこんな感じでした。オプションでも色々遊べそうですが、まずはシンプルに

画像と音声からリップシンクを生成するAIツール「DreamTalk」で遊んでみる👄

AliBabaが公開している画像を音声に合わせて喋らせるAIツール（トーキングヘッド生成フレームワーク）「DreamTalk」。 AIサービスではHeyGenやDIDなどもありますが、オープンソースで試すことができる状態でしたので試してみました！ Githubのページはこちら。デモはHugging Faceから！早速アクセスしてみます。アバター画像、音声ファイル、感情を選んで押すだけで良いUI ということで大変わかりやすいですね！それじゃ早速いじって行きますか

現時点オープンソース最強のディープフェイク動画制作ツール「FaceFusion」をいじってみる

高速かつ簡単にディープフェイク動画を作成できると話題の「FaceFusion」。いろんなところで悪用厳禁！と言われているので、どんなものだろうかと試してみました。 githubのページはこちら↓ インストールして立ち上げた画面は結構細かく設定項目がありそうですが、sourceとtargetを入れてSTART押せばできそうな感じがあり、これもUIがわかりやすくて素敵です。今回もディープフェイクを試すモデルとしてモナリザさんにご登場いただきます！それでは早速この画像

動画の背景抜きに便利そうな🎞️ Video Background Removal Tool 🎥を試して合成した動画をザクっと作ってみる

Hugging Faceでたまたま便利そうなAIツールを発見してしまいました。その名も「Video Background Removal Tool」。そのままですね！動画の背景削除ツールです！これがあるとクロマキーによるキーイング処理(合成)が楽になりそう〜！ってことで試してみました！デモ画面でのUIはやはり超シンプル。今回はガチャガチャでGETした寝てる白猫ちゃんの動画を撮って試したいと思います。動画を撮ってセットして… ※タイムアウト処理を避けたく高