マガジンのカバー画像

shi3z note

441
運営しているクリエイター

記事一覧

噂のノーコードAIシステム開発環境Difyを使ってツールを作ってみた。使った感想

噂のノーコードAIシステム開発環境Difyを使ってツールを作ってみた。使った感想

最近にわかに話題のLLMツール「Dify」を僕も使ってみた。
いいところと「?」となったところがあったので纏めておく

Difyとは、GUIでワークフローを組むことができるLLM-OPSツールだ。
ComfyUIのようにワークフローが組めたり、GPTsのように自分専用のアシスタントを作れたりできる。

特に、OpenAIのGPTシリーズとAnthropicのClaude-3、そしてCohereのC

もっとみる
最後にKANは勝つのか?MLPに変わると主張されるKANを試す

最後にKANは勝つのか?MLPに変わると主張されるKANを試す

コルモゴロフ・アーノルド・ネットワークス(KAN;Kolmogorov–Arnold Networks)は、MITとカルテック、ノースイースタン大学、NSF人工知能および相互作用研究所らの共同研究によって生まれた、これまでの多層パーセプトロン(MLP;Multi Layer Perceptron)に変わるニューラルネットワークだそうな。

先週一番話題になったので知ってる人も多いと思う。
AIの世

もっとみる
Dify で RAG を試す

Dify で RAG を試す

「Dify」で「RAG」を試したので、まとめました。

前回1. RAG「RAG」(Retrieval Augmented Generation) は、最新の外部知識の習得とハルシネーションの軽減という、LLMの2つの主要課題に対処するためのフレームワークです。開発者はこの技術を利用して、AI搭載のカスタマーボット、企業知識ベース、AI検索エンジンなどをコスト効率よく構築できます。これらのシステム

もっとみる
これはアツい!なんかどっかで見たような顔が漫画的な表現になるStoryDiffusion

これはアツい!なんかどっかで見たような顔が漫画的な表現になるStoryDiffusion

ByteDanceがまたすごいのを出してきた。しかも今すぐ使える。無料。
その名も「StoryDiffusion」

これに自分の写真を何枚か入れて、いい感じに説明を書くと、自分的なものが何か物語的なものに登場するサムシングを作ってくれる

プロンプトにクラス名+imgを入れておくのがポイント。
これでデフォルトのサンプルみたいなストーリーをベースに作らせるとこんな感じで色々作ってくれる

試しに

もっとみる
「教養としてのAI講座」ゴールデンウィーク再放送祭り

「教養としてのAI講座」ゴールデンウィーク再放送祭り

昨日はFree-AI社として初めてのイベント、「AI時代の経営塾」を開催した。あくまでも「AIに経営の真実を教える」ことが目的のため、人間の観客はダミー。文字通り門外不出でヤバすぎる経営の本音、現実といった、少人数ならではの講座になってAIとしても非常に良いデータが取れた。

オプト(現デジタルホールディングス)を創業し、Yahoo!Japanの広告を売りまくり、東証プライム上場企業にまで育てた海

もっとみる
性格診断テストとコールドリーディングするAI

性格診断テストとコールドリーディングするAI

いい年をこいた男には、大抵、昼の友達と夜の友達がいる。
昼の友達は、まあ基本的には仕事仲間だ。日中の行動を一部共にして、同じ目標のために頑張る。昼の友達と酒を飲むこともあるが毎日というわけじゃない。

夜の友達は、主に酒場にいる。その場限りの相手は友達とは呼べないが、毎週決まった時間に顔を出すと、お互い名前を覚えるようになる。

「清水さん、あれやってます?」

「あれって?」

「今流行ってるん

もっとみる
BitNetLLMの罠(学習に失敗した話)

BitNetLLMの罠(学習に失敗した話)

こないだ試した1bitllmが割と上手く行ってるようなのと、あまり日本語が下手なのでとりあえずファインチューニングでもするかと思ってやってみたらハマって数日無駄にしたという話。

BitNetは、よく知られているように推論と学習で動きを変えないといけない。

ところが1bitllmの実装では、そこいらへんが僕が前にやったBitLinearの実験で使ったコードとは微妙に違ったのでメモがてらご報告。

もっとみる
1BitLLMの実力を見る

1BitLLMの実力を見る

1BitLLMは本当に実現可能なのか?そして、実現されると予告されていることに意味はあるのか?

ようやく再現実装に成功した人が現れたので僕も試してみた。

ちなみに1Bit(1.58bit) LLMについての考察はこのページが面白いので一読をお勧めする。

肝心の1Bit LLMの実装はここで公開されている。

ただし、普通のHuggingFaceのお作法とはかなり違うので注意が必要。
まず、こ

もっとみる
AI時代に起業するということ

AI時代に起業するということ

生成AI以前と以後で、会社のあり方は決定的に変化していくのだと思う。
たとえば、昨日はとある会議で、「この(AI)サービスの原価はいくらか」という議論が沸き起こった。

AIサービスなのだから、AIの利用料くらいしかかからないかというとそうでもない。実際、AIを動かすためにはAIそのものにかかるお金以外の人件費がかかる。誰かに売る人の人件費や、システム開発のための人件費や、サポートのための人件費だ

もっとみる
YouTube更新するの大変だよなあ

YouTube更新するの大変だよなあ

なんか普通に忙しくて、家から一歩も出ない日もそうでない日も
余計なことをする暇がなくなってしまった。
2022年の7月ごろから平日毎日更新を目指していた我がYoutubeチャンネルも、ついに先週、ネタ切れして穴を開けてしまった。

しかし苦情らしい苦情は特に来てないので別に毎日やらなくてもいいのか。

まあでも更新しないと寂しいという人がいるのでできるだけ平日毎日配信はしていきたいと思ってはいる。

もっとみる
結局アルゴリズムが大事という話

結局アルゴリズムが大事という話

こないだ作ったメールをいい感じに要約して適当な返信文まで考えてくれるツールを「まごころメール」と名付けた。

僕は過去に書いたいろんな本で「AI時代に価値を持つのは真心と思いやり」と締めくくっていたのだが、一番真心が足りてないのは僕だったようだ。

このツール、単なるネタではなく本当に仕事のやり取りに使っている。
面白いのは、一度手動で「※この文章は人工知能が作成し、清水が確認の上送信したものです

もっとみる
Command-R+の衝撃! 100Bモデルで本当にこんなことできんの!?ダウンロードしてローカルで実行可能

Command-R+の衝撃! 100Bモデルで本当にこんなことできんの!?ダウンロードしてローカルで実行可能

Transformerの発明者らが起業したCohereAIがとんでもないモデルを出してきた。この業界では毎週のように「えーー!」ということが起きるのだが、その中でも年に1,2回起きる「えーーーっ」が起きたのでブログでも紹介しておきたい。

Command-R+(おそらくコマンダープラスと読むのが正しい)というモデルは、わずか100Bで、GPT-4,Claude-3並と言われるモデルだ。しかし、それ

もっとみる
花見をするために生きている

花見をするために生きている

6年ぶりにPCゲーム業界花見。
もうかれこれ25年くらい続いている恒例のお花見である。

コロナが明けて本格的に花見ができるようになった。
この日を待っていたぜ俺はずっと!

しかし98年にDirectXの仕事をやっていた時はまさかコンシューマが衰退してPCゲームが生き残るとは思わなかった。あの頃の僕は22歳。まさに25年前である。

最近、自分を人に説明するのがどんどん面倒になってきていて、Ub

もっとみる
LoRAよりいいらしいLISA

LoRAよりいいらしいLISA

LISAという手法がLoRAより高性能らしく、場合によってはフルパラメータチューニングに匹敵するという

https://arxiv.org/pdf/2403.17919.pdf 以下、図版は全てこの論文から

Llama2-70Bにおける比較

確かに、Llama2-70B-FT(フルパラメータチューニング)よりもLISAの方が成績が良くなっている。

その上、メモリー消費量はLoRAより低い

もっとみる