にょす

にょすです。LLMを使ったアプリケーション開発に熱中してます。音声メモ日記アプリ「シャ…

にょす

にょすです。LLMを使ったアプリケーション開発に熱中してます。音声メモ日記アプリ「シャべマル」を運営してます。

マガジン

  • 「シャべマル」マガジン✉️

    音声メモ日記アプリ「シャべマル」の記事をまとめたマガジンです。快適に使うための使い方Tipsや、開発者が考えていること、活用事例などをまとめていく予定です!

  • microsoft / Guidanceの調査レポ

    microsoft社が公開しているGuidanceについての調査です。Guidanceは従来のプロンプトやチェーンよりも効果的かつ効率的に最新の言語モデルを制御できるOSSです。

記事一覧

固定された記事

Whisper、ChatGPTを活用した、テキスト入力不要な新感覚メモ日記アプリの紹介と、開発における学び

日常生活の中で生まれた「できごと」や「思ったこと」を、楽しく記録できるメモ日記アプリを開発しました! しゃべったら、あとは丸投げして良い感じにメモを残してくれる…

にょす
8か月前
262

にょすです。生成AIなんでも展示会に出展します!

4/21(日)本日、こちらのイベントに出展者として参加してきます! 気合を入れてチラシも作りました!💪 僕は「技術を日常生活の中に溶け込むような体験に落とし込むこと」…

にょす
3週間前
17

Gemini 1.5 Proで文字起こしを試してみた

Gemini 1.5 Proが音声ファイルにも対応したということで、Whisper大好きマンとして、どれほどのものなのかを簡単に調査したいと思います。 利用の仕方Vertex AIから利用が…

にょす
1か月前
12

音声合成モデルStyle-Bert-VITS2をサーバレスアーキテクチャでWeb API化する

夢が詰まっているこちらのリポジトリを、Web APIとして立てて動かすための解説記事です。 この解説記事を書くにあたって、以下の記事を大変参考にしました。ありがとうご…

にょす
1か月前
28

某掲示板風のスレッド生成アプリ「ねらーAI」の今後の開発計画

多くの方に遊んでもらっている「ねらーAI」ですが、現状まだまだ改善点があるので、継続的な開発を通じてより面白いアプリにしていきたいと思っています。 開発宣言をして…

にょす
1か月前
8

Claude3を使った架空AI掲示板アプリ「ねらーAI」を開発しました!

みなさん、Claude 3を使ってますか!? 2024年3月4日でたClaude v3シリーズですが、かなり日本語の性能が高いと話題です。僕自身もこれまではGPT-4を使っていましたが、We…

にょす
1か月前
49

2chスレ生成タスクで、Claude3 Haiku, Sonnet, Opusを比較する

Haiku APIが出たので、どこまでできるのか検証。 2ch風のスレを生成してもらってるのですが、Haiku APIも形式的には生成できそう。ただ実際の中身はどうなのか!?につい…

にょす
1か月前
10

「シャベマル」の英語版をリリース戦略と開発における学び

音声から文字起こしをしてメモを作成できる「シャベマル」の英語版をリリースしました! この記事では英語版を開発するにあたっての学びや、仮説検証として考えていること…

にょす
2か月前
23

推しのプロンプト実験管理ツール「promptfoo」を解説

最近、推したいプロンプト実験管理方法を見つけたので、そちらの紹介記事になります!これを見つけてから、めちゃ楽になりました! 前提「ん?実験管理?」と思う方もいる…

にょす
3か月前
35

OpenAI WhisperAPIのwordレベルでの文字起こしを試したみた

こちらの投稿を見て、少し気になったので試してみました! 公式ドキュメントを読むこちらを参考にしています。 新しく `timestamp_granularities[]` というパラメータが…

にょす
3か月前
8

生成AIによって「既存の仕事は代替されるが、新しい仕事が生まれる」ということに対して

ここについて色々なレポートや本などを読みながら、思考を整理しています。 情報量が膨大な中で、また様々な意見があり、こういった思考を整理する際には「間違っていたと…

にょす
3か月前
4

思考メモ:個人開発者が集う会社の形についての構想

昨日したツイートですが、普段の100倍くらいのインプレッションになったので、結構ニーズはあるんだろうなと思います。 現在の僕には余裕も覚悟もまだないので「じゃあや…

にょす
4か月前
18

好奇心ドリブンに生き、結構良い感じだった2023年。

雑記ですが、2023年は自分の人生にとって、印象的な年になったと思うので、簡単に振り返ってみたいと思います。 娘(第一子)が産まれた今年の5月に産まれたわけですが、…

にょす
4か月前
11

【MLX】Macbookで、Mistral-7b を LoRA チューニングしてみた

MacbookでLoRAチューニングが簡単に実行できる時代になりました。自分のPCが熱を上げて、学習を回している体験は感動ものですね…。 この記事は、以下のリポジトリの LoRA…

にょす
4か月前
15

【MLX】Macbookで、Mistral-7B をローカル環境で実行してみた

Appleシリコンに最適化されたML用ライブラリが出たとのことで、色々試していこうと思います!これまでMacbookだと動かしにくかった色々なものが、サクッと動かせるようにな…

にょす
4か月前
18

【MLX】Macbookで、小規模で高性能なモデル Phi-2 をローカル環境で実行してみた

Appleシリコンに最適化されたML用ライブラリが出たとのことで、色々試していこうと思います!これまでMacbookだと動かしにくかった色々なものが、サクッと動かせるようにな…

にょす
4か月前
9
Whisper、ChatGPTを活用した、テキスト入力不要な新感覚メモ日記アプリの紹介と、開発における学び

Whisper、ChatGPTを活用した、テキスト入力不要な新感覚メモ日記アプリの紹介と、開発における学び

日常生活の中で生まれた「できごと」や「思ったこと」を、楽しく記録できるメモ日記アプリを開発しました!

しゃべったら、あとは丸投げして良い感じにメモを残してくれる「シャべマル」です!(笑)

シャべマルの紹介具体的には、、

音声入力でメモ内容を作成。かなり高精度な音声認識モデル(Whisper)を用いているので、想像以上にちゃんと文字起こししてくれます!

「今日あったこと」など、日記として利用

もっとみる
にょすです。生成AIなんでも展示会に出展します!

にょすです。生成AIなんでも展示会に出展します!

4/21(日)本日、こちらのイベントに出展者として参加してきます!

気合を入れてチラシも作りました!💪

僕は「技術を日常生活の中に溶け込むような体験に落とし込むこと」にハマっており、そのコンセプトを主軸に制作活動をしてきました。今日の展示会ではそれらを展示しようと思っています!

シャべマル:しゃべって丸投げメモアプリ「メモを取るという体験をもっと楽しく、もっと便利にできないか?」そんな思い

もっとみる
Gemini 1.5 Proで文字起こしを試してみた

Gemini 1.5 Proで文字起こしを試してみた

Gemini 1.5 Proが音声ファイルにも対応したということで、Whisper大好きマンとして、どれほどのものなのかを簡単に調査したいと思います。

利用の仕方Vertex AIから利用ができました。Google AI Studioからも利用できるようです。詳細はこちら。

また今回検証する音声は以下のエネルギーに関する部分を利用します。

さっそく文字起こしを試してみるプロンプトによって出力

もっとみる
音声合成モデルStyle-Bert-VITS2をサーバレスアーキテクチャでWeb API化する

音声合成モデルStyle-Bert-VITS2をサーバレスアーキテクチャでWeb API化する

夢が詰まっているこちらのリポジトリを、Web APIとして立てて動かすための解説記事です。

この解説記事を書くにあたって、以下の記事を大変参考にしました。ありがとうございます!ただバージョンの違いがあったのか、これだけでは動かなかったため、補足という形で本記事は情報を補うものとしています。

概要サーバレスで動かすにあたって、今回はRunPod.ioを利用します。こちらでリクエストが来たタイミン

もっとみる
某掲示板風のスレッド生成アプリ「ねらーAI」の今後の開発計画

某掲示板風のスレッド生成アプリ「ねらーAI」の今後の開発計画

多くの方に遊んでもらっている「ねらーAI」ですが、現状まだまだ改善点があるので、継続的な開発を通じてより面白いアプリにしていきたいと思っています。

開発宣言をしておいた方が自分のモチベーションにもつながるので、現在課題として感じていることと、今後の開発計画についてまとめていきます。

今後の開発計画以下の優先度で対応していこうと思っています。

スレッドの内容の面白さを向上

続き生成の指示がよ

もっとみる
Claude3を使った架空AI掲示板アプリ「ねらーAI」を開発しました!

Claude3を使った架空AI掲示板アプリ「ねらーAI」を開発しました!

みなさん、Claude 3を使ってますか!?

2024年3月4日でたClaude v3シリーズですが、かなり日本語の性能が高いと話題です。僕自身もこれまではGPT-4を使っていましたが、Web版に関しては完全にClaudeに乗り換えてしまったくらい、使い勝手が良いです!

さてTwitter界隈では、みなさんがClaude 3の使い方を模索していた訳ですが、中でも面白い使い方として盛り上がってい

もっとみる
2chスレ生成タスクで、Claude3 Haiku, Sonnet, Opusを比較する

2chスレ生成タスクで、Claude3 Haiku, Sonnet, Opusを比較する

Haiku APIが出たので、どこまでできるのか検証。

2ch風のスレを生成してもらってるのですが、Haiku APIも形式的には生成できそう。ただ実際の中身はどうなのか!?について検証してみます!

プロンプトHaiku APIに合わせて、ある程度ちゃんとそれっぽいスレを生成してくれるようなプロンプトを作りました!こちらを使って、それぞれのモデルで試してみます!

あなたは2chスレッド風のユ

もっとみる
「シャベマル」の英語版をリリース戦略と開発における学び

「シャベマル」の英語版をリリース戦略と開発における学び

音声から文字起こしをしてメモを作成できる「シャベマル」の英語版をリリースしました!

この記事では英語版を開発するにあたっての学びや、仮説検証として考えていることなどをまとめていきたいと思います!

現在Product Huntに挑戦中です!💪

なぜ英語版を開発しようと思ったのかシャベマルは、音声でさくっとメモをすることができるメモアプリです。

高精度な音声認識(文字起こし)の機能と、文字起

もっとみる
推しのプロンプト実験管理ツール「promptfoo」を解説

推しのプロンプト実験管理ツール「promptfoo」を解説

最近、推したいプロンプト実験管理方法を見つけたので、そちらの紹介記事になります!これを見つけてから、めちゃ楽になりました!

前提「ん?実験管理?」と思う方もいるかもなので、軽く背景のところから共有したいのですが、システムに組み込むプロンプト作りは、すごい難易度が高いなーと思ってます。

何が大変かというと、求められる品質が高いからです!

出力形式が期待通りでないとシステムエラーになってしまう。

もっとみる
OpenAI WhisperAPIのwordレベルでの文字起こしを試したみた

OpenAI WhisperAPIのwordレベルでの文字起こしを試したみた

こちらの投稿を見て、少し気になったので試してみました!

公式ドキュメントを読むこちらを参考にしています。

新しく `timestamp_granularities[]` というパラメータが追加されたようです(多分前は無かったはず)。ここで word と指定すると文字レベルで分割された文字起こし結果が出力されます。

また `response_format` を verbose_json にする

もっとみる

生成AIによって「既存の仕事は代替されるが、新しい仕事が生まれる」ということに対して

ここについて色々なレポートや本などを読みながら、思考を整理しています。

情報量が膨大な中で、また様々な意見があり、こういった思考を整理する際には「間違っていたとしても、あえて自分はこうだと思う」というスタンスを取ることが理解を深めるのに大事なステップだと思っているので、

忘れないように、2024年1月時点での、自分の考えのスタンスをまとめていきます。

スタンスChatGPTをはじめとした、生

もっとみる

思考メモ:個人開発者が集う会社の形についての構想

昨日したツイートですが、普段の100倍くらいのインプレッションになったので、結構ニーズはあるんだろうなと思います。

現在の僕には余裕も覚悟もまだないので「じゃあやるか!」みたいにはならないのですが、この事について寝ている間も思考だけはすごい働いたので、未来の自分か、同じようなことを考えている人にとっての参考になればと思い、思考をつらつらとまとめていきます。

※経営も法律も素人なので、完全な妄想

もっとみる
好奇心ドリブンに生き、結構良い感じだった2023年。

好奇心ドリブンに生き、結構良い感じだった2023年。

雑記ですが、2023年は自分の人生にとって、印象的な年になったと思うので、簡単に振り返ってみたいと思います。

娘(第一子)が産まれた今年の5月に産まれたわけですが、生活スタイルと、自分の思考・価値観といったものが変わりました。色々大変なことはもちろんあったのですが、一方で、

娯楽に溺れなくなった(育児により、そんな時間がない)

短期よりも長期(20年後の娘が成人になった頃)の思考で物事を考え

もっとみる
【MLX】Macbookで、Mistral-7b を LoRA チューニングしてみた

【MLX】Macbookで、Mistral-7b を LoRA チューニングしてみた

MacbookでLoRAチューニングが簡単に実行できる時代になりました。自分のPCが熱を上げて、学習を回している体験は感動ものですね…。

この記事は、以下のリポジトリの LoRA に関するサンプルコードを参考にしています。結構簡単ですので、Macbookで LoRA チューニングしてみたい方は、ぜひ最後まで読んでみてください。

この記事で紹介することMLXによる LoRA チューニングの実行の

もっとみる
【MLX】Macbookで、Mistral-7B をローカル環境で実行してみた

【MLX】Macbookで、Mistral-7B をローカル環境で実行してみた

Appleシリコンに最適化されたML用ライブラリが出たとのことで、色々試していこうと思います!これまでMacbookだと動かしにくかった色々なものが、サクッと動かせるようになっていて感動してます。

今回は Mistral-7B を、MLXを使ってローカルGUIで実行する方法についてまとめていきます。

この記事で紹介することMLXによる Mistral-7b の動かし方

GUIで Mistra

もっとみる
【MLX】Macbookで、小規模で高性能なモデル Phi-2 をローカル環境で実行してみた

【MLX】Macbookで、小規模で高性能なモデル Phi-2 をローカル環境で実行してみた

Appleシリコンに最適化されたML用ライブラリが出たとのことで、色々試していこうと思います!これまでMacbookだと動かしにくかった色々なものが、サクッと動かせるようになっていて感動してます。

今回はマイクロソフト社が出した、2.7bで高性能な小規模言語モデル Phi-2 を、MLXを使ってローカル環境で実行する方法についてまとめていきます。

Phi-2についての詳細はこちら

この記事で

もっとみる