にょす

にょすです。LLMを使ったアプリケーション開発に熱中してます。音声メモ日記アプリ「シャ…

にょす

にょすです。LLMを使ったアプリケーション開発に熱中してます。音声メモ日記アプリ「シャべマル」を運営してます。

  • 「シャべマル」マガジン✉️

    音声メモ日記アプリ「シャべマル」の記事をまとめたマガジンです。快適に使うための使い方Tipsや、開発者が考えていること、活用事例などをまとめていく予定です！

  • microsoft / Guidanceの調査レポ

    microsoft社が公開しているGuidanceについての調査です。Guidanceは従来のプロンプトやチェーンよりも効果的かつ効率的に最新の言語モデルを制御できるOSSです。

  • 固定された記事

Whisper、ChatGPTを活用した、テキスト入力不要な新感覚メモ日記アプリの紹介と、開発における学び

日常生活の中で生まれた「できごと」や「思ったこと」を、楽しく記録できるメモ日記アプリを開発しました！ しゃべったら、あとは丸投げして良い感じにメモを残してくれる「シャべマル」です！（笑） シャべマルの紹介具体的には、、 音声入力でメモ内容を作成。かなり高精度な音声認識モデル（Whisper）を用いているので、想像以上にちゃんと文字起こししてくれます！ 「今日あったこと」など、日記として利用するのもオススメです。1日を振り返る機会になって、それが後から振り返りできるので

にょす

    • にょすです。生成AIなんでも展示会に出展します！

      4/21(日)本日、こちらのイベントに出展者として参加してきます！ 気合を入れてチラシも作りました！💪 僕は「技術を日常生活の中に溶け込むような体験に落とし込むこと」にハマっており、そのコンセプトを主軸に制作活動をしてきました。今日の展示会ではそれらを展示しようと思っています！ シャべマル：しゃべって丸投げメモアプリ「メモを取るという体験をもっと楽しく、もっと便利にできないか？」そんな思いからこのアプリの開発を始めました。 まず着目したのが、音声入力です。手書きやキー

      にょす

      • Gemini 1.5 Proで文字起こしを試してみた

        Gemini 1.5 Proが音声ファイルにも対応したということで、Whisper大好きマンとして、どれほどのものなのかを簡単に調査したいと思います。 利用の仕方Vertex AIから利用ができました。Google AI Studioからも利用できるようです。詳細はこちら。 また今回検証する音声は以下のエネルギーに関する部分を利用します。 さっそく文字起こしを試してみるプロンプトによって出力結果に大きく影響がする感じがあります。まずは捻りのない感じでストレートなプロンプ

        にょす

        • 音声合成モデルStyle-Bert-VITS2をサーバレスアーキテクチャでWeb API化する

          夢が詰まっているこちらのリポジトリを、Web APIとして立てて動かすための解説記事です。 この解説記事を書くにあたって、以下の記事を大変参考にしました。ありがとうございます！ただバージョンの違いがあったのか、これだけでは動かなかったため、補足という形で本記事は情報を補うものとしています。 概要サーバレスで動かすにあたって、今回はRunPod.ioを利用します。こちらでリクエストが来たタイミングでコンテナを立ち上げて、レスポンスを返すAPIを作ろうと思います。 また常時

          にょす
        • 固定された記事

        Whisper、ChatGPTを活用した、テキスト入力不要な新感覚メモ日記アプリの紹介と、開発における学び

        にょす

        マガジン

        • 「シャべマル」マガジン✉️
          3本
        • microsoft / Guidanceの調査レポ
          8本

        記事

          某掲示板風のスレッド生成アプリ「ねらーAI」の今後の開発計画

          多くの方に遊んでもらっている「ねらーAI」ですが、現状まだまだ改善点があるので、継続的な開発を通じてより面白いアプリにしていきたいと思っています。 開発宣言をしておいた方が自分のモチベーションにもつながるので、現在課題として感じていることと、今後の開発計画についてまとめていきます。 今後の開発計画以下の優先度で対応していこうと思っています。 スレッドの内容の面白さを向上 続き生成の指示がより効くように 他ユーザーとの交流設計 面白いスレッドを見つけやすくする 内

          にょす

          某掲示板風のスレッド生成アプリ「ねらーAI」の今後の開発計画

          にょす

          Claude3を使った架空AI掲示板アプリ「ねらーAI」を開発しました！

          みなさん、Claude 3を使ってますか！？ 2024年3月4日でたClaude v3シリーズですが、かなり日本語の性能が高いと話題です。僕自身もこれまではGPT-4を使っていましたが、Web版に関しては完全にClaudeに乗り換えてしまったくらい、使い勝手が良いです！ さてTwitter界隈では、みなさんがClaude 3の使い方を模索していた訳ですが、中でも面白い使い方として盛り上がっていたのがこちらです。 （saipさんの投稿、いつもすごい好きです） というわけ

          にょす

          Claude3を使った架空AI掲示板アプリ「ねらーAI」を開発しました！

          にょす

          2chスレ生成タスクで、Claude3 Haiku, Sonnet, Opusを比較する

          Haiku APIが出たので、どこまでできるのか検証。 2ch風のスレを生成してもらってるのですが、Haiku APIも形式的には生成できそう。ただ実際の中身はどうなのか！？について検証してみます！ プロンプトHaiku APIに合わせて、ある程度ちゃんとそれっぽいスレを生成してくれるようなプロンプトを作りました！こちらを使って、それぞれのモデルで試してみます！ あなたは2chスレッド風のユーモアあふれる議論のスレッドを生成します。ユーザーから与えられたタイトルを元に、

          にょす

          2chスレ生成タスクで、Claude3 Haiku, Sonnet, Opusを比較する

          にょす

          「シャベマル」の英語版をリリース戦略と開発における学び

          音声から文字起こしをしてメモを作成できる「シャベマル」の英語版をリリースしました！ この記事では英語版を開発するにあたっての学びや、仮説検証として考えていることなどをまとめていきたいと思います！ 現在Product Huntに挑戦中です！💪 なぜ英語版を開発しようと思ったのかシャベマルは、音声でさくっとメモをすることができるメモアプリです。 高精度な音声認識（文字起こし）の機能と、文字起こし内容に対してタイトルや絵文字、カテゴリ分類などが自動で行うことで、ストレスフリ

          にょす

          「シャベマル」の英語版をリリース戦略と開発における学び

          にょす

          推しのプロンプト実験管理ツール「promptfoo」を解説

          最近、推したいプロンプト実験管理方法を見つけたので、そちらの紹介記事になります！これを見つけてから、めちゃ楽になりました！ 前提「ん？実験管理？」と思う方もいるかもなので、軽く背景のところから共有したいのですが、システムに組み込むプロンプト作りは、すごい難易度が高いなーと思ってます。 何が大変かというと、求められる品質が高いからです！ 出力形式が期待通りでないとシステムエラーになってしまう。10回中9回成功しても、それはエラー率10%なので安定とは言えない。 様々な要

          にょす

          推しのプロンプト実験管理ツール「promptfoo」を解説

          にょす

          OpenAI WhisperAPIのwordレベルでの文字起こしを試したみた

          こちらの投稿を見て、少し気になったので試してみました！ 公式ドキュメントを読むこちらを参考にしています。 新しく `timestamp_granularities[]` というパラメータが追加されたようです（多分前は無かったはず）。ここで word と指定すると文字レベルで分割された文字起こし結果が出力されます。 また `response_format` を verbose_json にする必要もありそうです。 流石OpenAIといった感じで、ドキュメントの右側にリク

          にょす

          OpenAI WhisperAPIのwordレベルでの文字起こしを試したみた

          にょす

          生成AIによって「既存の仕事は代替されるが、新しい仕事が生まれる」ということに対して

          ここについて色々なレポートや本などを読みながら、思考を整理しています。 情報量が膨大な中で、また様々な意見があり、こういった思考を整理する際には「間違っていたとしても、あえて自分はこうだと思う」というスタンスを取ることが理解を深めるのに大事なステップだと思っているので、 忘れないように、2024年1月時点での、自分の考えのスタンスをまとめていきます。 スタンスChatGPTをはじめとした、生成AIの技術によって仕事は徐々に補完されていき、そこからさらなる技術的なブレイク

          にょす

          生成AIによって「既存の仕事は代替されるが、新しい仕事が生まれる」ということに対して

          にょす

          思考メモ：個人開発者が集う会社の形についての構想

          昨日したツイートですが、普段の100倍くらいのインプレッションになったので、結構ニーズはあるんだろうなと思います。 現在の僕には余裕も覚悟もまだないので「じゃあやるか！」みたいにはならないのですが、この事について寝ている間も思考だけはすごい働いたので、未来の自分か、同じようなことを考えている人にとっての参考になればと思い、思考をつらつらとまとめていきます。 ※経営も法律も素人なので、完全な妄想です この思考のきっかけ（前提）やっぱり個人開発って楽しいんですよ。僕にとって

          にょす

          思考メモ：個人開発者が集う会社の形についての構想

          にょす

          好奇心ドリブンに生き、結構良い感じだった2023年。

          雑記ですが、2023年は自分の人生にとって、印象的な年になったと思うので、簡単に振り返ってみたいと思います。 娘（第一子）が産まれた今年の5月に産まれたわけですが、生活スタイルと、自分の思考・価値観といったものが変わりました。色々大変なことはもちろんあったのですが、一方で、 娯楽に溺れなくなった（育児により、そんな時間がない） 短期よりも長期（20年後の娘が成人になった頃）の思考で物事を考えるようになった ここら辺が面白い変化でした。 育児により学習に投下できる時間

          にょす

          好奇心ドリブンに生き、結構良い感じだった2023年。

          にょす

          【MLX】Macbookで、Mistral-7b を LoRA チューニングしてみた

          MacbookでLoRAチューニングが簡単に実行できる時代になりました。自分のPCが熱を上げて、学習を回している体験は感動ものですね…。 この記事は、以下のリポジトリの LoRA に関するサンプルコードを参考にしています。結構簡単ですので、Macbookで LoRA チューニングしてみたい方は、ぜひ最後まで読んでみてください。 この記事で紹介することMLXによる LoRA チューニングの実行の仕方（Mistral-7bで試します） カスタムデータによる LoRA チュー

          にょす

          【MLX】Macbookで、Mistral-7b を LoRA チューニングしてみた

          にょす

          【MLX】Macbookで、Mistral-7B をローカル環境で実行してみた

          Appleシリコンに最適化されたML用ライブラリが出たとのことで、色々試していこうと思います！これまでMacbookだと動かしにくかった色々なものが、サクッと動かせるようになっていて感動してます。 今回は Mistral-7B を、MLXを使ってローカルGUIで実行する方法についてまとめていきます。 この記事で紹介することMLXによる Mistral-7b の動かし方 GUIで Mistral-7b を遊ぶ方法 記事へのラベル付けができるか検証 前提：動作環境Mac

          にょす

          【MLX】Macbookで、Mistral-7B をローカル環境で実行してみた

          にょす

          【MLX】Macbookで、小規模で高性能なモデル Phi-2 をローカル環境で実行してみた

          Appleシリコンに最適化されたML用ライブラリが出たとのことで、色々試していこうと思います！これまでMacbookだと動かしにくかった色々なものが、サクッと動かせるようになっていて感動してます。 今回はマイクロソフト社が出した、2.7bで高性能な小規模言語モデル Phi-2 を、MLXを使ってローカル環境で実行する方法についてまとめていきます。 Phi-2についての詳細はこちら この記事で紹介することMLXによる Macbook 環境での Phi-2 の動かし方 m

          にょす

          【MLX】Macbookで、小規模で高性能なモデル Phi-2 をローカル環境で実行してみた

          にょす