*nao*

システム開発者 兼 大学講師。AI、ノートテイク、要約筆記、音声認識、字幕、マイコン、…

*nao*

システム開発者 兼 大学講師。AI、ノートテイク、要約筆記、音声認識、字幕、マイコン、地域協働、ももいろクローバーZに関心あり。

  • 気になるシリーズ

  • 字幕・音声認識関連

    ノートテイク、音声認識、文字通訳など、文字で音声を伝える関連の記事です。

  • 考えてみたシリーズ

    ノートの中で、考えたり、まとめたりしてみたものを　マガジンにしてみました。

  • マイコンやってみたシリーズ

  • フォト共有（β）にアップしたくていれてみたシリーズ

Warudoとわんコメを繋いで遊ぶ

今流行りのWarudoとわんコメを繋いで遊んでみましょう WarudoとはWarudoは、バーチャル配信者向けツールです。 アバターを表示したり、体の動きとシンクロさせたり、動きをプログラムさせたりできます。 似ているジャンルのソフトウェアには、VNyan、VTube Studio などがあります。Warudoは、それらのプログラムにくらべて、プログラミング機能が豊富だったり、連携できるツールがめちゃんこ多いです。 今後いろんな表現をしていきたい方におすすめできるんじゃ

*nao*

    • Firebotでシャウトアウトする

      Firebotというツールを知っていますか？ Twitchでの配信をサポートする統合管理ツールです。 たとえば、どんな視聴者がきてくれていたか、とか、ゲームが出来たりとか、あるいはチャットを返答したり・・・・いろんなことができます。 日本語版が出来ました元々海外で成長しているツールですが、こじプロメンバーの砂糖うさぎさんが「これ、日本語になったらいいのになぁ」と言ったところから、この日本語化プロジェクトは始まりました。 いまは、ベータ版ということで日本語表記以外にも、日

      *nao*

      • ５年かけて、ももクロちゃんとの夢を形にした話

        始めにこの話は… 周りの人に話したら「まぁ、夢としてはそうだけど、かなりハードルたかいっしょ。まず実現しないね」と言われながらも、いろいろ模索しながら、みんなの力を集結して形にできたというお話。 お断り 興行に関する守秘義務事項、ネタバレなどは書きません。連絡されてもお伝えはできないのでご了承ください タイトルは、会場でとったすそノフ写真に４色背景を合成したものです。 実行委員のひとりが書いたことですが、こちらに書かれていることは主催者、他の実行委員、市の意向・総意

        *nao*

        • リアルタイム翻訳字幕の特性と向き合い方

          序章ゆかりねっとコネクターという音声認識型の翻訳システムをつくっています。５００人以上の方に支援をしていただきながら３年以上運用を続けています。 認知が広がるにつれ、製作者側が驚くような素晴らしい使い方もあれば、「もっと使い方の工夫ができればもっとよくなるのに…」もあります。 たまに「つかえねーよ、こんなもん」と直接連絡をくださる方もいますが、まぁ、それも１つの個人の感想でしょう。そこを含め、いろいろかきつづってみます。 前提として（意訳も含めた）完ぺきは翻訳を望むなら

          *nao*

        Warudoとわんコメを繋いで遊ぶ

        *nao*

        マガジン

        • 気になるシリーズ
          1本
        • 考えてみたシリーズ
          13本
        • 字幕・音声認識関連
          48本
        • マイコンやってみたシリーズ
          4本
        • フォト共有（β）にアップしたくていれてみたシリーズ
          5本

        記事

          VRChat + OSC + ゆかりねっと(or Neo)

          ゆかりねっとの音声認識結果をもとに、OSC通信を送付することができるようになりました。 OSC通信とは 簡単にいえば、アバターやワールドとやり取りできる仕組みみたいなものです。これをうまくつかうと、アバターの衣装を切り替えたり、仕掛けを発動したりできます。 ゆかりねっとと連動させる 音声認識させているゆかりねっと（もしくは、ゆかりねっとコネクターNeo）と連動させることで、ワールドに信号をおくることができます。 ただし、信号をおくっても、ワールドやアバターが反応する

          *nao*

          VRChat + OSC + ゆかりねっと(or Neo)

          *nao*

          配信画面にみんなでお絵描きしよう

          新しいWebアプリを作りました。その名を「おえかきワルキューレ」っていいます。 何ができるの？まぁ、まずはこれ見てみてください。これですべてわかります。 右が、視聴者サイドのキャンバスです。で、絵を描くと、右の配信画面に反映されます。特徴としては、 ・複数人で１つのキャンバスに寄ってたかって描くことができます。 　（そしてリアルタイムに反映されていきます） ・配信側はグリーンバックになっていますが、 　絵を描く方は白もしくは黒背景で絵を描くことが出来ます。 ・スタンプな

          *nao*

          配信画面にみんなでお絵描きしよう

          *nao*

          OBSでリプレイを簡単に

          この休みに、配信アシストアプリ「テロップアシスタント」のレベルアップをしました。 リプレイって何？良く野球の試合で見るアレです。ホームラン打ったあとに「では、もう一度みてみましょう」みたいな。あれを簡単にやろうというわけです。 テロップアシスタントとはOBSとつないで配信操作のお手伝いを行うWindowsアプリです。 これを入れると？ こんなボタンがでます。これをメインに操作していきます。もちろん、STREAM DECKみたいな配信リモコンや、フットコントローラみたい

          *nao*

          OBSでリプレイを簡単に

          *nao*

          MUSIC VKET2×くらげビート7訪問記

          VRワールドで行われている音楽の祭典に行ってきました。結論は「初心者でも十分たのしめるから、躊躇するぐらいなら飛び込め！」って感じです。 事前準備はしっかりできた方がいいけど、これは人生変えるほどの体験ができるかもしれないから、こういうのは行動あるのみ！だと思った。 そんな私の体験記です。 くらげビートって何？くらげビートとは、VRワールドの中で行われているミュージックライブです。 回を重ねるごとにレベルがあがっていくライブですが、＃７まで進みました。過去には「バーチ

          *nao*

          MUSIC VKET2×くらげビート7訪問記

          *nao*

          新アプリ「テロップアシスタント」とは

          テロップアシスタントって何？イメージとしては、配信ソフト「OBS Studio」などと合わせて使う「リモコンアプリ」みたいなもので、OBSの外から表示内容を書き換えられるツールです。 これ使うと何がうれしいの？たとえば、5人の選手が順番にでる配信をやるとしましょう。その場合、名前を埋め込んだレイアウトを５つ作るわけですよね。まぁ、5個ぐらいなら　何とか作れるかもしれませんが、これが毎回増えてきたら大変ですよね。 そして、レイアウトを1枚弄るとしたら、残りの4枚も同じように

          *nao*

          新アプリ「テロップアシスタント」とは

          *nao*

          2周年記念！イベントのおしらせ

          ゆかりねっとコネクターが支援運用をはじめて、もうすぐ２年になります。 こんな暗い世の中だけど、もっと楽しく明るくしたいなぁ、なんていうのもあり、ちょっとイベントをしてみようとおもいます。 イベント概要ゆかりねっとコネクターをつかった動画をコメント付きでツイートしてください。 ＜参加条件＞ 　・ゆかりねっとコネクターをつかっていること 　・ツイートに動画のリンクが載っていること 　　（クリップや、Youtube/TwitchのアーカイブでもOK） 　・ハッシュタグ ：下記

          *nao*

          2周年記念！イベントのおしらせ

          *nao*

          調整について。

          たまにツールを使ってくれている情報を得ると、唐突にみたりするんだけど、いろいろためしてくれた動画をみつけたので、今日は設定に関するコメントを返してみようと思う。 ほんと、ゆかりねっとコネクターをつかってもらえてうれしかったです。 設定についてのコメント たくさんしゃべると文字が上に行っちゃう件。まず文字が伸びてきたときにどちら側に文字をスライドしていくか。 ここにチェックをいれると、上に伸びていきます。チェックを外すと、下に伸びていきます。まずスクロールアウトするのが

          *nao*

          調整について。

          *nao*

          デジタル・トランスフォーメーション(DX)

          いわゆる全体最適のようなもの。「デジタルやITをはじめ、いろんな手段をつかいながら、より良いありたい姿へシフトする」 その昔、ドラッカーが「労働集約型から、知的労働型へ」というのにも、トランスフォーメーションの雰囲気を感じる。 全体最適といえば、それぞれのセクションだけで「最適な方法を取り入れよう」みたいな、部分最適の塊みたいなことをやっても、結局うまくいかないんだろう。 あと、DXするためには理念・信条・ポリシーってのも大事なんだろうね。最初からこの辺りに自信があれば

          *nao*

          デジタル・トランスフォーメーション(DX)

          *nao*

          無料翻訳が不調な件について

          ここ最近、ゆかりねっとコネクターに限らず、翻訳を支援するプログラム（チャットボット、TwiChaDash、翻訳○○…）が調子悪いという話がありますよね。 それはなぜか？ 無料翻訳は、韓国のオープンソースプログラマーが開発したgoogletransというpyhtonのライブラリを使って実現しています。 このライブラリは、おそらくGoogleのHPにある翻訳システムを活用して翻訳文を得られるようなシステムです。(プログラムの詳細を読んでいないので何とも言えませんが、たぶんそ

          *nao*

          無料翻訳が不調な件について

          *nao*

          私はなぜ配信をみるのか？

          家に居る人が増えてなのか…ゲーム実況をはじめとした配信が増えてます。まぁ、きっかけがなければ、進んで見に行こうとはならないかもしれませんね。でも、あえて一歩踏み込んでみると人生観が変わる、というお話。 １．配信といえば…メジャーなところでいけば、Youtuber、Vtuber みたいなところですかね。 Youtubeだと、割とテーマを決めた配信をしていたり、もう有名どころの人も多いですね。 日本ではまだまだ有名ではありませんが、ゲームを中心とした動画配信プラットフォームと

          *nao*

          私はなぜ配信をみるのか？

          *nao*

          ライブ動画に字幕を入れる（改）

          ゆかりねっとコネクターをつかって、配信動画にリアルタイム字幕をいれるための手法を改めて解説します。増えた機能をメインに紹介しますね。 ※情報に整合が取れてない、とご連絡をいただいたので加筆しました。 　下記の内容は、v3.2a36 を基準にしてます。　(9/17 PM 8) １．簡単なのは、ウィンドウキャプチャ― だいたいどんな配信ソフトでも使えるのが、ウィンドウキャプチャ―機能でしょう。これは簡単。背反は負荷が少しかかるのと、文字がすこしぼやける点でしょうか。 ２．

          *nao*

          ライブ動画に字幕を入れる（改）

          *nao*

          画面翻訳をつかう

          このnoteは、ゆかりねっとコネクターの画面翻訳機能をどのようにつかうか、解説したものです。 １．画面翻訳機能とは画面の上にある他国語を翻訳するための機能です。ゲームなどで使えると思いますが、うまく画面スキャンが行えない場合には使えないかもしれません。 ２．事前準備まずは、ゆかりねっとコネクターをいれてください。 そうすると、このような画面がでます。 現時点での仕様では、このような手順で使用できる様になっています。 ①読み取る場所をきめて、設定しておく。 ②読み取って

          *nao*

          画面翻訳をつかう

          *nao*