ウチダマサトシ

大規模言語モデル(LLM) / 画像生成AI / DaVinci Resolveのメモ…

ウチダマサトシ

大規模言語モデル(LLM) / 画像生成AI / DaVinci Resolveのメモ / ギターや音楽関連のメモ

  • DaVinci Resolve入門

    DaVinci Resolve関連のノートをまとめました

Unityの新規プロジェクトを作ったときフォルダ構成を作るbashスクリプト

いつもUnityプロジェクトを作ると、"Unityフォルダ構成のルールについて"を参考に手作業でフォルダを作ってたけど、この作業自動化できるなと気が付き、bashスクリプト作った。 GPT-4で出力したbashを微修正。 MacOSで、Unityプロジェクトのルートに置いて chmod +x create_unity_assets_dirs.sh./create_unity_assets_dirs.sh で実行。

ウチダマサトシ

    • 大規模言語モデルのフルスクラッチ作成の予習〜データセット取得、クリーニングまで〜

      東京大学松尾研究室から、LLMスクラッチ作成のための雛形となるリポジトリが公開されています。 これを使ってデータセットの取得、クリーニングまでを試してみました。 実行環境はMacOS(M2 MBP)です。 GPUが入ってる学習可能なマシンが今ないので、とりあえず手持ちのMacで予習しておきます。 データ収集加工手順のREADMEを元に作業してみました。 リポジトリ取得git clone https://github.com/matsuolab/ucllm_nedo_pr

      ウチダマサトシ

      • 巨大なプログラミング言語データセットThe Stackを少しだけ読み込んで表示するPythonコード

        データセットthe-stackは、358のプログラミング言語をカバーする、6TBを超える寛容にライセンスされたソースコード・ファイルが含まれています。 全体をダウンロードすると、時間もかかりハードディスク容量も消費が激しいので、ストリーミングで少し読み込んで、中を見て動作を確認する程度のコードを書きました。 実行結果 % python3 the_stack_load.pyResolving data files: 100%|███████████████████████

        ウチダマサトシ

        • Gemmaを実行するためのGoogle Colaboratoryノートブック

          gemma-7b-itを動かすノートブックです。 基本npakaさんの下記エントリー参照に、プロンプト以外は記述内容ほぼそのままですが[Open in Colab]ボタンを押せばすぐ開けますよ。 というメリットから掲載しておきます。 Google Colab の ランタイムタイプの変更 -> T4 GPU を選択。 Google Colabの無料版でも動作しました。 モデルカードのページを開き、HuggingFaceにログインし、「Acknowledge licens

          ウチダマサトシ

        Unityの新規プロジェクトを作ったときフォルダ構成を作るbashスクリプト

        ウチダマサトシ

        マガジン

        • DaVinci Resolve入門
          5本

        記事

          日本語大規模言語モデルの学習でよく使われているデータセットmC4を確認してみる

          主要な日本語大規模言語モデルの学習でよく使われているデータセットmc4。 これをダウンロードして確認してみました。 mC4とはデータセットを読み込むソースコード読み込みのコア部分は次の１行だけ。 dataset = load_dataset('mc4', 'ja', cache_dir="/Volumes/DataSets/DataSets", split='train') ダウンロード時間約9時間 データ容量2024-02-18にダウンロードしたデータです。 do

          ウチダマサトシ

          日本語大規模言語モデルの学習でよく使われているデータセットmC4を確認してみる

          ウチダマサトシ

          Hugging FaceのWikipedia英語データセットの比較

          Hugging Faceにある次の２つのWikipediaデータセットで英語のWikipediaデータを読み込み比較します。 結論としては、graelo/wikipediaのほうがデータが新しくてデータ数が多いので良さそうです。 データセットを読み込むコードコア部分は次の２行 # データセットの保存先を外付けハードディスクにしているのでchache_dirを指定# wikipediaデータセットよりenダウンロード。25分くらいかかったwiki_en = load_dat

          ウチダマサトシ

          Hugging FaceのWikipedia英語データセットの比較

          ウチダマサトシ

          Wikipedia日本語データセットの読み込み

          日本語LLMの学習にWikipediaの日本語データセットがよく使われているので、使い方を調べてみました。 データセットgraelo/wikipediaを使用Hugging Faceにあるwikipediaデータセットは、なぜか日本語データセットがうまく読めませんでした。 graelo/wikipediaデータセットでは、日本語データセットが読めたので、こちらで確認しました。 データセットを読み込むソースコード長々書いてますがコア部分は次の１行だけ。 # データセットの

          ウチダマサトシ

          Wikipedia日本語データセットの読み込み

          ウチダマサトシ

          フルスクラッチ事前学習の日本語大規模言語モデルで使われているデータセット

          主だったところで LLM-jp-13B weblab-10b PLaMo-13B Stockmark-13b Japanese StabeleLM Alpha の5種類で使われているデータセットについて、まとめました。 とりあえず、mc4とwikipediaはだいたい使われてるようですね。 疑問点wikipediaの日本語データつかってるという記述が、ちょいちょい見られがHugging Faceのwikipediaデータセットには日本語がないっぽい。 wikip

          ウチダマサトシ

          フルスクラッチ事前学習の日本語大規模言語モデルで使われているデータセット

          ウチダマサトシ

          【ComfyUI】人物の背景消し３種類を比較するワークフロー

          ComfyUIで人物の背景を消すノード３種類を比較するワークフローを作成しました。 アニメ系、実写系の２つのモデルで画像生成します。 ワークフローCustom Node BRIA RMBG Image Remove Background(rembg) Remove Image Background(abg) の３種類の背景消しが入っています。 BRIA RMBGを使ってみたところ、BRIA_RMBG Model Loaderで次のエラーが出ました。 FileNo

          ウチダマサトシ

          【ComfyUI】人物の背景消し３種類を比較するワークフロー

          ウチダマサトシ

          【ComfyUI】人物の背景を消す

          結果から書くと「実写系の人物はまぁまぁキレイに消せるけどイラスト系は微妙」です。 イラスト系は後述のコマンドラインから背景削除がベターかと思われます。 ワークフロー通常のt2iの画像生成のあとにImage Remove Background(rembg)のカスタムノードが入っています。 rembgのComfyUIへのインストール Manager -> Install Custom Nodes から検索ボックスに"rembg"で表示されるモノをインストール。 ここでは、

          ウチダマサトシ

          【ComfyUI】人物の背景を消す

          ウチダマサトシ

          【ComfyUI】動画の髪色を変える

          全体の構造としては 髪部分のマスクを作成(BatchCLIPSegにプロンプトで"hair"を指定) 色を変えた髪を生成（プロンプトで"(pink hair:1.3)"を指定。KSamplerのdenoise値でi2iのミックス具合を指定） 合成 という流れです。 使用モデル ComfyUIの起動用のjupyter notebookにモデルダウンロードを追加します。 画像生成モデルは実写系のICBINP - "I Can't Believe It's Not Pho

          ウチダマサトシ

          【ComfyUI】動画の髪色を変える

          ウチダマサトシ

          【ComfyUI】動画からDensePose動画を作成

          動画からMagic Animateで使用できるモーション動画が作成できます。 変換元の動画はコチラ。 ワークフロー元の動画が1080P(1920x1080)解像度で、その動画の中心を1080x1080でまず切り出して、それを512x512にリサイズ。 その画像に対してDensePose EstimatorがDensePose画像に変換をかけてます。 参考https://www.pexels.com/ja-jp/video/3873100/

          ウチダマサトシ

          【ComfyUI】動画からDensePose動画を作成

          ウチダマサトシ

          【ComfyUI】イラストをラインアートに変換して塗り直す【SD1.5】

          SD1.5用のLineArtモデルのダウンロードSD1.5用のControlNetモデルが配布されています。 この中から、今回はcontrol_v11p_sd15s2_lineart_anime.pthを使用します。 ComfyUIの起動スクリプトにモデルダウンロードを追加 ComfyUIの起動用のjupyter notebookにモデルダウンロードを追加します !wget -c https://huggingface.co/lllyasviel/ControlNet

          ウチダマサトシ

          【ComfyUI】イラストをラインアートに変換して塗り直す【SD1.5】

          ウチダマサトシ

          【ComfyUI】絵をラインアートに変換してAnimagineXLで塗り直す【SDXL】

          SDXLベースのモデルであるAnimagine XLではLineArtなどのControl NetモデルもSDXL用のモノを使う必要があります。 SDXL用のLineArtモデルのダウンロードSDXL用のLineArtモデルが配布されています。 この中からt2i-adapter_diffusers_xl_lineart.safetensorsをダウンロードして使用します。 ComfyUIの起動スクリプトにモデルダウンロードを追加 ComfyUIの起動用のjupyter

          ウチダマサトシ

          【ComfyUI】絵をラインアートに変換してAnimagineXLで塗り直す【SDXL】

          ウチダマサトシ

          【ComfyUI】人物のポーズと線画を動画に描画

          動画保存のシンプルサンプル兼ねて作成してみました。 ワークフローLoad Videoで動画を読み込んで、ポース、ラインアート化。 ImageBlendで１枚の画像に合成し直して、Video Combineで保存。 参考https://www.pexels.com/ja-jp/video/3709513/ ↑ LoadVideo, Video Combine Node

          ウチダマサトシ

          【ComfyUI】人物のポーズと線画を動画に描画

          ウチダマサトシ

          【ComfyUI】シンプルなimg2imgと手作業でマスクを設定してのinpaint

          img2imgのワークフロープロンプトに(blond hair:1.1), 1girlで生成。 黒髪女性の画像がブロンド女性に変更される。 画像全体に対してi2iをかけてるので人物が変更されている。 手作業でマスクを設定してのi2i黒髪女性の画像の目の部分を修正して、目を閉じた写真に変更してみます。 マスクの設定 LoadImageの画像を右クリック。Open in MaskEditorでマスクを作成。 目の部分にマスクを設定。 Save to nodeを押す。 ワ

          ウチダマサトシ

          【ComfyUI】シンプルなimg2imgと手作業でマスクを設定してのinpaint

          ウチダマサトシ