このメモを読むと ・話題のローカルLLMを試せる 検証環境 ・Windows11 ・VRAM24GB ・ローカル（Anaconda） ・python3.10 ・2024/5/B時点 事前準備 Anacondaを使うメモ｜おれっち (note.com) Gitを使うメモ｜おれっち (note.com) VecteusLOCAL AI HACKATHON#001にて金賞を受賞した、7bのLLM。 ご家庭マシンで、高品質な日本語を生成してくれるモデルです。 サポートア
このメモを読むと ・NVIDIA-Dockerを導入できる ・DockerにてGPU環境を構築できる ・PyTorchの動作確認ができる 検証環境 ・Windows10Pro 22H2 ・Ubuntu-22.04 ・Docker 25.0.1 ・NVIDIA製GPU ・2024/1/E時点 事前準備 UbuntuにDockerを入れるメモ | おれっち NVIDIA-DockerDockerコンテナ内でNVIDIA GPUを利用するための拡張機能。 GPU環境はA
このメモを読むと ・Ubuntu上にDocker環境を導入できる 検証環境 ・Windows10Pro 22H2 ・Ubuntu-22.04 ・2024/1/E時点 事前準備 DドライブにUbuntuを入れるメモ | おれっち DockerDockerは、アプリケーションを隔離された環境（コンテナ）内で実行するためのツール。環境の違いに影響されずにアプリケーションを開発、テスト、デプロイできます。 要するに、環境構築と管理が楽になるようです！ すること Doc
このメモを読むと ・WindowsにWSLのLinux環境を導入できる ・別ディスクに引っ越せる 検証環境 ・Windows10Pro 22H2 ・2024/1/E時点 UbuntuUbuntuは、Linuxをベースにした無料のOSです。 Linuxのほうが環境構築が楽なことが多いので導入してみます。 今回導入するのはCUI（コマンド）環境までです。 すること Ubuntuの導入 ・事前準備 ・インストール ・Dドライブへお引越し Ubuntuの導入とても
このメモを読むと ・kohya_ss GUIを導入できる 検証環境 ・Windows11 ・VRAM24GB ・ローカル（Anaconda） ・python3.10 ・2023/8/E時点 事前準備 Anacondaを使うメモ｜おれっち (note.com) Gitを使うメモ｜おれっち (note.com) Stable Diffusionで遊ぶメモ｜おれっち (note.com) kohya_ssとはStable DiffusionのLoRA作成を手助けしてくれ
このメモを読むと ・QLoRA学習済みモデルをAPI経由で呼び出せる ・ストリーム出力ができるようになる 検証環境 ・Windows11 ・VRAM24GB ・ローカル（Anaconda） ・python3.10 ・2023/7/B時点 事前準備 Anacondaを使うメモ｜おれっち (note.com) Gitを使うメモ｜おれっち (note.com) APIとはあるソフトウェアから別のソフトウェアに機能を提供するための「接続口」のようなもの。便利らしい。Cha
このメモを読むと ・VOICEVOXのエンジンを導入できる ・音声データを生成できる ・GPUを使って高速に処理できる 検証環境 ・Windows11 ・VRAM24GB ・ローカル（Anaconda） ・2023/6/M時点 事前準備 Anacondaを使うメモ｜おれっち (note.com) VOICEVOX無料で使えるテキスト読み上げソフトウェアです。 商用利用可なモデルも多数揃っているので、導入して遊んでみます。 下記記事をまるっと参考にさせていただきま
このメモを読むと ・QLoRAを導入できる ・でかいローカルLLMモデルをファインチューニングできる 検証環境 ・Windows11 ・VRAM24GB ・ローカル（Anaconda） ・2023/6/M時点 事前準備 Anacondaを使うメモ｜おれっち (note.com) Gitを使うメモ｜おれっち (note.com) QLoRAとはVRAMを節約することで容量の大きいローカルLLMモデルをファインチューニングできるようになる技術。 実装してデカモデルをフ
このメモを読むと ・ファインチューニング後のモデルを爆速で動かせる 検証環境 ・Windows11 ・VRAM24GB ・ローカル（Anaconda） ・2023/6/M時点 事前準備 Anacondaを使うメモ｜おれっち (note.com) Gitを使うメモ｜おれっち (note.com) モデルのマージPEFTを使うことで手軽にファインチューニングを行うことができます。 そして、得られたLoRAモデルとベースモデルを合体させることでマージモデルを作成できます
このメモを読むと ・CTranslate2を導入できる ・ローカルLLMの文章生成が爆速になる 検証環境 ・Windows11 ・VRAM24GB ・ローカル（Anaconda） ・2023/6/M時点 事前準備 Anacondaを使うメモ｜おれっち (note.com) Gitを使うメモ｜おれっち (note.com) CTranslate2とはtranseformerモデルで効率的に推論するライブラリです。 ローカルLLMの文章生成がとにかく速くなります。 た
このメモを読むと ・PEFTを導入できる ・ローカルLLMをファインチューニングできる 検証環境 ・Windows11 ・VRAM24GB ・ローカル（Anaconda） ・2023/6/M時点 事前準備 Anacondaを使うメモ｜おれっち (note.com) Gitを使うメモ｜おれっち (note.com) PEFTとはローカルLLMのファインチューニングを手軽に実現できるライブラリ。 実装してLoRAでファインチューニングしてみます。 PEFT導入とても
このメモを読むと ・MusicGenを導入できる ・文字から曲を生成できる ・中品質での生成でVRAM7GBくらい必要（推奨は16GB） 検証環境 ・Windows11 ・VRAM24GB ・ローカル（Anaconda） ・2023/6/B時点 事前準備 Anacondaを使うメモ｜おれっち (note.com) Gitを使うメモ｜おれっち (note.com) MusicGenとは文字（プロンプト）から曲を生成できます。 導入して遊んでみましょう！ Music
このメモを読むと ・画像生成の速度を28.8%上げられる。 検証環境 ・Windows11 ・VRAM24GB ・ローカル（Anaconda） ・NVidia ドライバー 531.61 ・AUTOMATIC1111 v1.3.1 ・2023/6/B時点 事前準備 Stable Diffusionで遊ぶメモ｜おれっち (note.com) 画像生成の高速化とにかく早く画像を生成したーいので、話題の手法を試してみます。 今回試したのは以下の二つです。 ・高速化設定を
このメモを読むと ・ControlNetを導入できる。 ・お手本画像からの特徴転移ができるようになる。 検証環境 ・Windows11 ・2023/6/B時点 事前準備 Stable Diffusionで遊ぶメモ｜おれっち (note.com) ControlNetとはStable Diffusionって、プロンプトだけでは構図の指定が非常に難しい。 そのお悩みを解決できるのがControlNetです。 構図指定が代表的な機能ですが、ほかにもいろいろできる便利拡張
LoRAのしくみがいまいちわからなかったのでChatGPTに聞きました。 このラクガキから得られるものはありません。 対談LoRAを適用するメリットを、仕組みベースで簡単に説明してください。 LoRAのモデルの各層に小さな"ランク分解行列"を注入という部分が理解できていません。なぜ元のパラメーターをフリーズしても学習できるのですか？ 大きな行列をより小さい行列の積に分解する手順を視覚化できますか？ この例は規則性があるから成立しているように思います。学習されたモデルは
LLMについてなんにもわからないので、最近話題のPEFTを勉強します。 結論LLMのチューニングはPEFTのLoRAがべんり。 LLMの限界LLM(大規模言語モデル)はそのまま遊んでも十分楽しめますが、現在ローカルで動作できるサイズのモデルでは汎用性に限界があります。口調や性格の指定、特定タスクの実行などはプロンプト調整だけでは難しいんですよね。 ファインチューニングをすることで、そのへんをイイカンジに微調整できるらしい。 PEFTとはファインチューニングを手軽に実現で
