H2O LLM StudioをWSL2 Ubuntu 20.04で試す
手元でOSS LLMを簡単にファインチューン試せる環境が欲しいので
今回はLLMトレーニング出来るというGUI環境である
LLM Studioをインストールします。
前提としてUbuntu 20.04+ をWSL2と共に導入済みとします。
導入してない場合は下記の記事とか参考になるのではないでしょうか
Windows11にWSL2+Ubuntu20.04をインストールする | Asterisk::Asterisk (relaxes.jp)
フルのガイドは下記のgithubにあります
[DOC] Full installation guide for H2O LLM Studio on Windows using WSL2 · Issue #290 · h2oai/h2o-llmstudio · GitHub
1.Windowsに最新のnvidiaドライバーダウンロード
いきなりですが僕は最近nVidiaのドライバー更新したらGPUが文鎮と化したという不吉な噂を聞いたのでドライバーは更新しません。
手元のSurface book 2の環境は下記です。
2.nvidia-smi コマンドでドライバーバージョンの確認
3.WSL2 Ubuntu 20.04 を実行してCUDAのダウンロードとインストール
wget https://developer.download.nvidia.com/compute/cuda/repos/wsl-ubuntu/x86_64/cuda-wsl-ubuntu.pin
sudo mv cuda-wsl-ubuntu.pin /etc/apt/preferences.d/cuda-repository-pin-600
wget https://developer.download.nvidia.com/compute/cuda/12.2.0/local_installers/cuda-repo-wsl-ubuntu-12-2-local_12.2.0-1_amd64.deb
sudo dpkg -i cuda-repo-wsl-ubuntu-12-2-local_12.2.0-1_amd64.deb
sudo cp /var/cuda-repo-wsl-ubuntu-12-2-local/cuda-*-keyring.gpg /usr/share/keyrings/
sudo apt-get update
sudo apt-get -y install cuda
4.Python 3.10 の環境をインストール
sudo add-apt-repository ppa:deadsnakes/ppa
sudo apt install python3.10
sudo apt-get install python3.10-distutils
sudo apt-get install git
sudo apt install python3-pip
5.仮想環境を作ります
sudo apt install -y python3.10-venv
python3 -m venv llmstudio
source llmstudio/bin/activate
6.仮想環境の中でgitリポジトリをクローン
git clone https://github.com/h2oai/h2o-llmstudio.git
cd h2o-llmstudio
7.requirements.txtの環境構築
pip install -r requirements.txt
8.環境変数構築してアプリ起動
H2O_WAVE_MAX_REQUEST_SIZE=25MB \
H2O_WAVE_NO_LOG=True \
H2O_WAVE_PRIVATE_DIR="/download/@output/download" \
wave run app
これで下記にブラウザでアクセスすれば見れるとのこと
http://localhost:10101/
しかしここでエラーが発生、エラーは下記のもの
RuntimeError:
CUDA Setup failed despite GPU being available. Please run the following command to get more information:
python -m bitsandbytes
Inspect the output of the command and see if you can locate CUDA libraries. You might need to add them
to your LD_LIBRARY_PATH. If you suspect a bug, please take the information from python -m bitsandbytes
and open an issue at: https://github.com/TimDettmers/bitsandbytes/issues
CUDAライブラリのパスを指定:
chatgptに聞いてはかせたLD_LIBRARY_PATHを修正するコマンドを実行します
export LD_LIBRARY_PATH=/usr/local/cuda/lib64:/usr/lib/x86_64-linux-gnu:$LD_LIBRARY_PATH
であらためてアプリ実行の環境設定と実行コマンド流すと見れました
なんとなく暫く手元の環境でNvidia GPU動かすGUI環境はこれでも良さそうと思います。
WSL2でも使えるのであればLinux環境やWindowsのゲーミングPCを使ってるユーザーには良さそうですねこれ
ちゃんとコードオープンにしてくれてますし。
GitHub - h2oai/h2o-llmstudio: H2O LLM Studio - a framework and no-code GUI for fine-tuning LLMs. Documentation: https://h2oai.github.io/h2o-llmstudio/
shi3zさんの記事にjsonl形式のデータセットが使えずcsvのみという話がありましたがデータセット変換に最適化したLLMとかに変換をお願いすればやってくれる気がしますしその辺はあまり大きな問題ではない気がしています。
もうひとつLM Studioというよく似た名前のGUI環境をMacで試しましたが
そちらは簡単に動きすぎて書きごたえがないのでまた今度
LM Studioの方は本当に誰でも出来るくらい簡単なのでMacユーザーにはお勧めかも、セキュリティについては私は知りませんし責任も持ちませんが(^^♪
この記事が気に入ったらサポートをしてみませんか?