見出し画像

H2O LLM StudioをWSL2 Ubuntu 20.04で試す

手元でOSS LLMを簡単にファインチューン試せる環境が欲しいので
今回はLLMトレーニング出来るというGUI環境である
LLM Studioをインストールします。
前提としてUbuntu 20.04+ をWSL2と共に導入済みとします。

導入してない場合は下記の記事とか参考になるのではないでしょうか

Windows11にWSL2+Ubuntu20.04をインストールする | Asterisk::Asterisk (relaxes.jp)

フルのガイドは下記のgithubにあります
[DOC] Full installation guide for H2O LLM Studio on Windows using WSL2 · Issue #290 · h2oai/h2o-llmstudio · GitHub



1.Windowsに最新のnvidiaドライバーダウンロード

いきなりですが僕は最近nVidiaのドライバー更新したらGPUが文鎮と化したという不吉な噂を聞いたのでドライバーは更新しません。
手元のSurface book 2の環境は下記です。

2.nvidia-smi コマンドでドライバーバージョンの確認


3.WSL2 Ubuntu 20.04 を実行してCUDAのダウンロードとインストール

https://developer.nvidia.com/cuda-downloads?target_os=Linux&target_arch=x86_64&Distribution=WSL-Ubuntu&target_version=2.0&target_type=deb_local

    wget https://developer.download.nvidia.com/compute/cuda/repos/wsl-ubuntu/x86_64/cuda-wsl-ubuntu.pin
    sudo mv cuda-wsl-ubuntu.pin /etc/apt/preferences.d/cuda-repository-pin-600
    wget https://developer.download.nvidia.com/compute/cuda/12.2.0/local_installers/cuda-repo-wsl-ubuntu-12-2-local_12.2.0-1_amd64.deb
    sudo dpkg -i cuda-repo-wsl-ubuntu-12-2-local_12.2.0-1_amd64.deb
    sudo cp /var/cuda-repo-wsl-ubuntu-12-2-local/cuda-*-keyring.gpg /usr/share/keyrings/
    sudo apt-get update
    sudo apt-get -y install cuda

4.Python 3.10  の環境をインストール

     sudo add-apt-repository ppa:deadsnakes/ppa   
     sudo apt install python3.10  
     sudo apt-get install python3.10-distutils 
     sudo apt-get install git 
     sudo apt install python3-pip

5.仮想環境を作ります

      sudo apt install -y python3.10-venv
      python3 -m venv llmstudio
      source llmstudio/bin/activate

6.仮想環境の中でgitリポジトリをクローン

      git clone https://github.com/h2oai/h2o-llmstudio.git
      cd h2o-llmstudio

7.requirements.txtの環境構築

      pip install -r requirements.txt

8.環境変数構築してアプリ起動

      H2O_WAVE_MAX_REQUEST_SIZE=25MB \
      H2O_WAVE_NO_LOG=True \
      H2O_WAVE_PRIVATE_DIR="/download/@output/download" \
      wave run app

これで下記にブラウザでアクセスすれば見れるとのこと
http://localhost:10101/

しかしここでエラーが発生、エラーは下記のもの

RuntimeError:
        CUDA Setup failed despite GPU being available. Please run the following command to get more information:

        python -m bitsandbytes

        Inspect the output of the command and see if you can locate CUDA libraries. You might need to add them
        to your LD_LIBRARY_PATH. If you suspect a bug, please take the information from python -m bitsandbytes
        and open an issue at: https://github.com/TimDettmers/bitsandbytes/issues

CUDAライブラリのパスを指定:

chatgptに聞いてはかせたLD_LIBRARY_PATHを修正するコマンドを実行します

export LD_LIBRARY_PATH=/usr/local/cuda/lib64:/usr/lib/x86_64-linux-gnu:$LD_LIBRARY_PATH

であらためてアプリ実行の環境設定と実行コマンド流すと見れました
なんとなく暫く手元の環境でNvidia GPU動かすGUI環境はこれでも良さそうと思います。
WSL2でも使えるのであればLinux環境やWindowsのゲーミングPCを使ってるユーザーには良さそうですねこれ


ちゃんとコードオープンにしてくれてますし。
GitHub - h2oai/h2o-llmstudio: H2O LLM Studio - a framework and no-code GUI for fine-tuning LLMs. Documentation: https://h2oai.github.io/h2o-llmstudio/

shi3zさんの記事にjsonl形式のデータセットが使えずcsvのみという話がありましたがデータセット変換に最適化したLLMとかに変換をお願いすればやってくれる気がしますしその辺はあまり大きな問題ではない気がしています。

もうひとつLM Studioというよく似た名前のGUI環境をMacで試しましたが
そちらは簡単に動きすぎて書きごたえがないのでまた今度
LM Studioの方は本当に誰でも出来るくらい簡単なのでMacユーザーにはお勧めかも、セキュリティについては私は知りませんし責任も持ちませんが(^^♪

参考:
H20 LLM Studioを試す|shi3z (note.com)

この記事が気に入ったらサポートをしてみませんか?