ローカルLLMの導入をしてみます．
記事内で示すコードは全て，Windowsターミナルでの実行です．

こちらの記事に従い，Text generation web UIを使ってみようとしたところ，いくつか躓いたので共有．

1　Running on local URL: http://127.0.0.1:7860が出ずにターミナルが閉じた

参考にした記事ではinstall.batを作って実行すればターミナルに

Running on local URL: http://127.0.0.1:7860

が出るとのことでした．しかしそのようなものは出ずにターミナルが閉じました．

おそらく，スクリプトの実行を許可していないためでした．

Set-ExecutionPolicy -ExecutionPolicy RemoteSigned -Scope Process

これを実行することで，仮想環境のアクティブ化などを行えるようになります．

次に，カレントディレクトリを以下のように変更します．
tekitouna_folda/text-generation-webui

cd text-generation-webui

その後，以下のコードで必要なものをインストールしていきます．（install.batの実行で済むはずだったものを手動で行う）

pip install torch torchvision torchaudio

しかし，ふたつ目のエラーが出る場合があります．出なければインストールは成功です．次はこれを実行

pip install -r requirements.txt

これで必要なもののインストールは終了．

python server.py

を実行すればうまくいくはずです．しかし私はtorchのインストールで詰まったのでメモしておきます．

2　pip install torch torchvision torchaudio　でエラー

このようなエラーが表示されました．

調べたところ，使ってるPythonのバージョンにtorchが対応していないらしい．

このために，別バージョンのPythonをインストールし，そのバージョンでのvenvを作ります．

こちらからPython3.10をインストールします．

インストールが終わったら，新しくターミナルを開いてディレクトリを移動します．

cd firstllm/text-generation-webui

そのディレクトリにバージョンを変えた仮想環境を作ります．

py -3.10 -m venv py310env

これをアクティブ化できるように設定します．

 Set-ExecutionPolicy -ExecutionPolicy RemoteSigned -Scope Process

先ほど作った仮想環境をアクティブ化します．

./py310env/Scripts/activate

ここに，インストールをします．

pip install torch torchvision torchaudio

インストール成功したら，別の必要なモジュールをインストールします．

pip install -r requirements.txt

これで準備は完了です．

python server.py

こちらを実行しましょう．うまくいくはずです．

おわりに

こういうのって初心者がやると大抵詰まりますよね．同じように躓いた誰かの助けになれたら幸いです．

以下，参考記事です．