Kioju

ローカルLLMで遊んでいます noteはメモみたいなものです

Kioju

ローカルLLMで遊んでいます noteはメモみたいなものです

VScode + AI支援拡張 with ローカルLLM on WSL

この記事は2024-02-24に環境構築したメモです。 OpenAI互換API on WSL 今回はローカルLLMとしてopenchat-3.5-0106-GGUFを選択しました。 今はGemmaやKARAKURI LM 70B Chat v0.1が話題ですが、使ってみるまで性能がわからないので、Agent能力で実績のあるOpenChat-3.5にしました。 今回のLLMはGGUF形式なので、llama-cpp-pythonをWSLで動作させる環境構築が必要です。 C

Kioju

    • ローカルLLMでWeb scraping

      ローカルLLMは情報の流れが速いので、気になるWebページを後で読もうとブックマークしていたのですが・・・ 気が付くと数百件のブックマークになってしまいました。 有用と思った情報を抽出したのですから、ここから検索したいですね。 ローカルLLMでどこまでできるか試してみましょう。 環境をつくって・・・ python -m venv .venv && source .venv/bin/activate && pip install -U pip packaging set

      Kioju

      • WSLでローカルLLM（環境構築）

        ローカルLLMで遊ぶ準備メモ (2024-02-23 現在) WSL (Ubunts) apt-get upgrade # パッケージ更新sudo apt-get updatesudo apt-get upgrade# ロケール設定sudo apt install language-pack-jasudo update-locale LC_ALL=ja_JP.utf8# 再起動exit pyenvgit clone https://github.com/pyenv/p

        Kioju

        • WSLでQwen-72B-Chat-Int4

          GPT-4に匹敵する出来になるのでは？と期待されていたQwen-72Bが 公開されましたね！ どれどれ・・・ ご家庭のパソコンで70Bなんて無理無理かたつむり・・・ あれ？以前に70Bモデルを動かしたことあったような・・・？ やってました・・・ Windows11(CPUメモリ128G) RTX4090 (GPUメモリ24G), Python3.11です。 もう一度やってみましょう！その次にQwenを試してみます。 TheBloke/Xwin-LM-70B-V0.1

          Kioju

        VScode + AI支援拡張 with ローカルLLM on WSL

        Kioju

          ローカルLLMでRAG over Code

          ローカルAgentで何をするにせよ、先人の資料やコードを読まないと始まりません。趣味で遊んでる程度の人が、公式ドキュメントを読んだだけでは何にもわからないですからね！ つまり、今、必要なのは！コードの読解を助けてくれるAgentです。 前回のコードにRAG over Codeの能力を追加して、リポジトリの読解を助けてもらいましょう。そうしましょう。 LangChain公式のユースケースは基本的にはChatGPT APIを前提としています。GPT-3.5 turbo/GPT

          Kioju

          ローカルLLMでRAG over Code

          Kioju

          TheBloke/openchat_3.5-GPTQでLangChain

          OpenChatクラスで呼び出すとChatモデルになります。 Agentとして呼び出すならLLMモデルのほうが良いのかもしれません。 TheBloke/openchat_3.5-GPTQが公開されているので、LLMとして呼び出せるか試してみました。 WSLに環境構築します。 python -m venv .venv && source .venv/bin/activate && pip install -U pip packaging setuptools wheel

          Kioju

          TheBloke/openchat_3.5-GPTQでLangChain

          Kioju

          OpenChat3.5でLangChain

          ChatGPT3.5(March)に匹敵するかもしれないOpenChat3.5でLangChainのAgentが動くか知りたかったので、動かしてみました。 OpenChat3.5サーバーを動かす OpenChat3.5はChatGPT互換APIのサーバーとして動作させることを推奨されています。 まずは、動作環境を作成しましょう。 WSL + Python3.11で動作を確認しています。 mkdir ochtcd ochatpython -m venv .venv &&

          Kioju

          OpenChat3.5でLangChain

          Kioju

          RWKV-5-World-3BでLangChain？

          RWKV-5-World-3BでLangChainのAgentが動作するか知りたかったので、 カスタムモデルを作りました。 from typing import Any, Dict, List, Mapping, Optional, Setfrom huggingface_hub import hf_hub_downloadfrom rwkv.model import RWKVfrom rwkv.utils import PIPELINE, PIPELINE_ARGSfro

          Kioju

          RWKV-5-World-3BでLangChain？

          Kioju