ぬこぬこ

LLM たのしい！！！一緒にしよ？❤️

ぬこぬこ

LLM たのしい！！！一緒にしよ？❤️

いちばんやさしいローカル LLM

概要ローカル LLM 初めましての方でも動かせるチュートリアル 最近の公開されている大規模言語モデルの性能向上がすごい Ollama を使えば簡単に LLM をローカル環境で動かせる Enchanted や Open WebUI を使えばローカル LLM を ChatGPT を使う感覚で使うことができる quantkit を使えば簡単に LLM を量子化でき、ローカルでも実行可能なサイズに小さくできる 1. はじめに大規模言語モデル（LLM）の数は数年前と比べてたく

ぬこぬこ

    • MacOS で Flask を立ち上げている時の Port 5000 is in use by another program. の解決策

      tl;drFlask 実行時に他に何も立ち上げていないのに 5000 番ポートが使えない Mac だと AirPlay Receiver が当該ポートを使うため、この機能をオフに 何が起こったか$ rye run python app.py * Serving Flask app 'app' * Debug mode: onAddress already in usePort 5000 is in use by another program. Either identi

      ぬこぬこ

      • docx ファイルを pdf に変換する

        tl;drMacOS で docx → PDF を CLI でできるよ！ 新しい話ではないよ！ 超簡単brew install --cask libreoffice soffice --headless --convert-to pdf target_file.docx 以上。 ハマりポイントコマンドラインからも Python からも動作しませんでした…Apple Script で動いているので、Sonoma になってから互換性がなくなった？

        ぬこぬこ

        • GPT-3.5 を超えると噂のモデル blue-lizard を Ollama x Enchanted で動かす

          tl;drOllama かわいい Enchanted かわいい blue-lizard つよい チュートリアル形式でまとめたので、良かったら動かしてみてね 登場人物ひとことまとめOllama オープンソースのローカル LLM をインストール、実行するコマンドラインツール Enchanted Ollama に対応したローカル LLM を実行できる Apple デバイス用の GUI アプリケーション blue-lizard Llama 2 7B に追加事前学習

          ぬこぬこ

        いちばんやさしいローカル LLM

        ぬこぬこ

          GPTs のプロンプトリーキング対策

          ⚠️この記事を読んで得られる情報は、プロンプトリーキングに対する具体的な対策手法のみです。よく知られているプロンプトリーキング手法は既知の情報として一部掲載しますが、詳細な手法については言及しません。完全な対策は不可能という前提で「仮にすべてインターネットに流していいという情報」のみを Instruction プロンプトに記入＆ファイルのアップロードをしてください。すぐ陳腐化する可能性があるので、適宜更新していきます。 ⚠️また、この記事の情報を知った上で、どなたかの GP

          ぬこぬこ

          GPTs のプロンプトリーキング対策

          ぬこぬこ

          Assistants API の解説と動作確認（Google Colab）

          Assistants API って？アプリケーション内で独自の AI アシスタントを構築できるもの 指示に対してモデル、ツール、知識を用いてユーザのクエリに応答 ツールとして、Code Interpreter とRetrieval と Function Calling に対応 使い方指示を定義して、モデルを選択して、アシスタントを作成 ユーザーが会話を開始したらスレッドを作成 ユーザーの質問に対してスレッドにメッセージを追加 アシスタントをスレッドで実行して応答を

          ぬこぬこ

          Assistants API の解説と動作確認（Google Colab）

          ぬこぬこ

          CyberAgentLM2 (CALM2) のモデルの Google Colab 実行コード

          サンプルコードを実行したノートブックを置いておきます。V100 でも推論できます。CALM2 の全体像的なまとめはこちら↓ 各モデル Gist から Open in Colab を押せばそのままノートブックを開いて実行できます。 cyberagent/calm2-7bcyberagent/calm2-7b-chat

          ぬこぬこ

          CyberAgentLM2 (CALM2) のモデルの Google Colab 実行コード

          ぬこぬこ

          JSLM Beta (Japanese Stable LM Beta) のモデルの Google Colab 実行コード

          サンプルコードを実行したノートブックを置いておきます。大人しく A100 を使いましょう。70B はモデルのダウンロードに二時間程度かかるのでご注意を。JSLM Beta の全体像的なまとめはこちら↓ 各モデル Gist から Open in Colab を押せばそのままノートブックを開いて実行できます。 Japanese Stable LM Base Beta 7BJapanese Stable LM Base Beta 70Bそもそも動くのか…！？ Disk が足り

          ぬこぬこ

          JSLM Beta (Japanese Stable LM Beta) のモデルの Google Colab 実行コード

          ぬこぬこ

          Youri 7B のモデルの Google Colab 実行コード

          サンプルコードを実行したノートブックを置いておきます。量子化していない 7B のモデルは V100（VRAM 16GB）ではメモリ不足で動かないので注意。A100 ガチャ引きましょう。Youri 7B の全体像的なまとめはこちら↓ 各モデル Gist から Open in Colab を押せばそのままノートブックを開いて実行できます。 rinna/youri-7b rinna/youri-7b-instructionrinna/youri-7b-chatrinna/yo

          ぬこぬこ

          Youri 7B のモデルの Google Colab 実行コード

          ぬこぬこ

          TypeChat を丁寧に紐解く

          人力要約Microsoft の TypeScript のチームが新しいライブラリを公開したよ TypeChat は型定義を利用した自然言語インターフェースだよ プロンプトを最適化するのではなく、スキーマを最適化するものだよ 応答に対して型チェックをして妥当性を保証するよ サンプルを動かしてみたよ（方法を解説をしているよ） 筆者の想像以上に実装はシンプルでわかりやすくできているよ 筆者はハルシネーションに気付いていない可能性があるので鵜呑みにはしないでね Type

          ぬこぬこ

          TypeChat を丁寧に紐解く

          ぬこぬこ

          Airpods ProをAppleで無償交換した全過程

          動機付けいろいろなブログを読ませていただきましたが、自分にとって欲しい情報を手に入れるまでに時間を要したので、それならばと実際に交換して届くまでの過程の全てを記録として残しておきます。どなたかのお役に立てれば幸いです。 修理依頼から交換品到着までの全過程私のAirpods Proの状況 2019年12月にAirpods Proを購入 2021年12月から装着時に両耳から毎回ザーという雑音が20秒程度聞こえる ノイズキャンセリング等の切り替え動作時にも時折同じ雑音が入る

          ぬこぬこ

          Airpods ProをAppleで無償交換した全過程

          ぬこぬこ

          書評『生き物の死にざま』

          動機付け人間もいつかは死ぬ運命にある動物の個体の一つに過ぎない。私は過去に何度か死にかける経験や度重なる親族の不幸を経験した。その時に不思議と自身が生きている事を実感した。生き様と死に様に密接な関係があるのではないか。他の動物の死に様から人間にとっての死とは何かの答えを探るきっかけになるのではないかと思い、本書を手に取った。 新たに学んだ事死は生物が創り出した画期的な仕組み 38億年前に生物が誕生してから28億年間に渡って、単細胞生物が細胞分裂する事のみで生物は生きながら

          ぬこぬこ

          書評『生き物の死にざま』

          ぬこぬこ