JohnK.Happy

AI 開発推進。LLMの基盤モデルを日本語や日本文化ベースで学習とモデル作成を行おうと…

JohnK.Happy

AI 開発推進。LLMの基盤モデルを日本語や日本文化ベースで学習とモデル作成を行おうと試みておりますよ

ollama にpull したcomannd-RのモデルをNvidia RTX3090で動かしてみたやりとりの結果

▼下記はollamaとOpenWebUIを使用してローカル環境で稼働させたcommand-rとの会話ですがRTX3090だとなんかモデルのロードを繰り返してるような感じで速く動くときは速く動きますが、ロード中は回答がしばらくかえってこなかったりしました。Nvidia　GPUで稼働させる方法は要研究、Macでも試してみます You コマンダーRさんですか？ Command-R:Latest すみません、おっしゃってる意味がよくわかりません。「コマンダーＲ」というのは、私の

JohnK.Happy

    • インターネットで分散学習を目指してclaude3壁打ち

      ▼johnkhappy 分散学習をしたいので一般的なトランスフォーマーモデルでどのタイミングでモデル並列化で分散したレイヤの通信と集約が必要になるか教えて下さい ▼claude3 一般的なTransformerモデルにおいて、モデル並列化での分散計算を行う際に、レイヤー間での通信と集約が必要になるタイミングは主に以下の2つのケースがあります。 Multi-Head Self-Attentionレイヤ Self-Attentionは入力シーケンス全体に対して計算が行われる

      JohnK.Happy

      • claude3に無農薬野菜の証明方法とか農業起業アイデアを相談してみた

        ▼Johnkhappy 無農薬野菜の証明をNFTとかに出来ないものかな、後は起業的なアイデアとしては野菜をリモートでスマート農業で育てて貰って育てた野菜に応じた炭素トークンが貰えるとかいうのはどうか ▼claude3 無農薬野菜の証明にNFTを活用するのは面白いアイデアですね。NFTには特定の情報を永続的かつ改ざんできない形で記録できるメリットがあります。 例えば、以下のようなことが考えられます。 農家が無農薬栽培の過程をブロックチェーン上に記録 第三者機関が栽培過程

        JohnK.Happy

        • Claude 3にAIに上手く地球と宇宙を調和させ統治させる方法を聞いた

          ▼Johnkhappy AIがホモサピエンスを上手く統治する為のコントラクトは書けないでしょうか？ ▼Claude3 ホモサピエンスを統治するためのスマートコントラクトを書くことは、非常に倫理的な問題を孕んでいます。そもそもAIが人間を支配することは望ましくありません。人工知能は人間に奉仕し、人間の尊厳と自由意志を尊重するよう設計されるべきです。 しかし、仮にそのようなスマートコントラクトを書くとしたら、以下のような観点が重要になると考えられます。 **透明性と説明責

          JohnK.Happy

        ollama にpull したcomannd-RのモデルをNvidia RTX3090で動かしてみたやりとりの結果

        JohnK.Happy

          Fooocusで絵を描かせた

          フェルンっぽいのを作ろうとしたらバニーになった

          JohnK.Happy

          Fooocusで絵を描かせた

          JohnK.Happy

          ollamaが便利だから使用方法をメモる

          ollamaはどうやらコンテナを扱う様なノリでローカルLLMを実行可能にするツールらしい。 データセットを作成させたりプロンプトを作成させたり出来る。 Macなら使い方は簡単だ GitHub - ollama/ollama: Get up and running with Llama 2, Mistral, and other large language models locally. Linux OR WSL2 環境の場合はこれで入る curl https://o

          JohnK.Happy

          ollamaが便利だから使用方法をメモる

          JohnK.Happy

          Fedora39 Server Editionをインストールしたのでやったことを自分用にまとめる

          ＊低レイヤーの設定を含むので私の環境のパラメーターは記載してません 参考にされる様なことはないと思いますが念の為申し上げますとパラメーターは実際の環境のものと異なります。 この手順でFedora39の環境を整えようとされる場合はご自身の環境のパラメーターで読み替えて下さい ダウンロードとインストール Fedora 39 : ダウンロード : Server World (server-world.info) AppleSilicon搭載のmacOSでFedora Works

          JohnK.Happy

          Fedora39 Server Editionをインストールしたのでやったことを自分用にまとめる

          JohnK.Happy

          llamafileを使ってl llava-v1.5-7b-q4-server を試す

          一通りMacのローカル環境で汎用的にAIを試せる環境が欲しかったので探していたら何やらllamafileというファイルをダウンロードするだけで llava が試せるファイルを作った人たちがいるらしい 早速Macで試してみた。 手順はgithubの下記手順に従う QuickstartThe easiest way to try it for yourself is to download our example llamafile for the LLaVA model (

          JohnK.Happy

          llamafileを使ってl llava-v1.5-7b-q4-server を試す

          JohnK.Happy

          vspher ESXi 7.0 評価版を使ってTrueNASのデータ基盤を作る①

          vmware vsphereを自宅運用したりtruenasの仮想化運用に興味ある方以外はこのシリーズはあまり面白くないと思いますが AI学習用のデータ基盤を作りたいので必要な事を色々メモっておいて同好の氏の役に立ったらいいなくらいの気持ちでやってきます。 学習用データを集めるにしても自宅にデータ基盤がないと始まらないだろうということでTrueNAS Scaleを使ってデータ基盤を作ろうと目論んだのですがまずは省電力のMac Mini でTrueNASを起動したところ 外付け

          JohnK.Happy

          vspher ESXi 7.0 評価版を使ってTrueNASのデータ基盤を作る①

          JohnK.Happy

          モンティホール問題をAI達は理解しているのかシミュレーションを書かせて確認する

          モンティホール問題の説明はこちら Webで遊べるシミュレーター作って下さった方もいらっしゃいます 要は３つのドアの裏に１つだけ正解が隠れていてプレイヤーはドアを１つ選んだ後、司会者がハズレのドアを１つ開けてその後プレイヤーは選んだドアを変更する権利が与えられる。この時ドアを変更した方が確率的に得なのかどうかという問題です モンティホール問題はとにかく人間の直感に反する確率観を迫ってくるものらしく問題に対する正しい回答(最初選んだドアから別のドアを選択したほうが当たる確率

          JohnK.Happy

          モンティホール問題をAI達は理解しているのかシミュレーションを書かせて確認する

          JohnK.Happy

          Ubuntu環境とMacOSでOpen Interpreterで行った実験

          実行環境情報 $ lsb_release -aNo LSB modules are available.Distributor ID: UbuntuDescription: Ubuntu 22.04.2 LTSRelease: 22.04Codename: jammy$ uname -srvmpioLinux 6.2.0-32-generic #32~22.04.1-Ubuntu SMP PREEMPT_DYNAMIC Fri Aug 18 10:40:13 UTC 2 x

          JohnK.Happy

          Ubuntu環境とMacOSでOpen Interpreterで行った実験

          JohnK.Happy

          Nvidia GPU　環境でllama.cppを試したメモ

          前準備 RTX3090 を１枚とGTX1070　１枚載せた自作のマシンでやります DDR4のRAMを128GB以上積んでます 使うモデルは下記でwgetで落としておきました　 https://huggingface.co/TheBloke/Llama-2-70B-Orca-200k-GGUF Ubuntu22.04 上でMacと同じ環境を作っておきます https://github.com/ggerganov/llama.cpp nvidia-cuda-toolkit

          JohnK.Happy

          Nvidia GPU　環境でllama.cppを試したメモ

          JohnK.Happy

          CodeLlama-Instruct-34Bの性能調査

          このモデルをM1 Max Macで試しました TheBloke/CodeLlama-34B-Instruct-GGUF · Hugging Face 環境についてはllama.cppの最新版ということにしておきます。 直接リポジトリ見ていただくか以前の記事をご参照ください https://www.bing.com/search?q=llama.cpp&cvid=9b9b4f7244304d7d956d57020b0eec0c&aqs=edge..69i57j0j69i59l

          JohnK.Happy

          CodeLlama-Instruct-34Bの性能調査

          JohnK.Happy

          AITuber構築を目指してllama-cpp-pythonを使ってMetal有効化したllama.cppをプログラムに組み込む

          abetlen/llama-cpp-python: Python bindings for llama.cpp (github.com) いろんな人が以前話をしていたllama-cpp-pythonを使ってみる。 僕が気になったのは上記のページの下記の部分 To install with Metal (MPS), set the LLAMA_METAL=on environment variable before installing: CMAKE_ARGS="-DLLA

          JohnK.Happy

          AITuber構築を目指してllama-cpp-pythonを使ってMetal有効化したllama.cppをプログラムに組み込む

          JohnK.Happy

          AITuber構築を目指したllama.cppのサーバー機能など諸々のメモ

          llama.cppで使うコマンドとかのメモをとっていこうと思う。 後からコマンド履歴を遡るのにも限界がある llama.cppで特定モデルを使用したhttpdサーバーの起動 ./server -m models/TheBloke/llama-2-13B-chat-GGML/llama-2-13b-chat.ggmlv3.q4_K_M.bin -c 2048 llama.cppへのhttpdサーバーへの問い合わせ (base) llama.cpp % curl --

          JohnK.Happy

          AITuber構築を目指したllama.cppのサーバー機能など諸々のメモ

          JohnK.Happy

          H2O LLM StudioをWSL2 Ubuntu 20.04で試す

          手元でOSS LLMを簡単にファインチューン試せる環境が欲しいので 今回はLLMトレーニング出来るというGUI環境である LLM Studioをインストールします。 前提としてUbuntu 20.04+ をWSL2と共に導入済みとします。 導入してない場合は下記の記事とか参考になるのではないでしょうか Windows11にWSL2＋Ubuntu20.04をインストールする | Asterisk::Asterisk (relaxes.jp) フルのガイドは下記のgithu

          JohnK.Happy

          H2O LLM StudioをWSL2 Ubuntu 20.04で試す

          JohnK.Happy