小野谷静@オノセー

日々の出来事や考え事を綴る日記/エッセイ。最近は生成AIコンサル会社の起業を模索中。h…

小野谷静@オノセー

日々の出来事や考え事を綴る日記/エッセイ。最近は生成AIコンサル会社の起業を模索中。https://www.nekoboko.com。Kindle本にも挑戦中：https://www.amazon.co.jp/kindle-dbs/entity/author/B09Q2TTRQX
  • 固定された記事

新GPUデータセンター訪問の顛末記

　会社で「そうだ、新GPUデータセンターへ行こう！」ということになったので、今回はその顛末記。ちなみに出張報告は不要なので顛末記を書くことにしたけれども、今ではこの顛末記のデータさえあれば生成AIに「出張報告を作成して」と言えば済む。便利な世の中になってきたものです、はい。 (下記のMetaブログ記事によると5万個近いNVIDIA H100を活用して開発中のLlama 3登場も近いようであり、それに間にあって何より、何より) 事の始まり　今回はいきなりな展開なので、まずは背

小野谷静@オノセー

    • [オタク機器日記] さらばWindows環境の生成AI (LLM)

      　先日の記事でもコメントしたように、Windows環境のローカル生成AI (LLM) というのは今一つな状況である。もちろん一般的な使い方であれば問題ないけれども、少し変則的な使い方 (小説を評価するための長文プロンプト利用など) をすると、すぐに不安定な状態となってしまう。 　そうでなくてもマルチタスクではないので、画面操作なども固まってしまう。これでは画面のスナップショットを取ることが難しくなるし、地味に不便だ。それで思い切って、もうWindows環境には手を出さないこと

      小野谷静@オノセー

      • [随考] 生成AI技術者に明日はあるか？

        　Twitter界隈では生成AI（LLM）をファインチューニングしたりすることが流行している。僕の場合は事前学習も視野に入れることができる幸運（不幸？）な立場だけれども、いざ技術志向の独立部隊としてスタートアップ（ベンチャー企業）みたいなことをやろうとしたら、逆に技術的なことよりもコンサル的なことで悩みが深くなってきた。 　副業で小説家を目指しているので暇がないけれども、これも会社業務の一環だと考えて、現在考えていることを記述しておくことにしたい。ちなみに僕は若い頃に子会社の

        小野谷静@オノセー

        • [備忘録] 生成AIで商売するということ

          　とりあえずWindowsで4bit量子化版Command R+ 104BパラメータをGPUも駆使しして実行することが可能になった。それで分かったことが二つ Ubuntu 22.04の方がWindows 11環境よりも高速であり、メモリも有効活用できる。したがって小説の批評用途ではWindows 11環境は不要 タスクマネージャーを見たら、特に数万文字のプロンプトを読み込む時点でCPUメモリ64GBと16GBのGPUメモリ環境ではディスク(SSD)アクセスも100%近くに

          小野谷静@オノセー
        • 固定された記事

        新GPUデータセンター訪問の顛末記

        小野谷静@オノセー

          4bit量子化版Command R+ (104B版)とゲーム用ノートパソコンで中編小説を評論

          　先の記事でVRAMを16GB搭載したマシンで4bit量子化版Command R+ (104B版)を動かして、3.6万文字の小説を批評して頂いたと報告した。 　これ、実はNVIDIA GeForce RTX 3800（16GB）を搭載したノートパソコンだったりする。よくまあ1～2時間で批評を出力できるものだと感心している。 　ただし、実はそこに至るまでは涙なくしては語れない苦労話があったりする。今回はその苦労話を語らせて頂くことにする。 購入理由とハードウェア強化　僕は既

          小野谷静@オノセー

          4bit量子化版Command R+ (104B版)とゲーム用ノートパソコンで中編小説を評論

          小野谷静@オノセー

          16GBのVRAMで4bit量子化版のCommand R+ 104B版を動作させる

          　取り急ぎ状況報告。16GBのVRAMを搭載したGPUと64GB主メモリのPCでも、下記記事の "なんちゃって小説(日本語で36,204万語)" をCommand R+にプロ編集者になって頂いて批評して頂くことに成功。 　もう少し改善できそうな気もするけど、現時点でのパラメータは下記の通り。なぜか一時間程度で完了してしまったので、自分でも理由が分からずに吃驚。（とりあえず「結果オーライ」ということで） -ngl 5 -c 30000 OSはUbuntu 22.04 　

          小野谷静@オノセー

          16GBのVRAMで4bit量子化版のCommand R+ 104B版を動作させる

          小野谷静@オノセー

          [オタク機器日記] RTX8000で4bit量子化版Command R+ 104B版を試す

          　Cohere社はコンサルティング企業のマッキンゼーといち早くアライアンスを締結したり、企画屋の僕としても気になる存在だった。 　そのCohere社がCommand R+という多国語対応LLM (生成AI) を提供する話は聞いていたが、さすがにパラメータ104B版を個人で動かすのは難しい… と思っていたら、4bit量子化(GGUF)版を作成して下さる神がいた。 　これならば我がNVIDIA Quadra RTX 8000 (48GB/VRAM) でも十分に動かすことが出来そ

          小野谷静@オノセー

          [オタク機器日記] RTX8000で4bit量子化版Command R+ 104B版を試す

          小野谷静@オノセー

          [生成AI体験談] 生成AIに期待し過ぎる人々

          　パスポートのオンライン申請が5分で済むだろうと期待し過ぎていた僕が書くのも何だけれども、ちょっと周辺で期待し過ぎる人々が散見されたので、これを機会にメモを作成しておく。 　ちなみに期待し過ぎといえば、Microsoft Copilot君に「$100Bは日本円でいくらでしょうか」と質問したら「1,210億円です」という返事が返ってきてしまった。逆に2023年度の国家予算114兆円が何ドルかを質問したら760億ドルと返って来た。 　つまり最初の回答はCopilot君が "B"

          小野谷静@オノセー

          [生成AI体験談] 生成AIに期待し過ぎる人々

          小野谷静@オノセー

          [生成AI体験談] 肉まんと餡まんとピザまんの三角関係

          　このところ自宅マシンに導入可能なローカルLLMの選択肢が増えて話題となっている。どちらかというと企画屋である身としては、世界トップのコンサルティング企業と言えるマッキンゼーが導入していたCohere社Command R+ LLMが脚光を浴びており、周囲も含めて国内企業はこんなに呑気で大丈夫なのだろうかと気がかりにもなる。 　しかしそれはそれ。 　ローカルLLM (生成AI) は野良エンジニアとしては面白いけれども、人生を生きていくためには、自分や家族が生成AIを効果的に活用

          小野谷静@オノセー

          [生成AI体験談] 肉まんと餡まんとピザまんの三角関係

          小野谷静@オノセー

          [生成AI体験談] 消えた財布を探せ

          　MicrosoftのCopilotが無償提供されるようになったので、本格的にChatGPTなどで話題となっている生成AIを使うようになって来た。あん饅と肉まんの見分け方などで子供を吃驚させているだけでは面白くないので、行方不明になった母親の財布を探すことに使ってみた。現時点での生成AIはプログラム開発支援を得意としているけれども、アイデア発見にも役立ってくれることが多い。その応用として、行方不明になった母親の財布の捜索場所を考えるアイデア作成というアプローチを考えてみた訳で

          小野谷静@オノセー

          [生成AI体験談] 消えた財布を探せ

          小野谷静@オノセー

          MetaのLlama3開発支援環境を紹介

          MetaがLlama3の開発状況や開発支援環境をブログ投稿したので紹介動画を作成。量子化する必要のない8bitバージョンが登場することを期待。

          小野谷静@オノセー

          MetaのLlama3開発支援環境を紹介

          小野谷静@オノセー

          [オタク機器日記] ハードウェア、ソフトウェア、プロンプト全てがダメな一日

          ようやく安定したと思ったら蜃気楼だったというのは、人生では良くあることだ。自称AI作家としては生成AI (LLM) の限界を極めたいところだったが、また週末まで「お預け！」となってしまった。 ちなみにソフトウェアに関する失敗は、下記ブログ記事に投稿しておいた。大したことある/ないはともかく、まだまだやれることは山ほどあるなあ… と、たしかに世界を騒がす騒動になるのも納得できる一日だった。 AI作家とハードウェアそもそも僕が自宅に生成AI (LLM) 環境を構築しようとして

          小野谷静@オノセー

          [オタク機器日記] ハードウェア、ソフトウェア、プロンプト全てがダメな一日

          小野谷静@オノセー

          [オタク機器日記] 日本語LLM(生成AI) ELYZA 13B/70B版登場までの宿題

          ようやく新型波動砲… じゃなくてTelsa P40を装備した我がパソコン、「お楽しみはこれからだ！」と思っていたら、さっそくドツボにハマってさあ大変 … というのが今回の話題。 いや、あの、イライザ(ELYZA)さんから使い方が宜しくないと、注意指導というイエローカードを受けてしまった訳ですわ。「Pythonなど使いながら使い方を覚えれば良いだろう」とタカを括っていたら、それ以前にモデルの設定内容を勉強する必要を忘れていたという始末。エラそうなモノ言いのLLMも存在すると聞

          小野谷静@オノセー

          [オタク機器日記] 日本語LLM(生成AI) ELYZA 13B/70B版登場までの宿題

          小野谷静@オノセー

          [オタク機器日記] WSL2でNVIDIA Telsa P40を利用する

          NVIDIAの佐々木さんが2022年にCUDA on WSL2をQiita記事投稿している。 これ、実にうらやましい話だったりする。なぜなら僕の$200ドル(1ドル150円換算で3万円)中古NVIDIA Telsa P40は、WSL2では普通に使うことが出来ない。NVIDIAの認定構成を採用した上で新品を購入すれば、WSL2で使えるドライバを提供して貰えるらしい。 しかし... 3万円ならばともかく、300万円は無理だ。 そのため今日も、アレコレと工夫してデータセンター

          小野谷静@オノセー

          [オタク機器日記] WSL2でNVIDIA Telsa P40を利用する

          小野谷静@オノセー

          UbuntuにおけるオンボードGPUでのディスプレイ表示 (番外編/完結編)

          一般家庭向けPCマザーボードの場合、PCIeスロットを2つ以上利用すると速度低下することがある。たとえば僕のASRock Z370 Taichiは1スロット利用でx16だけれども、2スロット利用するとx8 x 2となってしまう。そんな訳でUbuntu 22.04稼働時の一時的な暫定措置としてAMD製グラボをディスプレイ表示用に利用していたけれども、何とかオンボード表示させたい状況だった。 いかにQuadra RTX 8000 (48GB) を保有していても、その実力を発揮し

          小野谷静@オノセー

          UbuntuにおけるオンボードGPUでのディスプレイ表示 (番外編/完結編)

          小野谷静@オノセー

          UbuntuにおけるオンボードGPUでのディスプレイ表示 (番外編)

          さて一般ユーザ向けGPUならばディスプレイ出力機能が装備されているけれども、データセンタ向けGPUにはディスプレイ出力機能は装備されていない。それでもGPU (Graphic Processing Unit)なのだから、なんとも不思議な気がすることもある。 ところで不思議とか呑気なことを言っていられないのが、おうち生成AI(LLM)ユーザのツラいところだったりする。何しろデータセンタ向けサーバは遠隔操作機能が充実しており、ディスプレイ表示など必要なかったりする。いちおうNV

          小野谷静@オノセー

          UbuntuにおけるオンボードGPUでのディスプレイ表示 (番外編)

          小野谷静@オノセー