マガジンのカバー画像

AI Memo

10
運営しているクリエイター

記事一覧

1bit LLM の時代は来るのか,来ないのか,どっちなんだい?

1bit LLM の時代は来るのか,来ないのか,どっちなんだい?

徳永拓之(LeapMind(株))

1bit LLMの時代が来る? 2024 年2 月,The Era of 1-bit LLMs: All Large Language Models are in 1.58 Bits¹⁾ というタイトルの論文がarXiv上で公開され,にわかに話題となりました.“1.58 Bits” という表現はあまりなじみがありませんが,log₂(3) = 1.58 . .

もっとみる
プロンプト最適化ツールAutoPrompt: ユーザーの意図に基づいたプロンプト自動生成の新時代

プロンプト最適化ツールAutoPrompt: ユーザーの意図に基づいたプロンプト自動生成の新時代

AutoPromptは、ユーザーの意図を正確に理解し、特定のタスクに最適化されたプロンプトを自動的に生成する、画期的なフレームワークです。敏感性や曖昧性といった一般的な問題に対処し、より堅牢で明瞭なプロンプトを提供します。GPT-4 Turboによる高速かつコスト効率の良い最適化プロセスにより、大規模言語モデル(LLM)のアプリケーション開発と研究がこれまで以上に容易になります。

GitHubペ

もっとみる
【論文瞬読】LLMの新たな思考形式:自然言語を超えて

【論文瞬読】LLMの新たな思考形式:自然言語を超えて

あいさつこんにちは!株式会社AI Nestです。
昨今は生成AIの開発が盛んで注目されていますが、リスクや課題も浮き彫りになっています。グーグルは自社の画像生成AIの不具合を修正し、AIの品質管理体制を見直しています。これはAIの透明性と公正性を向上させていくためには重要であり、我々も意識したいところです。

さて本日はLLMを活用して、下記の論文を「瞬読」してきたのでそちらをご紹介します。

もっとみる
驚異の1ビットLLMを試す。果たして本当に学習できるのか?

驚異の1ビットLLMを試す。果たして本当に学習できるのか?

昨日話題になった「BitNet」という1ビットで推論するLLMがどうしても試したくなったので早速試してみた。

BitNetというのは、1ビット(-1,0,1の三状態を持つ)まで情報を削ぎ落とすことで高速に推論するというアルゴリズム。だから正確には0か1かではなく、-1か0か1ということ。

この手法の行き着くところは、GPUが不要になり新しいハードウェアが出現する世界であると予言されている。マジ

もっとみる
論文調査メモ:NeRF-SLAM

論文調査メモ:NeRF-SLAM

*この記事は自分の研究テーマに関連したメモです。SLAMやNeRFの知識がある人向けです。

元論文以下、文中の論文引用番号は上記の元論文に合わせている。

概要NeRF-SLAM は、単眼 Visual SLAM のマップ部分に NeRF を適用したもの。ローカライゼーション目的の単純な幾何学的マップとしてだけでなく、NeRFの特徴を活かして、視覚的(測光学的)にも精度の高いモデルを同時に獲得で

もっとみる
Google Colab で LLaMA-Factory を試す

Google Colab で LLaMA-Factory を試す

「Google Colab」で「LLaMA-Factory」を試したので、まとめました。

1. LLaMA-Factory「LLaMA-Factory」は、WebUIによる簡単操作でLLMを学習できるLLMファインチューニングフレームワークです。

サポートするモデルは、次のとおりです。

サポートする学習法は、次のとおりです。

サポートするデータセットは、次のとおりです。

依存関係は、次の

もっとみる

化学者のための大規模言語モデル・ラボオートメーションのすすめ(草稿)


(23/12/25: 情報を追加したり、表現を少し変えたりしました)

あまり使う人いないと思いますが、本記事はCC BY 4.0ライセンスです。

本記事の趣旨筆者の最近のマイブームである表記の件について、日本語のわかりやすい解説記事を化学系の読者向けに書いてくださいと頼まれたので、頭の整理も兼ねて、下書きを記します。

間違いやフィードバックなどあれば、コメントをいただけると助かります。

もっとみる
エージェント型AIシステム構築の7つの原則: OpenAI『Practices for Governing Agentic AI』を読み解く

エージェント型AIシステム構築の7つの原則: OpenAI『Practices for Governing Agentic AI』を読み解く

本稿はLLM Advent Calendar 2023 19日目の記事です。

AIエージェントシステム構築のガイドラインについてOpenAIの研究者らが論じているホワイトペーパー『Practices for Governing Agentic AI』(2023年12月14日公開、以下ホワイトペーパー)の内容が非常に示唆に富むものだったので、本稿ではこの内容を読み解いていこうと思います。

注意事

もっとみる
ChatGPT特許調査方法

ChatGPT特許調査方法

ChatGPTがピークを迎え、色々ご質問を受けることも多くなりました。

LLMの特許出願やChatGPTなどLLMの最新のロジックを知りたいと言われて
色々試した一例を備忘録として残します。

国を問わず特許庁としてもちゃんと調べたいからか今年の1月IPCに新しい分類を作りました。
後で数字も載せますが今年1年での件数はいずれも中国だけ異次元の件数のため、知りたい情報にたどり着くには別の方法が必

もっとみる