sergicalsix

エンジニアをやっています。

sergicalsix

エンジニアをやっています。
  • 固定された記事

層に着目したLLMの口調の学習について

こちらは【第3回】生成AIなんでもLT会の登壇内容のnoteです。 👇【第3回】生成AIなんでもLT会のリンクはこちら 👇登壇資料はこちら（PDF化した時にサイズ変更があり、少しバグっているようです。） はじめにLLMのファインチューニングをしていると、ふと「学習した情報ってどこに保存されているんだろう？」と思うことはありませんか？ LLMの知識がどこに保存されているのかというお話は、議論されていて「全結合層に知識が保存されている」という仮説などあります。 またZe

sergicalsix

    • LLMの強化学習における新手法:TR-DPOの論文紹介

      論文名 Learn Your Reference Model for Real Good Alignment arXivリンク https://arxiv.org/pdf/2404.09656.pdf ひとこと要約 Direct Preference Optimization (DPO)を改良したTrust Region DPO (TR-DPO)を提案。 メモ 背景 従来のアラインメント手法は人間の選好に基づいて訓練された報酬モデルの値を最大化する強化学習が用

      sergicalsix

      • LLMの学習データの刈り込みに関する論文紹介[Cohere論文紹介No.2]

        論文名 When Less is More: Investigating Data Pruning for Pretraining LLMs at Scale arXivリンク https://arxiv.org/pdf/2309.04564.pdf ひとこと要約 LLMの学習データの質を3つの評価指標で評価し、データを刈り込むことでLLMの性能を上げられることを明らかにした。またシンプルな指標であるPerplexityによる学習データの刈り込みが最も効果的だった。

        sergicalsix

        • LLMの継続学習における論文紹介[Cohere論文紹介No.1]

          論文名 Investigating Continual Pretraining in Large Language Models: Insights and Implications arXivリンク https://arxiv.org/pdf/2402.17400.pdf ひとこと要約 LLMの継続学習においてドメインの内容や順序などについて調査。ドメインを類似度順で継続学習した方がドメイン特化させやすく、ドメインをランダムな順序で継続学習した方がLLMの性能・知

          sergicalsix
        • 固定された記事

        層に着目したLLMの口調の学習について

        sergicalsix

          Cohere関連の論文について

          はじめに以下のQiitaで宣言した通り、これからCohere関連の論文を紹介させていただければと思います。Cohere関連の全40件精読して紹介するのは少し大変ので、興味があるものだけピックアップしていきます。 論文のソースはこちら。 内容まずはClaude 3 Opusに40の論文を入れて2,3行で要約させて概観を理解し、論文のグループ分けしてみます。ここでは筆者が興味を持った論文のみを記載します。詳細な要約とグループ分けの出力は末尾に載せます。 大規模言語モデルの効

          sergicalsix

          Cohere関連の論文について

          sergicalsix

          In-context Learningの性能調査の論文紹介

          論文名 Long-context LLMs Struggle with Long In-context Learning arXivリンク https://arxiv.org/pdf/2404.02060.pdf ひとこと要約 長いIn-context Learningの性能についてベンチマークを作成して調査した。長いIn-context Learningにおいてタスクの難易度が上がるにつれ、LLMのパフォーマンスが大きく低下することが判明。 メモ 実験方法

          sergicalsix

          In-context Learningの性能調査の論文紹介

          sergicalsix

          LLMのアルゴリズム的推論能力向上の論文紹介

          論文名 Language Models as Compilers: Simulating Pseudocode Execution Improves Algorithmic Reasoning in Language Models arXivリンク https://arxiv.org/pdf/2404.02575.pdf ひとこと要約 LLMのアルゴリズム的推論能力を向上させるための新しいフレームワークTHINK-AND-EXECUTEを提案。 メモ 要約 大

          sergicalsix

          LLMのアルゴリズム的推論能力向上の論文紹介

          sergicalsix

          言語モデルの記憶のメカニズムについての論文紹介

          論文名 Localizing Paragraph Memorization in Language Models arXivリンク https://arxiv.org/pdf/2403.19851.pdf ひとこと要約 言語モデルの記憶のメカニズムについて調査。125Mの言語モデルの記憶には第一層の特定のアテンションヘッド(memorization head)が重要な役割を持っている可能性&特定のトークンが記憶の鍵を握っていると示唆。 メモ 要約 言語モデル(

          sergicalsix

          言語モデルの記憶のメカニズムについての論文紹介

          sergicalsix

          携帯のGPUでLLMを効率的に実行する論文紹介

          論文名 Transformer-Lite: High-efficiency Deployment of Large Language Models on Mobile Phone GPUs arXivリンク https://arxiv.org/pdf/2403.20041.pdf ひとこと要約 モバイル端末のGPUで大規模言語モデル(LLM)を効率的に実行するTransformer-Liteを提案。 メモ 手法 シンボリック式に基づくアプローチにより、動的な入

          sergicalsix

          携帯のGPUでLLMを効率的に実行する論文紹介

          sergicalsix

          AIの有害発言の検閲に関する論文紹介

          論文名 Recourse for reclamation: Chatting with generative language models arXivリンク https://arxiv.org/pdf/2403.14467.pdf ひとこと要約 AIチャットボットによる有害発言の検閲に対して、ユーザーが有害さの閾値を調整できる仕組みを提案。30人の参加者を対象とした小規模な実験で提案手法の有効性を確認。 メモ AIチャットの検閲について テキストがどれくらい

          sergicalsix

          AIの有害発言の検閲に関する論文紹介

          sergicalsix

          パーソナライズされたVLMの論文紹介

          論文名 MyVLM: Personalizing VLMs for User-Specific Queries arXivリンク https://arxiv.org/pdf/2403.14599.pdf ひとこと要約 パーソナライズされたVLMであるMyVLMを提案。少数の学習データ(3-5枚)で特定の個人の情報をVLMに統合可能。 メモ VLMの課題 現在のVLMは一般的な知識を持っているものの、個々のユーザーに特化した理解は難しい。(例えば、VLMは犬の画

          sergicalsix

          パーソナライズされたVLMの論文紹介

          sergicalsix

          LLaMA-Factoryの論文紹介

          論文名 LLAMAFACTORY: Unified Efficient Fine-Tuning of 100+ Language Models arXivリンク https://arxiv.org/pdf/2403.13372.pdf ひとこと要約 簡単かつ効率的にLLMのファインチューニングを行うためのフレームワークであるLLaMA-Factoryの紹介 メモ LLaMA-Factoryの特長 モデル、データセット、トレーニング手法間の依存関係を最小限に抑え

          sergicalsix

          LLaMA-Factoryの論文紹介

          sergicalsix

          LLMの強化学習をLoRAによって効率化する論文紹介

          論文名 PERL: Parameter Efficient Reinforcement Learning from Human Feedback arXivリンク https://arxiv.org/pdf/2403.10704.pdf ひとこと要約 計算コストが高いLLMのRLHFをLoRAで効率化する手法(PERL)を提案 メモ RLHFは有効なLLMのファインチューニング手法だが、計算コストが高く複雑である。そこでLoRAを用いてパラメータを効率化させたP

          sergicalsix

          LLMの強化学習をLoRAによって効率化する論文紹介

          sergicalsix

          LLM最終層の次元数を攻撃によって明らかにする論文紹介

          論文名 Stealing Part of a Production Language Model arXivリンク Stealing Part of a Production Language Model (arxiv.org) ひとこと要約 (APIを通じて)モデルのロジットベクトルを得ることができれば、最終層の次元数を正確に知ることができる。 前提: 最終層での処理 LLM内部の最終層では、隠れ層のベクトル(次元数h)をロジットベクトル(次元数l)に写像する

          sergicalsix

          LLM最終層の次元数を攻撃によって明らかにする論文紹介

          sergicalsix

          高性能なマルチモーダル大規模言語モデル:MM1についての論文紹介

          論文名 MM1: Methods, Analysis & Insights from Multimodal LLM Pre-training arXivリンク https://arxiv.org/pdf/2403.09611.pdf ひとこと要約 高性能なマルチモーダル大規模言語モデル(MLLM)であるMM1モデルを構築。MM1は豊富な事前学習の実験で得られた知見によって構築。 メモ MLLM作成のための要素 アーキテクチャ: 事前学習済みの画像エンコーダーの

          sergicalsix

          高性能なマルチモーダル大規模言語モデル:MM1についての論文紹介

          sergicalsix

          LLM解釈手法のPLNDについて語る

          前回のnoteの続きです。 How do Large Language Models Handle Multilingualism?ではPLNDという言語固有ニューロン検出手法が提案されていました。言語固有ニューロン検出ということで広くみると、XAI領域、つまりLLMの解釈手法とも見て取れます。 今回はPLNDについて少し考えます。 PLNDについてPLNDは、ある言語の入力に対して特異的に反応するニューロンを検出する手法です。基本的なアイデアは、各ニューロンの活性化が

          sergicalsix

          LLM解釈手法のPLNDについて語る

          sergicalsix