AI Nest
記事一覧
【論文瞬読】多ショット文脈内学習が切り拓くマルチモーダルAIの新時代
こんにちは。株式会社AI Nestです。
今日は、最近読んだ興味深い論文について紹介したいと思います。この論文は、マルチモーダル基盤モデルにおける多ショットの文脈内学習（Many-shot In-Context Learning、以下 多ショットICL）の性能評価に関するものです。近年、大規模言語モデル（Large Language Models、以下 LLMs）やマルチモーダルモデル（Large
【論文瞬読】Wikipedia風の記事を一から書く - 大規模言語モデルとSTORMの挑戦
こんにちは！株式会社AI Nestです。
最近、Wikipediaのような長い記事を大規模言語モデル（LLM）で自動生成する研究が注目を集めています。でも、実はこれ、けっこう難しい課題なんです。今日は、この課題に挑戦した面白い研究を紹介しますね。
Wikipediaのような記事を一から書くのは大変Wikipediaの記事って、よく調べられていて、構成もしっかりしていますよね。でも、こんな記事をL
【論文瞬読】Transformerモデルの内部を覗いてみよう！- 整数加算から見えてきた驚きの事実とは
こんにちは！株式会社AI Nestです。
今回は、Transformerモデルの解釈可能性に関する最新の研究をご紹介します。Philip Quirke氏とFazl Barez氏による論文「Understanding Addition in Transformers」では、1層のTransformerモデルがn桁の整数加算をどのように実行するかを詳細に分析しています。その結果、モデルの内部動作に関す
【論文瞬読】大規模言語モデルのファインチューニングが変わる？LoRAの可能性に迫る
こんにちは！株式会社AI Nestです。
今回は、大規模言語モデル(Large Language Models, LLMs)のファインチューニングに革新をもたらすLoRAという手法について、最新の技術レポートをもとにご紹介します。
LoRAとは？LoRA(Low Rank Adaptation)は、LLMsをファインチューニングする際に、学習するパラメーター数とメモリ使用量を削減しつつ、通常のフ