日本語LLM の学習に関する技術記事をまとめました。日本語LLMの開発元の技術記事およびプレゼン資料が中心になります。

2023年

5月9日 wandb - LLMをゼロからトレーニングするためのベストプラクティス

5月22日 LLM-jp - 第1回 LLM勉強会

6月19日 LLM-jp - 第2回 LLM勉強会

7月20日 LLM-jp - 第3回 LLM勉強会

7月23日 Rinna - Japanese MiniGPT-4: rinna 3.6bとBLIP-2を組み合わせてマルチモーダルチャットのモデルを作る

8月18日 LINE - Instruction Tuningにより対話性能を向上させた3.6B日本語言語モデルを公開します

9月4日 LLM-jp - 第4回 LLM勉強会

9月7日 Turing - Build and Play! Your Own V&L Model Equipped with LLM!

9月12日 ELYZA - ELYZAが公開した日本語LLM「ELYZA-japanese-Llama-2-7b」についての解説 : (1) 事前学習編

9月12日 Turing - Introducing “Heron”: A Multilingual, Multimodal Learning Library with 70 Billion LLM

9月20日 Stability AI - Stability AI Japanにおける大規模言語モデルの研究開発

9月26日 ELYZA - ELYZAが公開した日本語LLM「ELYZA-japanese-Llama-2-7b」についての解説 : (2) 評価編

9月28日 Preferred Networks - PLaMo-13Bを公開しました

10月3日 wandb - LLMファインチューニングとプロンプトエンジニアリングのベストプラクティス

10月17日 Turing - 完全自動運転にLLMは必要か？

10月18日 LLM-jp - 第5回 LLM勉強会

11月7日 Preferred Networks - 指示学習済み大規模言語モデル PLaMo-13B-Instruct を公開しました

11月10日 Stability AI - LLMの開発は難しい？簡単？Stability AIの現場から

11月29日 LLM-jp - 第6回 LLM勉強会

12月4日 Shisa - A Review of Public Japanese Training Sets

2024年

1月16日 ELYZA - ELYZAが公開した日本語LLM「ELYZA-japanese-Llama-2-7b」についての解説 : (3) 英語での性能評価編

1月22日 LLM-jp - 第7回 LLM勉強会

1月25日 ELYZA - オープンなLLM (大規模言語モデル) の発展と、 それを活かした日本語LLMの開発について

2月2日 KARAKURI - KARAKURI LM の解説

2月8日 Swallow - 東工大Swallowプロジェクトにおける大規模日本語Webコーパスの構築

2月9日 LLM-jp v1.1 チューニング済みモデル・データ公開

2月22日 大規模言語モデルを作る、拡張する

2月25日 μTransfer: 小規模モデルでのハイパラ探索を大規模モデルに転移し学習を効率化する

3月6日 Turing - 日本語Vision Languageモデル heron-blip-v1の公開

3月11日 Swallow-MS: Mistral日本語継続事前学習モデル

3月11日 Swallow-MX: Mixtral日本語継続事前学習MoEモデル

3月11日 作って学ぶ日本語大規模言語モデル

3月12日 ELYZA - 700億パラメータの日本語LLM「ELYZA-japanese-Llama-2-70b」を開発し、デモを公開しました

3月12日 松尾研LLM開発プロジェクトのキックオフを開催しました。

3月21日 sakana.ai - 進化的アルゴリズムによる基盤モデルの構築

3月22日 Karasu - How to train a Karasu

3月26日 LLM-jp - 第8回 LLM勉強会

3月28日 大規模言語モデル開発のための日本語 Instruction データセット作成の取り組み

3月29日 Cotomo - おしゃべりAI「Cotomo」　自然な会話はどう実現？　創業者に聞く

3月29日 LLMの現在

4月1日 LOCAL AI HACKATHON #000

4月8日 Physics of Language Models: Part 3.3, Knowledge Capacity Scaling Laws

4月10日 wandb - 大規模言語モデル（LLM）評価のベストプラクティス

4月10日 日本語LLM 9種を量子化して回答内容を比較調査してみた

4月15日 Turing - Heron-Bench: 日本語Vision＆Languageモデルの性能評価ベンチマークの公開

4月15日 饒舌な日本語ローカルLLM【Japanese-Starling-ChatV-7B】を公開しました

4月17日 Sakana AI - Evolutionary Optimization ofModel Merging Recipes

4月17日 ChatVectorで新モデル作って評価して遊ぶヤツ、自分もやりたい

4月20日 llama.cpp：iMatrix量子化は日本語性能にどう影響するか？

4月24日 LEIA: 言語間転移学習でLLMを賢くする新しい方法

4月27日 Mergekit-Evolve登場！進化的アルゴリズムで手元のLLMを最強進化させよう！

5月1日 LOCAL AI HACKATHON #001