TOEFL ibtを受けてきました！ R&Lのunofficial scoreはRが30/30 Lが25/30で非常に良かったんですが、Sが壊滅的だったんで90あれば御の字、80でもまあ...と言った所でしょうか (´；ω；｀)

研究室の配属を決定する面談がTOEFLの2日前にあるとかいうク〇スケジュールを組んでしまった結果、悶絶しています。 誰だこんなタイミングにTOEFL申し込んだヤツ()

スパム⁉︎バグ⁉︎アカウント乗っ取り⁉︎

再来週にTOEFLの受験を控えているので、それまで一旦英語の勉強に集中します m(_ _"m) 得意教科とは言えども流石に怖いですから...()

今更聞けないLLM解説まとめ⑥RLHF

どうも、それなニキです。 今回で理論周りの話は最後になります！ 1.RLHFの概要と目的さて、今回扱っていくのは RLHF (Reinforcement Learning with Human Feedback) です。 まあ「人間のフィードバック付きの強化学習」という名前そのまんまです。 これまでの事前学習・Fine-Tuningでは、与えられた回答と推測を直接比較してその誤差から学習を行っていましたが、強化学習では人間(知的エージェント)がLLMの出力結果に点数付け

【雑談】遊戯王のランキングデュエルに初めて行った話

どうも、それなニキです。 先日、LLMの復習やバイトの隙間を縫って遊戯王のランキングデュエルに初めて行ってきました。 マスターデュエルからOCGを始めた身としては色々驚きがあったので、テキトーにだべっていきます。 (イベント情報)今回ランキングデュエルということでお邪魔したのは遊戯王サテライトショップ秋葉原です。 …とりあえずカードゲームやるならアキバでしょという感じで適当に選びましたが、今考えるととんでもないところに手を出したような気がします。 マッチ戦、スイスドロ

今更聞けないLLM解説まとめ⑤Fine Tuning

どうも、それなニキです。 今回も勉強を続けていきましょう。 いつものごとく、自分の思考まとめで読みにくいですがご了承ください。 また、最初からそうですが、基本的には松尾研のLLM Summer School 2023の内容を全面的に参照しています。 1.LLMにおけるFine-Tuningの位置づけまずはLLMを訓練していく上での流れを俯瞰してみましょう。 これまで扱ってきた「事前学習」はこのプロセスにおけるStep1に該当しますが、今回扱う「Fine Tuning」

件のプレイマットが届きました。 縫いはじめ・縫い終わりの処理が少し見えていますが、まああんまり気にならないし品質はヨシ！ ...デザインはギリアウト(R15くらい?)なので上げませんが原神の胡桃です。 これで送料込み500円行かないんだから凄い時代だなぁ...

今更聞けないLLM解説まとめ④事前学習のスケール

どうも、それなニキです。 今回も引き続き取り組んでいきましょう。 1.LLMのスケールについて今回はLLMのスケール(大規模化)について扱います。 第三回を見ていただいた方には、LLMの性能(Lossの小ささ)はAttention機構やFeed Forward内のパラメータによって決まってくる、ということはご理解いただけると思います。 そこから、たくさん学習すればパラメータがより最適化されて、性能が向上するだろうなぁ、という想像はできるでしょう。 では、実際のところよ

円安真っ盛りの2024年3月にTOEFL受験申請をした者の叫び

雑談:アニメ・ゲーム関係の話(特に遊戯王)

どうも、それなニキです。 最近になって時々自分の最初の投稿にいいねをいただくことがあり、久々に投稿を見直してきました。 そこに、取り扱う話題について 「アニメ・ゲーム関係」 とかいう記述があり、めっちゃ大嘘してるなぁと思ったので、LLM勉強から一瞬脱線して、アニメ・ゲームの話でもしようと思います。 アニメの話これまで見てきたアニメの中で特に気に入っているリストを挙げると Key系(CLANNAD, AIR, リトルバスターズ, Angel Beats!, 神様になった

今更聞けないLLM解説まとめ③事前学習

始めにどうも、それなニキです。 今回から本格的にLLMの仕組みを掘り下げていきます。 相も変わらず私の思考メモなので読みづらいですが悪しからず。 1.ニューラル言語モデルまずは、LLMを解説するうえで基礎となる言語モデル(LM)の構造から扱っていきます。 第一回でちらっと触れたと思いますが、言語モデルというもの自体はそれほど新しいものではなく、過去に様々なタイプが開発されてきています(n-gram言語モデル等)。 しかし、今日話題となっているLLMにおいては、ニュー