初めまして、みずぺーといいます。
このnoteを機に初めて私を知った方のために、箇条書きで自己紹介を記述します。

• 年齢：28歳

• 出身：長崎

• 大学：中堅国立大学

• 専門：河川、河川計画、河道計画、河川環境

• 転職回数：1回（建設（2年9か月）→IT系年収100万up（現職3か月））

• IT系の資格：R5.4基本情報技術者試験合格💮、R5.5G資格

本日は大規模言語モデルの変遷について解説。

時代背景

• 2017年6月　Transformer

• 2018年2月　ELMo

• 2018年6月　GPT

• 2018年10月　BERT

ELMo、BERT、GPTの特徴

それぞれの特徴を図にまとめてみました。

違いはモデルの学習方法とそれに基づく用途の違いだけかなと思います。

BERTは双方向なので、文脈を踏まえた、

• 文章分類

• 文章要約

• QA

• チャットボット

• 翻訳

これらに向いてます。

一方GPTは単方向で過去の単語を元に後の単語を生成するのが得意なので

• 文章生成

• 会話応答

• ポエム

等の生成に向いてます。