こんにちは、IVRyでAIエンジニアをやっているべいえりあです。今回はタイトルの通り、Andrew NgのGenerative AI for Everyoneを見て自分の心に刺さったこと、そしてそれらについての個人的なコメントを書いていこうと思います。

Generative AI for Everyoneについて

こちらの講義は機械学習やAI教育についての第一人者と言っても過言ではない、Andrew Ng先生のLLMの応用についての講義になります。

タイトルにはGenerative AIとありますが、画像生成AIなどはほぼほぼ登場せず、基本的にはLLMをどう使うのかについての講義となっています。また、Everyoneとあるように機械学習の専門家やエンジニア以外でも分かる内容になっているかと思います。Andrew Ngは言語化が非常に上手いので、機械学習の専門家が見ても知識を整理する上で有用なんじゃないかと思います。

古のNLPエンジニア？

自分がNLPを始めたのは2013～2014年くらいのちょうど深層学習がNLP業界に本格的に入ってきた時期です。10年程度で古のNLPエンジニアを名乗って良いのかは諸説あると思うのですが、その辺は温かい目で見ていただけると幸いです。

心に刺さったこと8選

というわけで、こちらが心に刺さったこと8選です。「筆者コメント」の部分にそれぞれの項目について自分が思ったことや補足事項を記載しています。

LLMのユースケースの分類

＜筆者コメント＞
LLMは「生成AI」として「ライティング」の側面が強調されがちですが、「読解」に使えるということは覚えておいてほしいですし、自分がLLMを使って実サービスを作る際にはほぼほぼLLMを読解に使っています。

個人的にはライティングと読解それぞれのユースケースを以下のような感じで捉えています。

• ライティング：翻訳などのLLMがかなり精度高くできる応用を除いては基本的にはrecall重視。人が確認することが前提となるのでprecisionはそこまで必要としない。

• 読解：こちらは基本的にはLLMがかなり高い精度で出来るので、人の確認は最小限でも使えることが多い。後ほど出てくるautomationを目指す場合は精度が効いてくるので、こちらの方が使いやすい。

完璧なプロンプトを学ぶより、より良いプロンプトに開発するためのプロセスを学ぶ

＜筆者コメント＞
Andrew Ngは機械学習系のオンライン講座でも似たようなことを言っており、最初のプロトタイプは最小の労力で作り、そこから改善のイテレーションを繰り返せということを言っています。

あと、「何故LLMが望んだ通りの出力をしないかを考える」部分については自分で考えずにLLMに教えてもらっても良いと思っていて、その点について過去に書いたブログ記事があるので気になる方は読んでみてください。

LLMのコストは（人間と比べると）非常に安い

＜筆者コメント＞
本講義内ではChatGPTなどのclosedモデルのAPIについて、「各企業が安く推論するためにいろいろな努力をしているので、比較的安価である」とも述べられています。

Closedモデルはそんなに高くないし、運用に関する様々なめんどくさいことをサービス提供者にほとんど丸投げできるので、初手はとりあえずclosedモデル使うのがいいんじゃないかと思っています。

OSSモデルの選び方

＜筆者コメント＞
技術の進歩と共に同じ性能のモデルはどんどん小さくなっていくので、この辺りの「常識」も時間と共に変化しています。2023年12月現在でも、7Bくらいでそれなりに複雑な推論をできるモデルはあるはずなので、知識を都度アップデートしていきたいですね。

日本語性能のリーダーボードとしてはNejumi LLMリーダーボードなどが有名で、日本語のベンチマークデータセットであるJGLUEでのスコアでランク付けされています。JGLUEによる評価はリークしてるんじゃないかとかいろいろ問題はあるのですが、それなりに参考にはなるんじゃないかと思います。

Augmentation vs Automation

＜筆者コメント＞
Automationの方が難しいけれどもインパクトが大きいという点で、自分はaugmentationよりも（最終的には）（タスクの大部分の）automationを成し遂げることにこだわっていきたいです。

LLMがプロンプトだけでタスクを遂行できるかどうかの判断法

＜筆者コメント＞
上記の話の後にAndrew Ngも言っていますが、ChatGPTはWeb UIで簡単に試せるので、とりあえずプロンプト書いてみてChatGPTがそのタスクを遂行できるのかを実際に確認してみるのが良いと思います。

LLMサービスを作るためのチーム

＜筆者コメント＞
何かを作るだけならエンジニアだけでもできるのだけれども、それが使われないことには意味が無いので、「使われること」に対して

• プロダクトマネージャー

• 「使われること」に対する意識が高いエンジニア

のどちらかが責任を持たないといけない気がしています。

LLMによって影響を受ける可能性が高い職種

＜筆者コメント＞
一番影響を受けそうなのが教育系というのは何となく自分もそう思っていて、より効率の良い教育のためにAIはフル活用されるべきだと思っています。

最後に

以上、自分がGenerative AI for Everyoneを見て心に残ったこと8選でした。これらはあくまで自分の心に残ったことで、これら以外にも講義の中で大事な情報はたくさんあると思うので、LLMについて学びたい皆さんはこの記事を読んで満足せず、実際にコースを受講してみるのがいいんじゃないかと思います。

IVRyではAIエンジニアを絶賛募集中です。

今回はLLMの基礎知識について書いたわけですが、IVRyでは複数のLLMプロジェクトが走っており、LLMをいじり倒すという意味では最高な環境なんじゃないかと思っています。LLMを使ったサービスを極めたい方は是非応募してみてください！