ChatGPT 4がリリースされて1年が経ちました。日々利用してる方も多いと思います。ChatGPTのように、人間の言語を理解し、文章を生成するために設計された人工知能（AI）技術の一つをLLMと呼びます。LLMは、インターネット上の大量のテキストデータを読みこみ、人間が使う言葉のパターンを模倣することで、文章の読み書きや会話を行う能力を持っています。

LLMは世界中で日々研究開発が進んでいます。AIモデルのポータルサイトのデファクトスタンダードとも言える、Hugging Faceというサイトには、今日現在で、620,062モデルが登録されています。https://huggingface.co/models

モデルとは？

AI関連の話には「モデル」という単語がよく出てきます。Metaがモデルを公開したとか、モデルのパラメータ数がいくつだとか。「モデル」もモデルの優劣を示す「パラメータ数」もなんのことだかわからない！という人多いのではないでしょうか。

AIに何か入力すると、何か出力されます。入力から出力までの過程で多くの計算が行われますが、その計算式の塊を「モデル」と呼びます。AIが優れているかどうかは、この計算式の塊が正しい答えを出してくれるかどうかにかかっています。様々な入力に対して様々な出力があり、その出力の正しさを競っているのがAIの精度の戦いです。精度を上げるために人類は試行錯誤してるわけですが、ここ最近コンピュータの演算性能が劇的に上がってきたため、実用的なAIが生み出されてきました。最近は日経新聞にも、「性能の指標となるパラメーター数」という表記があります。AIの精度を上げるために、計算式の塊の大きさを増やすという取り組みが行われ、ある一定の規模を超えると突然AIが賢くなるという現象が報告されています。本日の日経のニュースに、「経済情報特化の生成AI、日経が開発　40年分の記事学習」とあり、性能の指標となる「パラメーター数」は130億と700億の2種類を開発したと出ています。パラメーター数700億というのが、最近の流行りでよく聞きます。

AIのモデルは、大量の計算式の組み合わせです。しかし、1つの計算式は、極論すると基本的に入力データxに対して、掛け算して（aを掛けて）足し算して（bを足して）、yを出力するという単純なものです。パラメーター数700億とは、モデル全体の大量の計算式の中に700億個のa,bが存在するという意味になります。

y = ax + b

このような、y = ax + bがのa,bが700億個あって、大量の計算を行って答えが出ます。aとbをどうするか、出力yを次のどの数式に入力xとして入れるか、数式を並べる順序をどうするか、このあたりを全部決めて、AIのモデルが作られます。

LLM (Large Language Model)とは？

ChatGPTに代表されるLLMは、これまでのAIに比べて何が違うのでしょうか？ユーザ視点では、やはり文章でAIとやりとりできる点だと思います。

自分：お勧めの経営戦略の本を5冊教えてください。

ChatGPT：経営戦略について学ぶためのお勧めの本を5冊ご紹介します。これらの本は、戦略的思考を深めるための理論や実践例が豊富に記載されています。

1. 『競争の戦略』（マイケル・E・ポーター著） マイケル・ポーターのこの本は、競争戦略の理論に革命をもたらしました。業界の構造分析とその中での競争優位を築くための戦略が詳細に説明されています。

2. 『ブルーオーシャン戦略』（W・チャン・キム＆レネ・モボルニュ著） 競争の激しい市場を「レッドオーシャン」とし、競争のない新市場を創出する「ブルーオーシャン」を提案。イノベーションを通じて新しい市場空間を創造する方法が展開されています。

3. 『グッド・トゥ・グレート』（ジム・コリンズ著） 長期にわたり優れた成果を上げ続ける企業とそうでない企業の違いを分析。持続可能な成功を達成するための経営戦略が解説されています。

4. 『リーン・スタートアップ』（エリック・リース著） スタートアップ企業や新規事業の立ち上げにフォーカスし、リーン思考と迅速なフィードバックループを用いて効率的に市場へアプローチする方法を提供します。

5. 『戦略思考の技術』（大前 研一著） 日本の著名な経営コンサルタントによる戦略立案の手法や考え方が解説されています。特に日本企業における事例が豊富に紹介されているので、日本のビジネス環境に対する理解が深まります。

これらの本は、理論的な背景と実践的な知見のバランスが取れており、経営戦略を学ぶ上で非常に有用です。

サクッと教えてくれますね。このようなやり取りを人類は夢見て様々な研究をしてきたのですが、結局大規模なモデルを作り、大量の良質なデータを使ってパラメーターを決定する方法が一番良いんじゃないかということになりました。

以前、「AIは文章を考えてる訳ではない。」という主張をしたところ、「人間の脳だって別に次の単語をなんとなく吐き出してるだけですよ。」と言われたことがあり、確かにと思ったことがあります。みなさんの脳はどのように、次の単語を導き出してますか？

どうでしょう？
モデルを開発するとか、パラメータ数どうするとかという話題についていけるようになったでしょうか？😆
次回からはより事例も交えながらAIに関して書いていこうと思います。

コラム：大規模ってどれくらいのサイズ？

大規模言語モデルに関しては、何をもって「大規模」と定義するかには多少の幅がありますが、一般的には数百万から数十億のパラメータを持つモデルが大規模とされています。
最近は70億（7B）ぐらいだとイマイチで、700億（70B）だとかなり賢いというのがなんとなくの目安じゃないでしょうか。もちろん汎用性の高いAIを作ろうと思ったら、かなり大きなモデルにする必要があり、特定用途のAIを作ろうと思ったら、小さめのモデルでもいい精度が出る傾向があります。
大きなモデルを動かそうと思うと計算量が多いので、大量の高性能GPUが必要になるという状況が続いています。結局「NVIDIAが強い」という状況が続いてます。しばらくこの状況が続くのではと考えます。