GPT-4の構成やパラメータ数は今のところ明かされていません。OpenAIがあえて発表しないのAIの危険性を避けるためだそうですが、実際には自分のビジネスを守るという一面もあるでしょう。

ところが、PyTorchの開発者であるMetaのSoumith ChintalaのツイートがGPT-4の構成やパラメータ数について言及しています。彼は、「GPT-4は8個のエキスパートから構成されている」と言っています。このエキスパートとは大型言語モデル（LLM、Large Language Model）のことで一つにつき2,200億のパラメータを持つそうです。合計で、1.76兆となります。

でも、この情報は彼自身のものではありません。