GPT-NeoXT-Chat-Base-20Bは、OpenChatKitの基礎となる200億のパラメータの言語モデルです。この言語モデルは、EleutherAIのGPT-NeoXというオープンソースのGPT-3クローンから派生したもので、対話に特化したデータで微調整されています。この言語モデルは、Huggingfaceにて公開されており、Google ColabやLangChainなどで利用することができます。

今回は、下記のページを参考にさせて頂いております。

コードは、非常にシンプルです。Google Colabで実行するのでtransformersをインストールしておきましょう。

!pip install transformers

from transformers import pipeline
pipe = pipeline(model='togethercomputer/GPT-NeoXT-Chat-Base-20B')
pipe('''<human>: Hello!\n<bot>:''')

結果は、Google ColabのProプランで、システムRAMが80GBくらいありましたがクラッシュしてしまいました。もう少し大きめのシステムRAMで実施しないとならないかと思います。ただ、200億パラメータがユーザ側でも持つことが出来るようになりそうなのは感慨深いです。