見出し画像

ChatGPTの前身のGPT-2を使ったテキスト生成のサンプルコード

GPT-2とは、OpenAIが開発した自然言語処理のためのニューラルネットワークです。GPT-2は、大量のテキストデータを学習して、文章生成、文章要約、文章分類などのタスクを実行できます。

!pip install transformers==4.11.3

from transformers import GPT2Tokenizer, GPT2LMHeadModel

tokenizer = GPT2Tokenizer.from_pretrained('gpt2')
model = GPT2LMHeadModel.from_pretrained('gpt2')

text = "Hello, how are you today?"

input_ids = tokenizer.encode(text, return_tensors='pt')
output = model.generate(input_ids, max_length=50, do_sample=True)

generated_text = tokenizer.decode(output[0], skip_special_tokens=True)
print(generated_text)

GPT-2を使用してテキスト生成を行うためのコードです。まず、必要なライブラリをインストールして、transformersライブラリからGPT-2のトークナイザーとモデルを読み込みます。次に、テキスト生成のための入力テキストを指定し、トークナイズして、GPT-2のモデルにトークナイズされたテキストを入力して、テキスト生成を行います。最後に、生成されたテキストをデコードして出力します。生成されたテキストは、指定した入力テキストに対する応答として、ランダムに生成されます。



実行しますと、下記のように表示されます。

Hello, how are you today? Why are you here, Mister?" He nodded. He was now ready to go back in the elevator, if only he stayed here much longer. It took him forever to come to this

この記事が気に入ったらサポートをしてみませんか?