ChatGPTの前身のGPT-2を使ったテキスト生成のサンプルコード
GPT-2とは、OpenAIが開発した自然言語処理のためのニューラルネットワークです。GPT-2は、大量のテキストデータを学習して、文章生成、文章要約、文章分類などのタスクを実行できます。
!pip install transformers==4.11.3
from transformers import GPT2Tokenizer, GPT2LMHeadModel
tokenizer = GPT2Tokenizer.from_pretrained('gpt2')
model = GPT2LMHeadModel.from_pretrained('gpt2')
text = "Hello, how are you today?"
input_ids = tokenizer.encode(text, return_tensors='pt')
output = model.generate(input_ids, max_length=50, do_sample=True)
generated_text = tokenizer.decode(output[0], skip_special_tokens=True)
print(generated_text)
GPT-2を使用してテキスト生成を行うためのコードです。まず、必要なライブラリをインストールして、transformersライブラリからGPT-2のトークナイザーとモデルを読み込みます。次に、テキスト生成のための入力テキストを指定し、トークナイズして、GPT-2のモデルにトークナイズされたテキストを入力して、テキスト生成を行います。最後に、生成されたテキストをデコードして出力します。生成されたテキストは、指定した入力テキストに対する応答として、ランダムに生成されます。
実行しますと、下記のように表示されます。
この記事が気に入ったらサポートをしてみませんか?