こんにちは、Martinです。ChatGPTは最近のアップデートにより、論文などの長文をまるごと要約する能力が向上しました。より多くの文字数を扱えるようになったのです。

新しいAPI（gpt-4-1106-preview）の登場により、ChatGPTが取り扱えるトークン数が128kまで増加しました。さらに助かることに、APIを使用しない通常のChatGPTの利用でも、入力できる量が増えているようです。

長文入力を試してみる

例として載せるいい感じの論文をぱっと見つけれなかったので代わりにWikipediaの長文を載せてみます。

このwikiは文字数カウントによると、注釈や参考文献などを含めると「22920文字」です（！）

以下のようにwikiをコピペして質問しました。かぐや姫サミットの項目が後半の方にあったのでちゃんと読んでいるのか確かめるために聞いてみました。

返答はこんな感じです。指定したところも割とちゃんと抜き出してくれました。ちょっと前までは考えられないような情報量を取り扱ってくれます。なお、論文を読ませていて英語の方が精度がよい感じはしました。

PDFを読ませてみる

また適当にこのPDFを読ませてみました。このPDFはなんと54ページもあります。文字数カウントによると「35593文字」でした。

防衛省　防衛力抜本的強化の 進捗と予算　令和６年度概算要求の概要
https://www.mod.go.jp/j/budget/yosan_gaiyo/2024/yosan_20230831.pdf

中身を読んで確認すると、最後の方が途切れてしまっていることがわかりましたが、適当なことを言っているわけではなくChatGPTは中身を飛ばさずに読んでいることがわかりました。

入力容量の増加が意味するものは？

多くのユーザーがこのトークン数の増加を待ち望んでいました。なぜなら、それにより論文を丸ごと読ませ、要約したり、目次を作成したり、特定のセクションの原文を抽出したりすることが可能になるからです。これまでChatGPTは、長い文章を入力しても「長すぎる」と断わることが多かったのですが、その問題が解消されつつあります。

トークン数の増加がもたらすメリット

これまでChatGPTのGPT-4は実質的に2kトークン、特に日本語では約2000文字しか扱うことができませんでした。（GPT-3なら4k。）APIを使用しても、最大8kトークン、日本語で6000文字程度でした。

今回のアップデートでChatGPTでも数万トークンは扱えるようになったとみられます。倍の256kまでいけば論文だけでなくほとんどの本も読ませられるようになりそうです。

飛躍的なスピードで論文を読む

新しい機能により、論文を読むスピードが劇的に上がると予想されます。1本の読む時間が早くなるというより、よい多くの論文をチェックすることが可能になりそうです。これは研究者や学生にとって非常に価値のある進歩であり、短時間で多くの文献を要約し、重要な情報を抽出することが可能になります。

さまざまな応用の可能性

読むだけでなく、さまざまな応用が期待できます。特定の情報を必要とする際に、関連する部分を素早く抜き出せる能力は、研究などの効率化に大きく寄与するでしょう。

なお最近は要約や目次の出力をしてもらって超重要だと思ったテキストは、音声合成ソフトに読み上げてもらって移動中に聞いたりしています。

残念ながら出力量はあまり変わらない印象・今後に期待

ただ読むだけではなく、様々な応用が期待されるChatGPTですが、その出力量に大きな変化はありません。しかし、来年にはさらなる進化が期待されており、数百本の論文を読ませてそのイントロを作成するなどの作業も夢ではないかもしれません。

追記：長いコードを読んでもらえるのも便利

プログラミングコードも前までは全体を入れるとトークン数オーバーになることがよくありました。今回のアップデートにより、全体をとりあえずコピペしてデバッグしてもらったり、読みやすいコードに変えたりしやすくなりました。今後は、GPTとともにコードを書いて全体を一緒に把握してもらいながら進めていく方針になりそうです。特定のコード専用のスレッドを作るのがいいかもしれません。

追記：1万文字くらいまでしか読ませられなくなったかも

使っていてChatGPTの方のトークン数の上限値が下げられたような感じがしています。どうもGPTsという新機能の登場で多くの人が利用するようになり、サーバーが混みすぎているようです。またすぐ元に戻るかもしれませんが。

追記：ものによってはGPTsの方のknowledgeに読み込ませた方が精度が高いかも

ChatGPTのトークン数は増えましたが、読み込ませる量の増加とともに精度が落ちることがわかっています。それに対してknowledgeにPDFなどでデータを読み込ませることができるGPTsの方は、Embeddingという別の仕組みで読み込ませた情報を処理しているようで、やり方によってはChatGPTよりも精度が出るらしいです。（正確には精度の出方に癖がある。Embeddingについての説明は少し長くなるので省略します。）

おわりに

まあなんというか論文が読めるくらいのトークン数の増加はいつか来るとは思っていましたが、いざ使ってみるとなかなか衝撃的でした。

最後まで読んでいただき、ありがとうございます！もし気に入っていただけたら、ぜひスキとフォローをお願いします。みなさまからの反応は、わたしが質の高い記事を書き続けるためのモチベーションにつながります。

この記事を読んだ方が興味を持ちそうな記事