GPTsの登場により、誰もが簡単にカスタムチャットボットを作成できるようになりました。連日、多くの便利なGPTsが紹介されていますが、公開する際のリスクについては軽視されがちです。GPTsは非常に脆弱であり、例えば、世に公開されているほとんどのGPTsから、添付ファイルの情報を簡単に抜き取れてしまうという研究が発表されています。

ユーザー目線、LLMを使用する際のリスクとして「著作権侵害」「情報漏洩」「ハルシネーション」が挙げられます。この3つのリスクに対して、どういったスタンスで向き合えば良いか、事例を交えつつ述べていきます。

1. 著作権侵害

結論：ユーザー目線リスクは低いが、ファイルを読み込ませる際は、厳重な注意が必要。

LLMの学習に使用されたデータはしばしば、著作権で保護された文章を含んでおり、それによって生成された文章は、著作権に違反する可能性があります。実際、OpenAIとMetaは「著作権で保護された文章を海賊版の情報源から手に入れ、AIモデルの訓練に使用した」として訴えられています。

一方、LLMを使用したユーザーが訴えられた事例はないようです（著者調べ）。さらに、仮に訴訟されたとしても、モデル提供者がユーザーを保護することが一般的になってきています。

モデル提供者の多くが、ユーザーを守る仕組みを導入

例えばOpenAIは、Copyright Shieldという仕組みを発表しています。これは、ユーザーが著作権侵害に関する法的請求に直面した場合、ユーザーを保護した上で、訴訟に発生した費用を支払うというものです。*

同様の仕組みは、Meta (Copilot), Google (Duet AI), Adobe (Firefly) によっても発表されており、LLMに留まらず、様々な種類の生成AIサービスへの導入が進んでいます。

*現時点では、API経由で利用する開発者、またはEnterpriseプランに加入しているユーザーのみが対象となります。

ファイル読み込みは常にリスクと隣り合わせ

しかし、盲目的に安心することができません。GPTsに搭載されているファイル読み込み機能を用いて、Webページや書籍など、第三者が著作権を有する著作物を読み込んだ上で回答を生成する際には、一層の注意を払う必要があります。ここでは、適法・違法の線引きについて述べませんが、柿沼太一弁護士によるブログ記事が良い参考文献になるかと思います。

2. 情報漏洩

結論：プロンプトや添付したファイル情報は、基本的に全て盗まれると思っておいた方が良い。

GPTsから大量の機密情報が流出している

ユーザーとしてGPTsを使用する場合、特に注意すべきなのは「プロンプトの流出」と「添付したファイル情報」の流出です。プロンプトを通して、GPTsに役割や人格を与えることができ、ファイルを読み込ませることで、知識を拡張することができますが、実は、これらは信じられないほど簡単に流出してしまいます。2つの衝撃的な事例をご紹介しましょう。

GPTsの公開直後、企業の給与データやキャリア情報を提供している Levels.fyi の社員が、給与やジョブディスクリプション等の情報を含む自社データを読み込ませたGPTsを公開しました。給与事情を様々な形で可視化できることから、大きな人気を博していました。

ところがある時、あるユーザーが

というたった2回の簡単な質問だけで、読み込ませたファイルをダウンロードできてしまうというインシデントが発生しました。GPTsの公開者は試行錯誤の末、ファイル情報の安全性を確保するのは困難だと判断し、公開を取りやめています（参考：Xスレッド）。

また、11月20日にノースウェスタン大学の研究者によって発表された論文内では、200以上のGPTsに対して攻撃を仕掛けたところ、プロンプトを97%の確率、ファイル情報を100%の確率で抽出できたと述べられています。

攻撃は容易であり、多彩さは我々の想像の遥か上をいく

Levels.fyiの事例で示したようなシンプルな攻撃であれば、GPTsに与えるプロンプトに工夫を加えることで、簡単に防ぐことができます。例えば、こちらのぬこぬこさんのnoteに様々な対策が載っています。

しかし、全ての攻撃を網羅的に防ぐことは困難である上、そもそもプロンプトを調整するだけで防ぐのには限界があります。実際、例えば今年7月に、プロンプトをリークさせる完全に自動化された攻撃手法が提案されています。当時は、ChatGPTはもちろん、Claude, Bardといった他のLLMにも効く汎用的な手法でした。

これらの攻撃は、もはや我々ユーザーの対策できる範疇を超えています。にも関わらず、この章の冒頭で示したような、至ってシンプルな攻撃すら有効になっていることを踏まえると、OpenAI等のモデル提供者に対策を期待することはできません。現状は、プロンプトやファイル情報は全て盗まれる可能性があると思って使うべきでしょう。

なお、GPTsに限らず一般にLLMを使用したサービスを構築する上で、攻撃を防ぐための最も効果的な方法は、ユーザーの入力可能なテキストを制限することだと思っています。これは諸刃の剣で、過度な制限は、どんな入力も柔軟に受け付けることができるというLLMの長所を潰すことになります。設計者の腕が問われるところです。

3. ハルシネーション

結論：原理的に防ぐことが不可能。使用場面を熟慮した上で、検証する仕組みの導入が必須。

AIがもっともらしい嘘をつく現象は「ハルシネーション」と呼ばれ、今日に至るまで我々を苦しめています。ケンブリッジ大学が出版するケンブリッジ辞典は、「Hallucination」をWord of the Year 2023に選出しており、本年を象徴する言葉となりました。リテラシーが高かったとしても、たった1回の油断で簡単に、嘘つきと化してしまうのが恐ろしい点です。

Googleですら、ハルシネーションで痛い目に遭っている

今年2月、ChatGPTの後を追う形で公開されたBardのデモ動画において「ジェームズ・ウェッブ宇宙望遠鏡の新発見について、9歳の子どもに教えてあげられる事は？」という質問に対し、Bardは「太陽系の外の惑星の写真を初めて撮影した」と回答しました。しかし、実際に太陽系外の惑星の写真を初めて撮影したのは、チリの超大型望遠鏡であったことから、Bard及びGoogleに対する信頼が損なわれる結果となりました（参考：NRI）。

ハルシネーション自体を防ぐことは不可能

著者は今年3月よりGPT-4を利用していますが、毎日ハルシネーションに遭遇します。LLMの「前の文章を踏まえて、確率的にもっともらしい単語を出力している」という性質を踏まえると、原理的に防ぐことは不可能です。解決のための魔法はなく、ハルシネーションによるリスクが少ない場面で、検証作業とセットで使用していくほかないでしょう。

さいごに（主観を含む）

情報漏洩やハルシネーションに関するインシデントについて、小規模なものは時折発生しているものの、大きな損害に至ったケースは確認できませんでした。我々は今のところ、LLMを安全に使用できていると言ってあげても良いのではないでしょうか。

ただ、そう遠くない未来に、GPT-4の性能を凌駕するモデルが登場すると言われています。LLMへの信頼が高まっても、現在と同じく、慎重かつ疑い深く接していくことが、大事故を引き起こさないために最も重要なことだと考えています。

運営元の紹介

私たちは sayhi2.ai というサイトを作成しています。5000以上のAIツールを掲載しており、様々なAIツールを調査、深掘りすることができます。ぜひお試しください！

• 文章や目的を入力するだけでツールを探せる

• 実際にツールを試さずともChatbotが答えてくれる

• 厳選された5,000以上のAIツールから欲しいツールを見つけられる

• 独自のスコアリングアルゴリズムによるAIプロダクトの人気度の推定

またXでは、AIツールや関連するニュース・トレンドに関して、一段踏み込んだ考察を交えながら日々情報発信しています。是非こちらもフォローしてみてください！