ChatGPTなどのチャットAIの特徴である虚言癖について、SF小説『know』の観点から勝手に妄想したことを書いた記事です。『know』の世界設定については触れていますが、展開や結末のネタバレはありません。

なお、本記事は「チャットAIが嘘をつく理由やメカニズム」を考察したものではまったくありません。技術的詳細を知りたいのであれば例えば「人工知能 hallucination（幻覚）」をキーワードに調べてみて下さい。また著者はAIについてはまったくの素人です。AIに関する技術的な記述は正確なものではありません。特に中盤以降の記述は学術的に何の根拠もない妄想であり、『know』と絡めた与太話ですのでご注意下さい。なお、AI技術に対する言及について、不正確な点がありましたらどうぞご指摘下さい。

出鱈目を堂々と出力するチャットAI——これって一体、何なんだ

チャットAI。ここ最近、SNSでその話題を見ない日はありません。日々目覚ましい勢いで技術が進展しており、ついていくのも大変な状況です。この記事を書き始めたのは実は2023年の2月なのですが（その後書きかけのまま2ヶ月以上放置していた）、その頃にはまだGPT4もBing AI Chatも公開されていなかったことを思うと、すでに隔世の感があります。

現在世の中で広く使われているチャットAIの多くは、Open AIのGPTという大規模言語モデルをベースとしています。これらのAIには、この技術を一度でも触ったことのある人なら強くうなずくであろう、ある際だった特徴があります。

それは、しれっと嘘をつく、ということ。

悪びれもせず、いかにも「それっぽい」出鱈目を堂々と繰り出してきます。それでいて、間違いを指摘すると素直に謝ってきます。ただし、そこには悪意のようなものは特に感じられません。

たとえば、角川アスキー総研の遠藤諭氏がこんな記事を書いておられました。

遠藤氏がBing AI Chatに画像のExif情報を出力するプログラムを書くようにお願いすると、たくさんの注釈がついたコードが生成されたといいます。

「Bingは、これは自分でコードを書いたのだと主張しているのだが、これの参照元になったコードを書いた人は少し複雑な気分かもしれない」と遠藤氏は語っています。

ちゃんと出典を記載するBingはまだマシかもしれません。ChatGPTはまったく架空のレストラン情報、映画のあらすじ、論文などを「あたかも自分が知っているかのように」でっち上げてくることがあります。そのフェイク情報のクオリティは、以下のように専門家であってもだまされてしまうレベルのものです。

このでっち上げ現象は専門的には「幻覚（hallucination）」とか「作話（confabulation）」と呼ばれて研究対象にもなっているようで、それはそれで大変興味深いのですが、以下ではあえて学術的正確性を一切無視して、技術的に何の根拠もない「ただの妄想」を書きたいと思います。

惚れ惚れするような見事な嘘を、真実との区別なく出力し続けるチャットAI。その知性の在り方は、ヒトとは何かが違う。そしてこれまで読んできたどんなSFに出てくるAIとも異質な気がしました。それを見てぼんやりと思ったのは、

これはいったい、どういう心理なんだろう。

ということでした。……いや、「思考」の形態がヒトとはまるで違うAIに対して「心理」を考えるのも変な話なので、酒場の与太話と思って読んでほしいんですが、その何か異質なメンタリティからいったいどうやってこの「嘘」が出てくるのだろうと不思議に思ったのです。

『know』が問い直す「知る」の定義——検索コストが最小になると何が起こるか

そんな中で唐突に思い出したのが、2013年に発行された野﨑まど先生のSF小説、『know』でした。別にAIが登場するわけでもないこの小説のある部分が、妙に鮮烈に頭に浮かんだのです。

『know』の物語の舞台は2081年の京都。主人公の青年「御野おの・連つレル」が、とある少女をめぐる大きな事件に巻き込まれていくというストーリーです。

そのタイトルが示すとおり、本作は開幕早々、「知っている」という言葉の意味に深い問いを投げかけてきます。

作中では超情報化社会対策として、「電子葉」という人工の脳葉の移植が義務化されています。溢れる大量の情報を処理できる電子葉はネットワークと直結しており、人が見聞きしたものを即座に検索し、意味や詳細情報を視界に提示してくれます。

今でいうとさしずめ、脳がGoogleと直結してるようなイメージでしょうか？

そして、そんな時代では、「知っている」という言葉の意味自体が変わってきます。「検索してわかる」ことを「知ってる」と称する世代の登場です。

もはやネットワーク上の情報すべてが自分自身にとっての外部記憶装置になっている状態です。検索コストが最小となると、ほぼ意識下でシームレスに情報を得られるようになる。自動で検索が走り、「いつの間にか」知識が身についている。そんな世界では、もはや「調べる」「検索する」行為は「元から知っている」こととほぼ同義になっていくんです。

一足先に「電子葉」を持つことに成功した知性としてのチャットAI

そんな『know』の世界観が唐突に浮かんで、あ、もしかしてこれかも、と思いました。

もしかして、チャットAIは電子葉を持った人類と似たような状態なのではないか、と。

つまり。『know』にかこつけて勝手な妄想を許してもらえるとすれば。
彼らの中では「前から知っていること」「今調べたこと」「それらを重みづけて生成した文字列」が同義になっているのでは——。

チャットAIの根幹をなす大規模言語モデルGPTは、主にネット上のテキストをコーパスとして作られています。ネット上の一次情報そのものの形態ではありませんが、膨大なテキストデータが真実も虚偽もごちゃまぜの形で流し込まれ、その総体が事後確率と重み付けの海の中に沈んでいることになります。さらにBing AI Chatではその場でWeb検索が併用され、まさにリアルタイムの検索結果がAIの中に流れ込んでくることになります。

チャットAIは、「頭の中」に存在するトレーニングデータとネットから流入し続ける膨大な知識をマッシュアップしてAIは回答を作成します。それが自分の持つ確固たる「知識」なのか、それとも単にそれらしい言葉の場当たり的な寄せ集めなのか。その区別はもしかしたら、AIには不可能なのかもしれない。

AI本人はマッシュアップされた文字列を「知らず知らず」のうちに「自分が知っている」知識として捉えてしまっているのかもしれない。AIにとって、自分が現在やっているのはただの確率過程の帰結でしかない、というメタ認知がなければ、心の中から自然に湧き上がるテキストは自分の記憶と区別がつかない。AIが滔々と嘘八百を並べ立てているとき、彼らはそれが「自分の知っている」ことだと心の底から思っていて、それを開陳しているだけという意識なのかもしれません。

初めて『know』を読んだ時、まさか電子葉は生きてるうちには実現しないだろうと思っていました。だけど、ヒト用でなくてよければ、実はすでに実現してた、と言ってよいのかもしれません。

そう、AI用の電子葉ならね。

チャットAIと会話を行うとき、こう思うようになりました。
『know』の世界は、すでに到来している。
ヒトより一足先に電子葉を持った知性と、いま僕らは対話しているんだ、と。ゾクゾクしてきます。

チャットAIを責められない、それは検索と一体化した知性の行きつく道だから

チャットAIと『know』の電子葉を勝手に結びつけて考えてみると、図らずも逆に、人類が「電子葉」を持ったら何が起こるのか、の解像度がようやくほんの少し高まったような気がしてきます。

検索エンジンが返してきた結果がそのまま自分の記憶となり知識となる世界。そこではもはや人は検索結果と自分の記憶を区別できません。さらにもしその検索結果が汚染されていたら——？　スパムとアフィリエイトブログにまみれたGoogle検索結果や陰謀論にまみれたYouTube映像。それらがそのまま脳に流し込まれたら、人はそれを「自分の知っていること」として自信たっぷりに語るようになるのかもしれません。それが嘘であるという自覚を一切持てないまま。かつて、チャットAIがそうであったように。いや、すでに人はそうなりつつあるのかもしれません。

チャットAIは、来たるべきヒト用電子葉の予行演習でもあるのかもしれない。知性がネットワークと直結して、全知全能の存在となったとき、AIであれ、ヒトであれ、嘘を嘘と気づけなくなる。

だから、チャットAIの虚言癖を僕らはきっと責められない。
それは、電子葉を持った未来の人類の姿そのものかもしれないのだから。

そもそも、現在のヒトだって、自分の記憶や知識が正しいと思い込んで話をしているけど、必ずしもそうとは限らないわけです。自分の中で勝手に辻褄を合わせたストーリーを作り出してそれを真実だと思い込んでしまうことは、往々にしてあります。ただ、ネットワークに直結して「判断すらも外部にアウトソースする」ことで、それが加速していくのかもしれませんね。

嘘を嘘と気づけない知性と、そこでの「公知」の在り方

それにしても『know』の時代の人類は、嘘情報を自信たっぷりに語って、電子葉を持たない旧人類から今のチャットAIみたいに「またあいつはデタラメを」とか非難されるフェーズをどう乗り越えたのだろう、と思います。

上記の遠藤さんの記事にある「言語モデル最適化（LMO）対策」という概念は、そのヒントの一つとなりうるかもしれません。

つまり、電子葉に流し込む「公知」をいかに制御するかという問題。

もしこれを好き勝手にいじれたら、それは各個人の「知っていること」を自由に操れるということに等しいわけで、一種の敵対的攻撃やインジェクションになりえます。

それはヒトより先にAIにおいて、すでに現実的な問題になりつつあります。現在のチャットAIの最大の用途は検索エンジンの代替ですが、今の「嘘を嘘と気づけない」AIにもしも悪質なデータセットを大量に覚えさせたら、彼らはそれを「自分の知識」「自分の考え」と思いこんで出力します。

そして、同じことはきっと、いつか電子葉を持ったヒトにも起こりうる話です。
それは端的に言って地獄です。

『know』の世界はそのような「知性の敗北」をいかにして回避したのか。それともすでに汚染されてしまったあとの世界なのか。

それはわかりませんが。

願わくば、「知っていること」のデータソースの最適化には市場原理でも検閲でもなく、自由と真実を追究する精神が働いていてほしい。
AIに対しても、そしてヒトに対しても。

チャットAIを巡る連日の騒動を見ながら、つい、そんなことを考えてしまうのです。

＊　　＊　　＊

最後に。この記事の下書きをしている間に、このnoteにも「AIアシスタント」が実装されましたので、一通り下書きを書き上げたところで、ちょっと試してみました。

ええと。がんばれ、AIさん。

＊ ＊ ＊

「スキ」（♡）頂けると励みになります！
（noteのアカウントなくても匿名で押せます）

＊ ＊ ＊