ChatGPTが夢を見ようと見まいと、3月6日は月曜日である。

ChatGPTはすごい技術だ。
哲学にも人間に面白い問いをもってきてくれている。とは言っても僕は哲学を修めているわけではないのだが。
そしてこのすごい技術を見せつけられた人々は、面白がったり怖がったり、技術を解説することで市場価値を上げようとしたり、面白い使い方を考えて注目を集めたりする個人法人がたくさんいる。
個々人で使い方は縛られていないので、別にそれが彼らにとって必要なのであれば別に良いと思うが、等しくつまらなく映る。ChatGPTは我々の思考や哲学、世界の認識に対して大きな問いを投げかけていると解釈したほうが面白いんじゃないか？と思う。そういう話を適当に書いて寝る。

ChatGPTに人生相談をする日々

誰もがChatGPTで自分の仕事が奪われることに怯えている。かく言う僕もChatGPTに人生相談をしている。今日はとうとう「投資の話はファイナンシャルプランナーに相談しましょう」と言われた。それは全くもって正解だろう。

ChatGPTの背景技術であるGPT3を含め、昨今は兆に迫る数のパラメータを持つ大規模モデルが大きく注目を受けている。
僕は大規模なモデルについて詳しくないが、Twitterでとてもわかり易い記事を書いているインターン生を見かけた。

僕も機械学習自体は大学の頃に触れた。無理やりPRMLの勉強会に参加して、何もわからないと思いながら頭を抱えていたが、どうもデータに対してパラメータが多すぎると「過学習」というものを起こし、精度が悪くなるらしい、ということくらいは学んだ。Kaggleでも実務でも、過学習だろうなあという状況には出会ってきたので、中途半端に多いパラメータ数だと、やはり過学習と言うのは正しそうだ。
ChatGPTについてのnote記事はまあまあある。いちいち引用なんかしないが、結局のところ大半は「使ってみた」にすぎない。上で引用した記事も、GPT3がなぜ精度が高いのかについてはパラメータ数とデータ数が増えているから、という答えを出しているが、そこから更なる疑問である「なぜパラメータ数が膨大であるにも関わらず、過学習を起こしていない(ように見える)のか？」という問いに、仮説レベルでも答えを出している記事は、実のところ多くない。
書籍としては統計数理研究所の今泉先生が書籍を出版している。

ここには求めている答えに近い内容が記載されているが、この問いにはいくつかの仮説があり、どれが正しいのかについては明らかにはなっていないとも書いてある。そうなのか。そういうのがわかった上で技術が発展しているのだと思っていたが、これは後追いで理論が結びついているという側面があるのか。
ちなみにこの本は、多少統計学や機械学習のバックグラウンドを持っていれば、比較的簡易な文章で研究の先端部分の議論を読むことができるため、非常に良い本だと思う。

人間とChatGPTの違いは何であるか？

科学大好きっ子だった僕は、小学校の頃に「チューリングテスト」という概念に出会った。イギリスの数学者であるアラン・チューリングが提唱した「ある機械が『人間的か』どうかを判定する」テストで、以下のように行われるらしい。ソースはWikipedia。

ChatGPTが話題になり、自分も使ってみて、その言語表現能力の高さと、情報の正確さに驚いたことは間違いない。そうして思い出したのがこのチューリングテストだった。ChatGPTを使ってチューリングテストを設計したとき、私はChatGPTと人間とを区別できるだろうか？
逆に言えば、実はChatGPTのUIの向こうで、普通の人間が、定型文を切り貼りして質問に答えているかもしれない、ということを、どうやったら否定できるのか(まあ、世界中で多くの人間が、多くの言語で様々に質問している以上、人間ではありえないと思うが)。
この問いに答えることが簡単な人も、そうでない人もいるかもしれないが、
区別できるにしろ、区別できないにしろ「なぜ、そういう結果に至ったのか？」という部分については、シンプルだが結構本質的な問いなのではないかと思っている。すなわち「私たちは『人間的な(言語)表現』というものを、どのように見出しているのか？」という問いには、個人的には明確に言語化出来ないでいる。とにかく、人間的なのだ、と言いたくなるが、
やはり「どの要素が人間的なのか？」「なぜ、その要素が人間的であると感じられるのか？」というところには、腰を据えて問い続けたほうがよいと思われる。

アンドロイドは電気羊の夢を見るか？

フィリップ・K・ディックの有名なSF小説に『アンドロイドは電気羊の夢を見るか？』という作品がある。

有名な本であり、読んだことのある人もいるかもしれない。ちょっとしたネタバレをするが許してほしい。
自然が完全に破壊され、生物が厳重に管理される時代、科学技術の発達により、本物と遜色の付かない機械生物が存在している。もちろん人間も。人間そっくりの機械生物には感情や記憶がある、という世界観である。
この世界では機械と人間との違いを「共感度」で区別するテストが定義されている。
このSF小説は1968年に出版されたが(邦訳は1969年)、54年後には、少なくとも「人間と区別をつけることが難しい大規模言語モデルを用いたチャットボット」が生まれているのであって、SF世界の技術が、何らかの形で実現しているようにも思われる。
物語は、あまりにも「人間的な」人造人間達との交流によって、人と機械の違いに本質的な答えを見いだせないまま苦悩する様を描写する。

ChatGPTは少なくとも夢は見ないだろう。眠らないし。むしろ眠れずにサービスを使えない場面も現れているわけだし。
でもいつか、「睡眠」を実装されたChatGPTは、なにか夢のような回答を出してくれるのだろうか？

ちなみにChatGPTは、熱を出したときに見る夢の「ような」文章は生成できる。

機械と人間の違いは「考えるに値する」問いであり続けるか？

だいぶ飛躍するが、このままディックの描いた世界感のように、人間のあらゆる要素を模倣しきった機械が現れたとしよう。もしかしたら言語表現能力はGPT30くらいが使われているかもしれない。GPT3ベースのチャットツールですら生身の人間と区別することが難しい状況である我々は、いざ肉体を持った言語モデルと相対したとき、人間と区別する事ができるだろうか。というか、そもそも区別することに、どれだけの意味があるだろう。これはもはや哲学的な問いとも言える。
「区別できるかどうか」については、それこそチューリングテストでもなんでもやって、統計的に区別可能かを判ずる事もできるだろう。では「区別することの意味」はどこまで問い足りうるか？

イマヌエル・カントという哲学者がいた。彼の哲学上の業績は凄まじく、哲学の潮流は大きく「カント以前」と「カント以後」に分かれると言われるほど、大きな業績を残している。
僕は哲学にも明るいわけではないが、例えば東洋大学のWebサイトでは、朝倉輝一教授の大変親しみやすい記事が読める。

カントがそれ以前の哲学について批判したことは、以下の引用がある程度わかりやすい。

哲学者に怒られるレベルの雑な要約としては「哲学として問うべき対象に明確な線引を行った」ということにある。

現代人たる我々は、どの程度実行できているかはともかくとして、少なくとも、人間同士を生まれや肌の色、性別などを使って差別するべきでない、という前提に立って社会を動かしている。これは「差別して良い」という条件を考えない(考えてはならない)という制約とも受け取れる。ただし、これが思考の前提として「当たり前」でなかった時代があった。上に挙げたカントですら、白人至上主義的な記述をしていたという指摘がある。
今はまだ問うまでもなく、機械と人間との間には明確な違いを持てるだろう。ChatGPTは人間の体を持たないし、その豊かな言語表現も、細かく見れば違和感のある記述や、事実と異なった記述も少なくないからだ。
ただ、おそらく数年内には、言語表現という点では人と区別をつけることはより困難になるだろう。そうなったときに、僕は「違いはなにか？」と問うだろうか？それとも「ここまで人間的な言語モデルと、人間との違いを問うことは、果たして意味のあることなのか？」と問うのだろうか。

言語表現になぜこれだけ大規模なモデルが必要なのか？

「数十TBのテキストデータと1000億のパラメータを使って、ようやく人間と同等の能力を機械が再現できるのに、人間の脳はなぜこの限られた容積でそのような大規模モデルと同等の情報処理ができるのか？」という問いにも、僕は答えを持ち合わせているわけではない。これだけの表現能力をもってしてもなお、生身の人間に問うたほうが良い答えを得られる場合もあるし、何より効率的である。GPT3が消費した電力を生産するために燃焼されるエネルギーと、僕が1日に消費したエネルギーはどちらが多いか、答えは自ずと明らかだ。
ChatGPTという存在が世の中に現れることで、人間の脳の異常さに気づくことができた。週に何回投稿とか言ってた年始の宣言をすでに無視している。ほらな、新年の抱負なんかあてにならないだろう。