今年はクロード・シャノン、通信の数学的理論の発表75周年にあたる。現代のスマートフォンやインターネットを通じて私達はその恩恵を享受している。あるいは生成AI・大規模言語モデルも、その基礎はこの理論の情報に対する考え方にあると言ってもいいのではないだろうか。

情報にエントロピーという概念を持ち込んだのは斬新だし、いまだにときに目から鱗、と感じられるかもしれない。

言語、あるいは情報が有限の記号の組み合わせによる有限長さの記号列と考えることができ、その上位概念も、さらにその上位概念も、そして無限に続くであろう上位概念であっても同様であることが気づかされる。

純粋に情報の伝達という観点から考えると、特にその記号列の組み合わせが、真の情報であるか、あるいは偽の情報であるかは頓着する必要はない。意味を持っているかどうかすら頓着する必要はない。

しかし、記号列がまったく秩序なくすべての記号が一定の確率で出現するとするとそれは単に雑音でしかない。言葉が雑音と区別される所以は、あるいは情報が情報である所以は、ある記号（あるいは記号列）の後に別の記号（あるいは記号列）が来る確率が高かったり低かったりするところにある。

雑音と情報との差は有限な記号と記号との関係の確率分布なのだ。実はそれは意味のある情報と意味のない情報との差でもあり、真の情報と偽の情報、るいは有益な情報と無益な情報との区別でもあることに気付く。

もし、「AならばBである」という記号列が絶対の真実ならば「Aならば」と「である」の間にBが来る確率は 100% であり、B以外が現れる確率は0%である。数学の世界のように公理と定義と論理関係によって記号列の集合が作られる世界の場合や、物理学のように現実の世界との関係で真偽が決まるような世界の場合、つまりは客体と主体がはっきり分けられるような世界の場合、逆もほぼ正しく、確率の高い記号列がより真実だと言えるだろう。

AがBである、AはCではない、AはDではない、と一意に（確率が100%で）決まる場合、この記号列の集合はエントロピーが低い。つまり整っていて乱雑ではない。AがBであるかもしれないしないかもしれないし、AはCであるかもしれないしないかもしれないし、AはDであるかもしれないしないかもしれない、それぞれの確率が同率なら、この記号列の集合のエントロピーは高い。つまり乱雑である。

ということは、分野を適切に区切って十分にエントロピーが低い情報空間ならば、生成AIは非常に役にたつに違いない。

つまり、生成AIに、ある学会の論文を過去からこれまで読み込ませてトレーニングすれば、その分野のいいエキスパートシステムになるはずだ。

ところで、内容が真が偽かに関係なく、確率が高い記号列の組み合わせを求めることで、ある言語の習得ができるはずである。つまり、文法にのっとった正しい文章は確率が高く表れるはずだし（文章全体のエントロピーは低い）、文法にのっとっていない文章は比較して確率が低い（文章全体のエントロピーは高い）。そこに注目して学習させれば言語モデルができる。確率の高い記号列の集合のことである。

そうなると、語彙が少なければ言葉を覚えたての子供のようにしゃべり、語彙と単語が多くなれば、知っている知識の断片断片を組み合わせてもっともらしいこと（つまり確率の高い組み合わせ）を話す知識人のようにしゃべることができるはずである。

まるでこの文章のように。

適当に言葉を組み合わせているうちに新しい意味が浮き上がって来る。

私達はなんでも知っていて創造力は人間の特権のように思っているかもしれないが、実はそのように記号列の海の水面に浮かび上がる波や渦ということぐらいなのかもしれない。

ということは、人間の特質はむしろ、手や足、そしてその延長である道具を使って自然という現実に働きかける身体の力なのだろう。そして、目や耳や触覚などの感官器官を通じて自然からの働きかけをうけて、空間と時間の枠の中で記号列を発生させる脳の働きだろう。そしてそれらの働きはすでに遺伝子に情報を担った記号列として組み込まれているのだ。

不思議なことである。

人に生への執着をもたらし、幻想と苦悩をもたらすものは何なのだろうか。それは、この世界に侵入を試みるために遺伝子に組み込まれた生きる情報システム、「理性」であり「ことば」であり、それは、VALIS "Vast Active Living Intelligence System" なのだ。

■さて、上のように適当な文章を作るにも一定のエネルギーが必要である。エントロピーを低く整えるためには、開放系であり、かつエネルギーの流れが必要だ。だが、シリコン・トランジスタの消費電力に比べたら我々の身体と脳が必要とするエネルギーは少ない。

とはいえ、腹が減っては戦ができぬ、やはり仕事のパフォーマンスを上げるには、昼食は大事だ。

18日は6時前に、暑くて目が覚めたのでちょうどよい、弁当を作って、火曜日の恒例、朝から川崎のラボに顔を出してきた。

午前中に用事済ませて昼の間に移動、弁当はそのまま事務所に持ってもどって、PCにかじりつきながらの昼食。

最近の夕食は少々遅い時間になって比較的簡単にできるものが多くなってきて、平凡で工夫の少ないものとなっているが、まぁ、いいだろう。

ブルグルや米で炊き込みのピラフのように作るのは調理も簡単だし、鍋一つで立派な一皿、ボリュームもあって、便利でいい。特にブルグルは今年になってよく使っている。プチプチモチモチと面白い食感だ。中央アジアのプロフを見ていると人参を多く使っているのをしばしば見かける。確かに人参を入れるともう一つ美味しくなるので定番で使っている。

鶏肉もワインビネガーで煮込んで作るプーレ・オ・ヴィネーグルにすると、さっぱりと、簡単にちょっと変わった味になるのでよく作る。胸肉で作ってもビネガーで柔らかく仕上がるし具合がいいけれど、ここはモモ肉で皮をカリっと焼いて作るのがやはり美味しい。

スパゲティもだんだん夏仕様だ。夏野菜でサッパリと、唐辛子でピリッとアクセントを効かせて作るのがいい。

仕事はエントロピーを下げることが本質である。料理も同様だ。

■最近にひっかかった音楽を少し。

１．2023/7/16 ジェーン・バーキンが亡くなられたということだ。1年ちょい前に書いた記事に、その日のうちに文末に追記しておいた。

やっぱり関心がある人も多いのか、こんな私のつたない記事でもアクセス数が伸びて、週間アクセスで200を優に超えていた。

ついこの間素晴らしいアルバムを出したばかり、残念だ。これからもポツンポツンと天国に旅立ってしまうひとが出てくることだろう。順番だ。そして、人の命はわからないものだ。

２．イギリスのサックス奏者、Nubya Garcia（ヌビア・ガルシア）の新しいシングル "Lean In" なかなかよかった。サックス奏者は求道者の雰囲気たっぷりの人が多いが、この人もそうだ。堂々とした音といいフレーズといい、全体の音作りといい、大好きな音だ。

去年のアルバム "Source" の後、ライブアルバム "Live at Radio City Music Hall"も聞きごたえがある。

この人には熱と迫力がある。まだ Wikipediaでも日本語のエントリーがなく、私の note 記事がgoogle 検索の上位（一般人の投稿だけなら一番上？）に来るくらいだから、まだ日本では人気がないのだろうか。

いや、絶対にこれからすぐに大ブレークするはずである。

３．ヴェロニカ・スウィフトのシングル、"I Am What I Am"

ちょっと前に雑記帳で書いたが、サマラ・ジョイといい、この人といい、素晴らしい声と表現力を兼ね備えた若いヴォーカルが出てきて驚くばかりだ。

これからがまた楽しみだ。

■土曜日の朝から京都の自宅に帰っていた。金曜日の深夜までヨーロッパとやり取りが続き、土曜日の早朝に移動したので、少々疲れもあり、17日の月曜日が祝日だと気づいたので、土曜日に走るのはやめにして、日曜日の朝に15.4km走ってきた。

厚い雲の間の青空と照り付ける太陽、午前の早いうちに走るように心がけているけれども、それでも暑い。京都の道は東西南北に向いているのでなかなか隠れるところがないが、それでも、なるべく影を見つけて走るようにしている。

■さて、土曜日の朝の新幹線、ということは今年の3月のダイヤ改正で導入された、名古屋・京都・新大阪へ最速達、新横浜始発で 6:03分発、のぞみ491号である。

Exカードのクーポンでグリーン車に乗ったらほぼ貸し切り状態．．．道中ほぼ寝てたのであまり関係なかったかもしれない。

新横浜ー京都間は1時間49分。数分の時間短縮だ。8時30分くらいに京都の自宅のリビングに到着できる。ということは、平日なら、前日深夜まで新横浜でがんばって、しかも翌朝定時から京都でリモートワークで仕事ができる、というわけだ。妻は嫌がるだろうけれども。