私は大阪出身なのだが、仕事で関東に出てくるまでは、「めかぶ」という食べ物に出会ったことがなかった。同じく、おでんには「ちくわぶ」が入っているということもなかったので、「ぶ」で終わる食べ物は大阪に存在できないのかもしれないな。（小さい時に福岡の田舎に行くと食べていた「おきゅうと」も、関東／関西を通じて滅多に見かけないなぁ、と思う。）

というわけで？！今日は形態素解析とかの話！

メカブとジャノメ

「This is an apple.」の、「This」は指示代名詞、「is」は動詞（とりわけBe動詞）、「an」は不定冠詞、「apple」は名詞、という風に、文章の中の、最小単位を取り出して、分類していくやり方を、形態素解析という。

日本語の場合は、英語と違って、空白で区切れているわけではないので、ちょっとむずかしくて、「これ/は/リンゴ/です」というのを切り出さないといけない。で、こういうことをやってくれるソフトというか、プログラムの名前に、MeCab（京都大学のやつらしいんだけど、何で京都の人がめかぶを知っていたのかよくわからん…というのが冒頭の話につながるわけだ）とjanomeというのがあるよ、という話。

代表的なやつをとっても、10個くらいあると思うけれど、やりたいことはだいたい同じで、最小単位に区切って、意味合いをつけてくれる。精度や、速度が違ってくるのだ。

Google翻訳

最近は、海外旅行をしても、ほぼこれ1本でいけるんじゃないか、というくらい精度が上がっている。私がよく使っていた頃は、機械翻訳なんて使えたものじゃなかったんだけど、今は、ボードゲームのルールにしても、スキャンして、文字読み取って、機械翻訳で、すぐ遊べる。凄い時代になったものだなぁ、と思う。

で、精度が上がったことの技術的背景の1つに、どうやら、Google翻訳は、形態素の1つ1つを、多次元ベクトルとして保持するようになったようだ、ということが挙げられる。

ベクトルってなんぞ？という人は、高校数学の教科書を引っ張り出してほしい。私の時はⅡBだったんだけれど、B→Cへ移動したらしいので、今の人は理系しかベクトルに触れない、ということらしいが…。

2次元ベクトル、3次元ベクトル

我々は残念ながら、3次元までしか絵的に表現する手段を持ち合わせていない、という話は、一度記事にしているのだけれど、

3次元までのベクトルは、矢印として表すことができる。

なので、例えば、リンゴと言えばこの矢印、この向きで、この長さ、パソコンと言えばこの矢印、この向きで、この長さ、というのが学習の結果固まってくるのだ。そして、一見リンゴとパソコンは遠い言葉のようだが、きっと、同じ名詞だし、Apple社のパソコンのせいで割と近い単語として、近いベクトルを持つことになっていると推測される。

実際は多次元ベクトルなので、矢印ではないと思うのだけれど、どの自然言語にも属さない、（あ、もちろんエスペラントにも属さないと思うよ！）概念を矢印に変換する仕組みがあって、矢印で表される世界を、我々が解る言葉に、大人が子供に優しく教えてあげるように、噛み砕いて説明してくれているのだ。

まとめ

AI同士が会話するようになったら、自然言語はいらないはずなので、きっと、この多次元ベクトルのやり取りというか、これを行列にしたものを渡すのか、もっと効率的に変換したものを渡すのかはわからないけれど、そういうもので会話するようになるんだと思う。

外国の人と会話するために、英語を覚えたり、ドイツ語を覚えたり、オランダ語を覚えたりしないといけないのは大変だな、いっそベクトルでいいんじゃないかな、と思えるようになれば、人間的に成長した、と言えるのではないか、…というわけで、だんだん自分でも何を言っているんだか意味がわからなくなってきたので今日はこのへんで。（脳がつかれているのかも）ほなね！

例のAI画像のコーナー

日常会話をしているのだけれど、無数の矢印が飛んでいるところ、というのを生成してもらおう。

いつも通りChatGPTにかけると…なんと、矢印と、矢の区別がつけられないという。こういう時には、本当に、自然言語なんて捨ててしまえ、と思うよね。

なので、仕方なく、日常会話の中に、カラフルな矢が飛んでくるたくさんの画像の中から、ふんわりと矢印に見えているものをチョイス。

日本語のプロンプトに対応できるStableDiffusionも出てきているみたいだし、それならいけるのかなぁ。