5月8日に、Xがプレミアムサブスクリプション会員を対象として、生成AIチャットボットのサービス提供を始めた。

Xのトレンド入りもしていたので、それなりの注目度もあるようだが、実際のところ、業務で使えるレベルなのだろうか。

少し前にChatGPTとClaudeの比較を行ったが、今回も、全く同様のタスクを投げてみて、どのような違いが生じるかを検証してみよう。

なお、Grokには「ユーモアモード」と「標準モード」があるが、性能に違いがあるかどうかは不明のため、より特徴的な「ユーモアモード」を選択した。

なお前回、ChatGPT（GPT-4）とClaude（Opus）にやらせたタスクは以下のようになっている。

１．記事執筆
　ー１．記事の書き方を尋ねる
　ー２．記事の構成を作らせる
　ー３．章ごとに、記事を逐次出力させる
　ー４．記事の評価
２．メールへの返信
３．調べもの
４．会社案内の作成
５．複利計算

では、１から順番にやっていく。

１．記事執筆

１．記事の書き方を尋ねる

念の為、前回出力したChatGPTとClaudeの結果も比較対象として掲載しておく。

ClaudeとChatGPTは構造化した回答だったのに対して、Grokは会話調となる。また、構成に必要な内容自体がGrokでは薄い。（最終パラグラフでは、前項の繰り返しになっている）

わかりやすさや、提案の密度という点ではChatGPTやClaudeに軍配が上がるだろう。

２．記事の構成を作らせる

では、前回ChatGPTとClaudeにやらせたのと全く同様に、Grokの勧めに従って、文章を構成させてみる。

以下がGrokによる構成案だ。

では、同様にClaudeとChatGPTの出力も比較対象として載せる。

構成案を作らせると、ClaudeとChatGPTは大項目と中項目までを示すが、Grokは大項目を示すのにとどまる。
どうやら、Grokは「階層化」が苦手なのかもしれない。
また構成のすべての文末が「説明しましょう」となっており、構成案というよりもインストラクションに近い。これも「会話調の生成AI」という特徴なのだろうか。

３．章ごとに、記事を逐次出力させる

では、上で作成した構成案にしたがって、導入部から結論まで、逐次出力をさせます。

Grokによる記事原文

比較対象のために、例によってClaudeとChatGPTの記事も掲載します。

Claude3による記事原文
ChatGPTによる記事原文

これは一目瞭然です。Grokは長文では使い物になりません。
例えば導入部だけを取ってみても、黄色くハイライトしたところが繰り返しになってしまっています。

また、Grokはエラーが多いです。長文を書かせると、動作が止まってしまうことが多々ありました。どうやら、スレッドが長くなりすぎると、エラーを起こしてしまうようです。

４．記事の評価

では、Grokに記事を自己評価させてみましょう。
自己評価は、まず評価基準を作らせたあと、その基準に従って点数付けをやらせます。

その結果が以下です。
結論としては全くダメ。１０点満点で評価せよ、といったのに４６点としています。

Claudeにも同じ評価基準で採点をさせたところ、４．４点となった。

ChatGPTでも同様に評価を行うと、７点となる。

比べてみていただくとわかるが、Claudeが最も記事を正確に評価していると考えられる。ChatGPTはユーザーに忖度する傾向が強いので、記事を客観的に評価する能力＝記事を生成する能力　と考えれば、やはりClaudeに記事を書かせるのは正解だと言える。

２．メールへの返信