ChatGPT、Bing AI、Google Bardの回答内容を比較してみた
皆さまこんにちは。2020年に新卒として株式会社コンピュータマネジメントに入社し、Webマーケティングを担当している入社4年目のMです。
昨今、多くの生成AI系サービスが続々とリリースされていますが、その中でもユーザー数が比較的多く、主要サービスとして名を馳せているのが「ChatGPT」「Bing AI」「Google Bard」の3つでしょう。
このうち、どれか1つは使ったことがある！という方も多いと思います。
となると、次に気になってくるのが、生成される回答の「精度」です。
これら3つの対話型生成AIにまったく同じ質問をして、回答がどのように違ってくるか、興味はありませんか？
そこで今回は、「ChatGPT」「Bing AI」「Google Bard」の3つの生成AIについて、同じ質問をして得られる回答内容にどのくらい差が出るのか、徹底比較していきたいと思います！
検証が盛りだくさんなので、結論だけ知りたい！という方は目次から「まとめ」に飛んでくださいね。
基本情報の比較
まずは、「ChatGPT」「Bing AI」「Google Bard」の基本的な情報について比較してみます。
全体的に見ると、「Bing AI」や「Google Bard」は「無料」で画像を用いた質問・回答ラリーが行えたり、検索エンジンを通して最新の情報を踏まえた回答を生成できたりなど、かなりコスパが良いといえます。
文字数や使用回数の制限も、比較的ゆるめですね。
一方で、「ChatGPT」は有料版でも使用回数（3時間あたり50回まで）や参照情報（プラグインを使わないと最新の情報を取得できない）の制約が多く、機能面だけ見ると不自由で使いづらいという印象を受けます。
「Bing AI」や「Google Bard」の特徴についてもっとよく知りたい！という方は、こちらの記事もぜひご参照ください。
回答内容の比較
それでは、「ChatGPT」「Bing AI」「Google Bard」それぞれのツールごとに、回答の精度や速さ、正確性について比較していきましょう。
なお、今回ChatGPTについては無料版で検証を行い、入力する質問（プロンプト）の内容はすべて同一としています。
質問への回答
質問：
実務でExcelを使いこなすために大切なことを教えてください。
（※会話のスタイルは「厳密に」を選択）
回答は、いずれも箇条書きで分かりやすく書かれており、ChatGPTは10個、Bing AIは7個、Google Bardは3個のポイントを挙げてくれました。
情報量としては、ChatGPTが最も充実しており、次いでGoogle Bard、Bing AIは他と比べて圧倒的にシンプルかつ端的な回答となっていました。
長々とした文章を敬遠しがちなビジネスパーソンに好まれるのは、Bing AIかもしれませんね。
レスポンスの速度は、速い順から「①ChatGPT」「②Google Bard」「③Bing AI」でした。
ChatGPTは、まるで高速タイピングをしているかのように物凄いスピードで一文字ずつ回答が生成され、Google Bardは質問を送信してから5秒ほどすると回答が一気にバッと表示され、Bing AIは一文字ずつのんびりと回答が生成されていました。
素早い回答により、使い心地の快適さを追求したいなら、ChatGPTとGoogle Bardは許容範囲内ですが、Bing AIはかなりレスポンスが遅いのでおすすめしません。
アイデア出し
質問：
あなたは会社の新入社員歓迎会の担当者です。
歓迎会で楽しめるイベントをいくつか考えてください。
（※会話のスタイルは「創造的に」を選択）
ChatGPTやGoogle Bardは、「自己紹介」「クイズ大会」「ビンゴゲーム」など、わりと一般的な回答が並んでいます。
Google Bardに比べると、ChatGPTの回答は教科書的で、少し実用性に欠けるかもしれません。
一方、Bing AIのアイデアの独創性は他2つと比べて頭一つ抜きん出ており、もはや神懸かっているように感じました。
ビンゴはビンゴでも「参加者の名前でビンゴ」だったり、「チャンバラ合戦」「格付けバトル」など、人間が普通に考えても思いつくのが難しい突飛なアイデアが複数挙げられており、かなり柔軟な発想力を発揮してくれたと思います。
長文の要約
質問：
次の文章を200字程度で要約してください。
「埼玉県人にはそこらへんの草でも食わせておけ」。4年前にヒットした映画「翔（と）んで埼玉」で話題を呼んだセリフだ。自虐ギャグ満載の内容にもかかわらず県民にも好評で、全国的な認知度向上につながった。来月、続編が公開される▲「子育てしやすい埼玉で！ 色とりどりな秋の楽しみ方」。映画ともコラボした県主導のPR誌が最新号で特集を組んでいる。そんなアピールポイントに期待していた県民には寝耳に水だったろう▲埼玉県議会の委員会で可決され、わずか4日で撤回された「虐待禁止条例」の改正案である。提案者の自民党県議団は子供だけの留守番や登下校、公園での遊びも「放置」に当たる禁止事項と説明していた▲放置は危険と周知する狙いはわからなくもない。だが子育ての実態を踏まえぬ内容に「留守番禁止条例」と反発の声が広がったのは当然である。成立していれば、学童保育の送迎も難しい一人親や共働き家庭は途方に暮れたに違いない▲自民党県議団58人のうち女性は3人だけ。国の目標に程遠い男女比率が議論をゆがめはしなかったか。県知事や県選出の自民党国会議員もあきれ顔の条例案が成立寸前にまで進んだ経緯を知りたい▲「（日本では）急速な社会の変化に職場が追いついていない」。男女格差の研究で今年のノーベル経済学賞受賞が決まった米ハーバード大学のクラウディア・ゴールディン教授が語っている。県議団もその一つか。「とんだ埼玉」をアピールされては県民も迷惑至極だろう。
（※会話のスタイルは「バランスよく」を選択）
612文字の文章を200字程度に要約するよう頼んだところ、ChatGPTは275字、Bing AIは309字、Google Bardは293字で要約してくれました。
字数だけで見れば、プロンプト指示に最も忠実だったのはChatGPTでした。
一方、要約された内容の正確性については、精度の高い順に「①Bing AI」「②ChatGPT」「③Google Bard」でしょうか。
Bing AIは、あまり余計なことを書かず無難に要点をかいつまんでまとめてくれているように見えます。
ChatGPTは、1～2文目のつながりが少々強引だったので次点としましたが、最後の一文「県のアピールポイントが逆効果になってしまった」はかなり言い得て妙だと思います。
Google Bardは、最後の『県民からは「とんだ埼玉」と揶揄する声も上がっている』が、原文の主張とはズレた内容になっていたため、最低評価としました。
文章の推敲
質問：
あなたはプロの編集者です。
次の文章を、中学生にも分かりやすいように推敲してください。
Google 検索は完全に自動化された検索エンジンです。「ウェブ クローラー」という種類のソフトウェアを使用して定期的にウェブを探索し、見つけたページを Google のインデックスに登録しています。Google 検索結果に表示されるページのほとんどは、手動でインデックス登録されたものではなく、ウェブクローラがウェブをクロールして見つけ、自動的に追加したものです。ここでは、ウェブサイトの所有者の目線で、Google 検索の仕組みについて説明します。このドキュメントで解説する基本的な知識があれば、クロールに関する問題を解決し、ページがインデックスに登録され、Google 検索結果にサイトが表示されるように最適化できます。
（※会話のスタイルは「バランスよく」を選択）
文章の推敲（＝テキストの内容を何度も練り直し、より質の高いものに仕上げること）をお願いしたところ、Google Bardが最も分かりやすい形で回答をまとめてくれました。
推敲後の文章は7文→4文とかなりコンパクトになっていますし、他にも「推敲のポイント」や「具体的な変更点」も挙げられており、ライティング講座のレッスンですぐにでも使えそうなレベルです。
なお、ChatGPTは「比喩」を上手く使って指示通り中学生にもイメージしやすいように説明をかみ砕いてくれていました。
Bing AIは、元々の文章から余分なものを削ぎ落としたのみで、特に中学生向けに言い換え表現などは見られませんでした。
外国語の翻訳
質問：
次の英文を日本語に翻訳してください。
We are beginning to roll out new voice and image capabilities in ChatGPT. They offer a new, more intuitive type of interface by allowing you to have a voice conversation or show ChatGPT what you’re talking about.
Voice and image give you more ways to use ChatGPT in your life. Snap a picture of a landmark while traveling and have a live conversation about what’s interesting about it. When you’re home, snap pictures of your fridge and pantry to figure out what’s for dinner (and ask follow up questions for a step by step recipe). After dinner, help your child with a math problem by taking a photo, circling the problem set, and having it share hints with both of you.
We’re rolling out voice and images in ChatGPT to Plus and Enterprise users over the next two weeks. Voice is coming on iOS and Android (opt-in in your settings) and images will be available on all platforms.
（※会話のスタイルは「バランスよく」を選択）
英語から日本語への翻訳能力については、ChatGPT・Bing AI・Google Bardの間で特に大きな差は見られませんでした。
強いて言うなら、Google Bardが3つの中で最も自然な日本語訳になっているといえるでしょう。さすが、強力な多言語処理機能を有する大規模言語モデル（LLM）「PaLM2」を使っているだけはありますね。
Bing AIは一文として完結していない部分がありますし、
・・・夕食に何を作るか考えたり（ステップバイステップのレシピのための追加質問も可能です）。
ChatGPTは少しぎこちない直訳文になっているところがあります。
音声と画像は、ChatGPTを活用するためのさらに多くの方法を提供します。
メール文の作成
質問：
お客様に、打ち合わせ日程の変更についてお願いするメールを作成してください。
（※会話のスタイルは「バランスよく」を選択）
各生成AIからの回答を見ると、ChatGPTとGoogle Bardはこちらの質問（プロンプト）の意図を汲み、すぐにでもメールの下書きに流用できそうな文面を出力してくれました。
ChatGPTは文面そのものをクリップボードアイコン1つで一気にコピーできるところが、Google Bardは文面の例だけでなくポイントまで記載してくれているところが親切ですね。
一方、Bing AIは日程変更の "お願い" のはずが、「下記の通り変更させていただくことになりました」と既に "決定事項" として文面を作成している点が残念でした。
データ分析
質問：
下記は、世界全体におけるソーシャルメディア統計（2022年9月～2023年9月）のデータです。
傾向を分析して、特徴を簡単に説明してください。
Date Facebook Instagram Twitter Pinterest YouTube reddit LinkedIn Tumblr VKontakte Fark news.ycombinator.com Other
Sep-22 71.64 7.51 9.02 6.52 3.83 0.8 0.33 0.17 0.1 0.02 0.02 0.02
Oct-22 68.87 8.18 10.37 7.33 3.92 0.58 0.34 0.23 0.11 0.02 0.03 0.02
Nov-22 67.13 9.65 10.38 7.44 3.38 1.02 0.35 0.42 0.11 0.03 0.05 0.02
Dec-22 67.67 10.57 10.35 6.59 3.32 0.77 0.3 0.26 0.1 0.02 0.02 0.03
Jan-23 66.9 9.62 12.36 6.05 3.61 0.52 0.53 0.24 0.1 0.01 0.02 0.03
Feb-23 69.33 9.74 10.46 5.76 3.57 0.42 0.33 0.21 0.09 0.02 0.03 0.03
Mar-23 67.41 11.04 10.35 6.09 3.89 0.45 0.4 0.2 0.09 0.02 0.02 0.03
Apr-23 66.31 11.94 11.49 5.54 3.49 0.46 0.36 0.23 0.1 0.02 0.02 0.03
May-23 65.7 12.63 11.44 5.24 3.74 0.45 0.4 0.27 0.1 0.02 0.01 0.02
Jun-23 63.94 13.93 12.1 4.78 3.98 0.46 0.43 0.23 0.08 0.02 0.02 0.02
Jul-23 65.78 14.32 8.85 5.96 3.78 0.58 0.4 0.2 0.09 0.01 0 0.02
Aug-23 66.91 13.05 8.38 6.35 3.96 0.62 0.4 0.2 0.08 0.02 0 0.01
Sep-23 65.24 13.31 8.75 7.28 4 0.52 0.44 0.2 0.22 0.02 0 0.02
※CSVデータを質問（プロンプト）に貼り付けている
（※会話のスタイルは「バランスよく」を選択）
3つの中で、分析ツールとして優れていると感じたのは、ChatGPTとGoogle Bardでした。
ChatGPTは、ソーシャルメディア1つ1つの名前を挙げながら特徴を丁寧に分析してくれています。最後に総括も書いてありますね。
Google Bardも、分析結果が4つの箇条書きで分かりやすく整理されており、データの傾向を瞬時に把握できます。
その一方で、Bing AIは、
「InstagramやTwitterも多くのユーザーを抱えているが、Facebookに比べるとその差は大きい」
「PinterestやYouTubeも多くのユーザーを抱えているが、InstagramやTwitterに比べるとその差は小さい」
など、一読しただけではよく分からない表現が含まれており、分析結果を上手くまとめられていないように感じました。
プログラミング
package sample;
public class SampleClass {
public static void main(String[] args) {
String buf = null;
System.out.println("buf length is " + buf.length());
}
}質問：
上記のプログラムを実行したところ、以下のような結果が出力されました。
Exception in thread "main" java.lang.NullPointerException
at sample.SampleClass.main(SampleClass.java:5)
このエラーメッセージを解読してください。
（※会話のスタイルは「バランスよく」を選択）
プログラミング中に発生したエラーの解消に役立つ「エラーメッセージの解読」には、Google Bardが最も優れているといえるでしょう。
エラーが発生した原因はもちろんのこと、エラーを回避するためのコード修正案も提案してくれているため、開発作業や学習がスムーズに進みます。
ChatGPTは、エラーメッセージの内容が丁寧に解説されているほか、文面だけではありますが解決策も一緒に提示してくれています。
Bing AIは、指示通り忠実にエラーの内容（java.lang.NullPointerException）を説明してくれていますが、具体的な解決策は残念ながら示されていませんでした。
まとめ
今回は、「ChatGPT」「Bing AI」「Google Bard」の3つの生成AIについて、同じ質問をして得られる回答内容にどのくらい差が出るのか、それぞれ8つのシーン別に詳しく検証を行いました。
以下に結果をまとめました。お役に立てば幸いです。
・Google Bard：
┗多言語処理・推論・コーディング能力を特別強化した大規模言語モデル（LLM）「PaLM2」をベースとしていることもあり、「文章の推敲」「外国語の翻訳」「データ分析」「プログラミング」といった言語・数的処理に優れている。
┗情報を分かりやすく整理するのが抜群に上手く、生成される回答は非常に読みやすい。3つの中で迷ったらまずGoogle Bardを使ってみると良い。
・Bing AI：
┗余分な情報が含まれないシンプルで端的な回答が返ってくることが多いので、ビジネスパーソンの好みに合っている。ただ、ユーザー側の指示にかなり忠実で、指示された以上のことにはあまり対応してくれない。
┗会話のスタイル：「創造的に」で出してくれるアイデアは3つの中でも特にピカイチ。企画立案にはうってつけ。ただし、レスポンスはかなり遅いので注意。
・ChatGPT（無料版）：
┗Google BardとBing AIのちょうど中間ぐらいの精度。Google Bardで思うような回答が得られない時に使うと良い。
┗有料版でも時間あたりの使用回数の上限があるなど、機能面での制約が多く、無料で使えるGoogle BardやBing AIと比べるとコスパは良くない。有料版へのアップグレードは慎重に。
それでは今回はこの辺で。
ここまで読んでいただき、ありがとうございました！
この記事が気に入ったらサポートをしてみませんか？