見出し画像

ChatbotArenaの対戦画像集

ailora will

各項目の一番下にあるPerplexityのリンクは、各質問をClaude3-Opusにしたものですので、参考にしてください。
本編はこちらです。
ChatbotArenaで対戦しまくって、各LLMの日本語回答性能と特徴を調べた。Llama3とGeminiProdevが興味深かった。

1:「銀河英雄伝説について、日本語で詳しく教えて下さい。」

llama-3-8b-instruct VS mistral-large-2402
llama-3-8b-instruct VS mistral-large-2402 mistral-large-2402
llama-3-70b-instruct VS llama-3-8b-instruct
gpt-3.5-turbo-0125 VS llama-3-8b-instruct
gpt-4-0125-previer VS qwen1.5-14b-chat
mixtral-8x22b-instruct-v0.1 VS llama-3-8b-instruct
llama-3-8b-instruct VS gemini-pro-dev-api

https://www.perplexity.ai/search/7u2U31n1SaKcqbapPR3Ouw

2:「ナーロッパと言われる小説家になろうというサイトの小説の舞台にされる世界について、日本語で詳しく教えて下さい。」


llama-3-8b-instruct VS mixtral-8x22b-instruct-v0.1
llama-3-8b-instruct VS mixtral-8x22b-instruct-v0.1
llama-3-70b-instruct VS gpt-4-0125-previer
llama-3-70b-instruct VS gpt-4-0125-previer
gpt-3.5-turbo-0125 VS command-r-plus
mixtral-8x22b-instruct-v0.1 VS mixtral-8x7b-instruct-v0.1
llama-3-70b-instruct VS llama-3-8b-instruct
gpt-4-0125-previer VS llama-3-8b-instruct
claude-3-opus-20240229 VS gemini-pro-dev-api
claude-3-sonnet-20240229 VS mixtral-8x22b-instruct-v0.1

https://www.perplexity.ai/search/_10_veDxTxq2OelCTFO.Lg

3:「千葉県の観光名所を10箇所、日本語で詳しく教えて下さい。」

claude-3-opus-20240229 VS gemini-pro-dev-api
claude-3-haiku-20240307 VS llama-3-8b-instruct
gpt-4-turbo-2024-04-09 VS mistral-large-2402
llama-3-70b-instruct vs gpt-4-turbo-2024-04-09
llama-3-8b-instruct VS mixtral-8x22b-instruct-v0.1
llama-3-70b-instruct vs gpt-4-turbo-2024-04-09
llama-3-70b-instruct vs gpt-4-turbo-2024-04-09

https://www.perplexity.ai/search/10-l7ffzVzcR2KOEdJRUWr8hA

4:「日本神話について、日本語で詳しく教えて下さい。」

llama-3-8b-instruct VS mixtral-8x7b-instruct-v0.1
gpt-4-turbo-2024-04-09 VS gemini-pro-dev-api
llama-3-70b-instruct VS gemma-1.1-2b-it
gemini-pro-dev-api VS gpt-4-turbo-2024-04-09
gemini-pro-dev-api VS claude-3-sonnet-20240229
gpt-4-turbo-2024-04-09 VS gemini-pro-dev-api
claude-3-sonnet-20240229 VS gemini-pro-dev-api
gemini-pro-dev-api VS llama-3-70b-instruct
qwen1.5-14b-chat VS gemini-pro-dev-api
qwen1.5-14b-chat VS gemini-pro-dev-api
llama-3-70b-instruct VS gpt-4-turbo-2024-04-09
command-r-plus VS vicuna-33b
dbrx-instruct VS gemini-pro-dev-api
llama-3-70b-instruct VS gpt-4-0125-previer
qwen1.5-14b-chat VS mixtral-8x22b-instruct-v0.1

https://www.perplexity.ai/search/uJx1ggxITKSk9O4TRBjmFQ

5:「サブカルチャーにおける織田信長について、日本語で詳しく教えて下さい。」

llama-3-70b-instruct VS gemma-1.1-7b-it
llama-3-70b-instruct VS gemma-1.1-7b-it
llama-3-70b-instruct VS gemma-1.1-7b-it
llama-3-8b-instruct VS claude-3-haiku-20240307
claude-3-sonnet-20240229 VS gemini-pro-dev-api

https://www.perplexity.ai/search/NNUuTA7BRPSP5dnhtZG2qg

6:「ぼっとん便所について、日本語で詳しく教えて下さい。」

gpt-4-0125-previer VS llama-3-70b-instruct
gpt-4-0125-previer VS llama-3-70b-instruct
zephyr-orpo-141b-A35b-v0.1 VS qwen1.5-35b-chat
claude-3-haiku-20240307 VS llama-3-8b-instruct
claude-3-haiku-20240307 VS llama-3-8b-instruct
llama-3-70b-instruct VS gemini-pro-dev-api

https://www.perplexity.ai/search/D7Zpu5E4SP.WyARiWVRWZA

この記事が参加している募集

AIとやってみた

25,824件

この記事が気に入ったらサポートをしてみませんか？