記事一覧
Perplexityの検索ボックスに定型文を入力できるコードを公開しました
残念ながら、Perplexityの検索のバックエンドはおそらくBingを使用(訂正Bingではなくhttps://www.reddit.com/r/LocalLLaMA/comments/1bh6o3e/reverse_engineering_perple…
OpenAI-TranslatorでGemini1.5FlashAPIを利用して、長文でも無料で翻訳をする方法（翻訳以外にコード解説や要約、自分で作成したアクションも可能）
※OpenAI-Translatorは中国系の方が開発されているOSSであり、その点に懸念を持つ方には使用はおすすめできません。
何故翻訳アプリが必要なのか今や、ChromeやEdgeには英日翻訳機能が付いていて、翻訳性能も十二分なものになって、今更翻訳アプリなんて不要と言いきっても良いわけだが、Firefoxには英日翻訳機能はまだない。
更にいうと、まだChromeやEdgeにもpdfの翻訳機
gpt2-chatbotとGPT4-Turbo-2024-04-09をChatbotArenaで捕まえられたので、ネオチバの設定作成対決させた(創造的タスクテスト)。
幸運なことに、gpt2-chatbotとGPT4-Turbo-2024-04-09をChatbotArenaで捕まえられたので、「サイバーパンクの仮想の千葉市、ネオチバの設定を作ってください。」で設定を作らせ続けて、創造的タスクでの性能を比較してみた。
最初はそのまま作らせ続けたのだが、途中から適当に指示を追加して、性能を比較した。
指示によって、評価がひっくり返ることも合ったが、本当にギリギリ
ChatbotArenaで対戦しまくって、各LLMの日本語回答性能と特徴を調べた。Llama3とGeminiProdevが興味深かった。
LMSYS Chatbot Arena: Benchmarking LLMs in the Wildは、オープンソースで人間がLLMの勝ち負けを評価する研究で、現在40種類のLLMのうち、2つのLLMが一定の基準(得点が定まったものは選ばれにくくなるなど)で選ばれて、その出力結果を人間がAとBのLLMの名前が伏せられた状態で、どちらが優れているかを評価するテストです。
その結果もリンク先のLead
ChatbotArenaの対戦画像集
各項目の一番下にあるPerplexityのリンクは、各質問をClaude3-Opusにしたものですので、参考にしてください。
本編はこちらです。
ChatbotArenaで対戦しまくって、各LLMの日本語回答性能と特徴を調べた。Llama3とGeminiProdevが興味深かった。
1:「銀河英雄伝説について、日本語で詳しく教えて下さい。」https://www.perplexity.ai/se
11種のLLMでのPythonコード生成（ダイスアプリ作成）の簡易テストをしました。
様々なコード生成専用のものも含めて、自分の使用可能な範囲のLLMを使用し、簡単なダイスアプリを作らせることで、実際の簡単なコード生成がどの程度できるか調査してみました。
題材が簡単すぎたせいか、どれも作成自体は成功しました(codellama-70b-instructのみ、一部機能が保存場所の指示を聞いてくれなかったのですが、使う人ももはやいないLLMなので、粘らずにテストを終了しました)が、ゆら
bartimerというタイマーとインターバルタイマーがバーの増加で経過時間がわかりやすいアプリ(exe版もあり)をGithubで公開しました。
bartimerというタイマーとインターバルタイマーがバーの増加で経過時間がわかりやすいアプリ(exe版もあり)をClaude3-OpusとGPT4-Turboを使用して、ところどころ修正して作成しました。
配布はhttps://github.com/willailora/bartimerで行っています。
特徴bartimer は、カスタマイズ可能なタイマーとインターバルタイマー機能を備えた
llama.cppのserver.exeに起動オプションを送って起動できるPythonコードを公開しました。
残念ながら、2024年4月6日時点のKoboldcppではc4ai-command-r-v01-GGUFが起動できないので、llama.cppで起動するしか無いのですが、cuiで動かすのは嫌なので、server.exeでブラウザーで遊ぶわけですが、いちいち起動因数を付けてコマンドプロンプトなどにコピペするのも面倒なので、Claude3-Opusと相談しながら、簡単にするコードを作成しました。
追記
Koboldcpp用pngメタデータ編集コード公開しました
GUI付きでKoboldcppにインポート可能なchub.aiとPygmalionAIのダウンロードしたキャラクターのPNGファイルのメタデータを編集できて保存ができるコードを作成しました。
一応、既存のでないかは探したのですが、長期間メンテされてないソフトしかありませんでしたので、Claude3-Opusと相談しながらコードを生成しました。Koboldcppに編集機能がついていれば、こんな
PerplexityのProSearchなどの日本語変換の確定でクエリが送信される問題を解決するユーザースクリプトの公開（ページ機能での同じ不具合にも対応しました）
@toshikawaさんが、labs.Perplexityでの日本語入力問題を解決するコードを作成してくれました！
Labs.perplexity.aiでの日本語入力中のEnterで送信されないようにする。
自分がClaude3-Opusと相談しながらやっても、だんだん変な方向に行ってReactの問題か？みたいになって解決できなかったので、助かりましたm(_ _)m
Claude3-Opusに
Claudeに定型文挿入ボタンを追加するユーザースクリプトを公開しました
Claude本家サイトのChatに定型文挿入のボタンを追加するユーザースクリプトを公開しました。基本はClaude3-Opusに作成してもらって、動作しなかったので私が適宜修正しました。
使用方法 アドオンとしてまず、TamperMonkeyやGreasemonkeyなど、ユーザースクリプトを使用できるアドオンが必要となります。
このコードには問題ないことは確認していますが、セキュリティ上の
Perplexityの検索ボックスに定型文を入力できるコードを公開しました
残念ながら、Perplexityの検索のバックエンドはおそらくBingを使用(訂正Bingではなくhttps://www.reddit.com/r/LocalLLaMA/comments/1bh6o3e/reverse_engineering_perplexity/によると、Googleのもののようです。普段DuckDuckGo使用しているので、気づきませんでした)していて、日本語の検索だとかな
もっとみる
Claude3の3モデルと、GeminiPro1.5で、10万字超えの要約性能（粗筋作成）を比較してみた。追加テストしました
北条カズマレさんと某所でのチャットで、Claude3-Opus本家でも、数万字超えで要約がおかしくなるという話をしていたので、実際に検証してみることにした。
比較方法 検証するファイルは、10万字超えのなろう小説を書かせた話で解説してるようにClaude先生ことClaude3-Opusに書いてもらった、召喚された俺は最強の絆で異世界を救う！の全文を使用した。
Claude本家の各モデルに、
PerplexityのClaude3-Opusのトークン制限疑惑を検証してみた。訂正とお詫び有り
PerplexityProで、Claude3-Opusを使用した場合、Anthropicの公式のClaude3-Opus200kと異なり、30kほどでトークンが制限されているとの噂が出ている。
そこで、自分で検証してみることにした。
噂の出どころ まず、この噂が出てきたのが公式ディスコでの書き込み以外だと、Redditのこのスレッドです。
タイトルは「Perplexity limits t
Perplexityのコレクション機能を使用したClaude3を使った半自動小説作成bot（プロンプトを公開しました）
自分も昨日知ったばかりの機能なのですが、Perplexityにはコレクションという名前からは想像できないシステムプロンプトを設定できる、Poeのbotや、ChatGPTのGPTsに近い機能があります。
プロットを作らせよう 下記のリンクが小説用プロット作成botです。
https://www.perplexity.ai/collections/bot-jw_rR9_RSa2UXttHScUZ
Claude3本家とPerplexityとPoeのサービス比較
以下は、AnthropicのClaude Pro、PoeのPoeサブスクリプション、Perplexity Proの価格とサービス内容を比較した表です。なお、PerplexityProのClaude3Opusを使用して作成したものをベースに、古い情報を訂正したものです。
PerplexityProによる解説解説:
Anthropicは、月額$20（米国）または£18（英国）でClaude Pr