記事一覧
Swallow 13B Instruct HFをColabで試す
Llama 2 ベースの新しい日本語特化言語モデル Swallow 13B Instruct HFをColabで試しました。 リリース記事: https://tokyotech-llm.github.io/ https://zenn.dev/toky…
リリースされたばかりの Gemini Pro API を試してみる
Gemini Pro の API を試してみたいと思います。 API キーはこちらから取得 → https://ai.google.dev/ 参考: https://ai.google.dev/tutorials/python_quickstart セッ…
Microsoft から出た小型モデル Phi-2 を Colab で試す
Microsoft から出た小型モデル Phi-2 を使ってみたいと思います。 Model: https://huggingface.co/microsoft/phi-2 リリース記事: https://www.microsoft.com/en-us/rese…
SynthIA-7B-v1.3 を Colab で試してみる
今回は Mistral-7B をベースにファインチューニングされた `migtissera/SynthIA-7B-v1.3` を使ってみたいと思います。 Huggingface: https://huggingface.co/migtissera/S…
Anthropic API で Claude 3 のツール活用Function Callingを試す
今回は、Anthropic API を使ってGPT-4超えと話題の Claude 3 のツール活用（Function Calling）を試してみます。
Claude 3 では、GPT-4 同様、ツールの定義をすることで LLM にツールの活用をさせることができます。
Anthropic 自体が出しているツール活用用の Python のレポジトリーがありましたので、それをフォークして使ってみます。
最新の Google Gemma モデルを MLX を使ってローカルでファインチューニング
今回は、最新の Google Gemma モデルを Apple Silicon に最適化されたライブラリ MLX を使ってローカルで実行したり、ファインチューニングしてみましたのでその手順を紹介します。
MLX 関連の情報はドキュメンテーションが分かりづらいものも多かったので色々試した経緯も共有しながら少しでも何かの参考になれば幸いです。
実際に使った Jupyter Notebook を Gi
画像からテーブル構造の抽出を GPT4V と Instructor を使って実現する
GPT-4V を使って画像から表を抽出し、Instructor を使って表を整形するサンプルコード。Instructor 自体の docs を参照して試してます。
# ライブラリのインストール!pip install instructor -Uqq
Instructorライブラリを使って、GPT4Vから返り値として得たいフォーマットを指定します。
from io import StringI
日本語も意外と理解できるOpenChat-3.5-1210を試す
Trying openchat/openchat-3.5-12107B パラメータ級でトップクラス（？）のベンチマークを握る OpenChat3.5-1210 を Colab で試してみました。
意外に日本語が使えてびっくりです。
体感でも GPT-3.5 くらいの品質があり、利便性のあるモデルだと思いました。
モデル: https://huggingface.co/openchat/openc
Swallow 13B Instruct HFをColabで試す
Llama 2 ベースの新しい日本語特化言語モデル Swallow 13B Instruct HFをColabで試しました。
リリース記事:
https://tokyotech-llm.github.io/
https://zenn.dev/tokyotech_lm/articles/d6cb3a8fdfc907
モデル: https://huggingface.co/tokyotech
リリースされたばかりの Gemini Pro API を試してみる
Gemini Pro の API を試してみたいと思います。
API キーはこちらから取得 → https://ai.google.dev/
参考: https://ai.google.dev/tutorials/python_quickstart
セットアップ!pip install -q -U google-generativeai
import pathlibimport textw
Microsoft から出た小型モデル Phi-2 を Colab で試す
Microsoft から出た小型モデル Phi-2 を使ってみたいと思います。
Model: https://huggingface.co/microsoft/phi-2
リリース記事: https://www.microsoft.com/en-us/research/blog/phi-2-the-surprising-power-of-small-language-models/
Saty
Mistralの日本語ファインチューンモデル、「shisa-7b-v1」をColabで試してみました
今回はshisa-7b-v1をColabで試しました。
Mistral 7B をベースに、日本語生成に向くよう対応させたトークナイザーを用い、その後に airoboros-3.1 や ultrafeedback_binarized などを機械翻訳したデータセットに DPO も用いてファインチューニングさせたモデルということで、なかなか楽しみなことをしているモデルです。
モデル: https://
最近公開された大規模言語モデル DeepSeek-LLM-67B-chat を Colab で試してみた
今回は、DeepSeek-LLM-67B-chat を Colab で試してみたいと思います。
中々大きなモデルサイズなので Colab といっても無料枠では厳しく、今回は A100 の GPU 付きで実行してみました。
また、モデルは AWQ 化されたものを使用します。
元のモデル: https://huggingface.co/deepseek-ai/deepseek-llm-67b-cha
新しく出たOpenAIのGPT-4V, Dalle-3, JSONモードAPIを試す
2023 年 OpenAI Dev Day で発表された新しい API を色々と試してみたいと思います。
今回試すのは、
JSON Mode
DALLE-3 での画像生成
GPT-4V の画像認識 API
の３つです。他のも後ほど試したいと思います。
準備!pip install openai -Uqq
from google.colab import userdataapi_key
calm2-7b-chat をColabで試す
CyberAgent から昨日公開された新しい LLM モデル cyberagent/calm2-7b-chat を試してみました。
Apache-2.0 で商用利用可、コンテキストの長さも 32K とかなり長いので、ビジネス応答などにも使えるかと思います。
Huggingface: https://huggingface.co/cyberagent/calm2-7b-chat
早速試したいと
llm-jpをColabで試す
少し出遅れてしまったが、新たにリリースされた日本語 LLM「llm-jp」を試してみたいと思います。
複数バージョンがありますが、「jaster を含むものは回答がそっけない」ということを Twitter で聞いた気がしたので、今回はそれを含まないものを試してみたいと思います。
Colabで試してみるモデルのダウンロード
!pip install transformers accelerate
Zephyr-7b-alpha を無理やり日本語で試す
今回試してみる Zephyr-7B-alpha は、Hugging Face 社によって開発された言語モデルのシリーズで、 mistral-7b に対するファインチューンとなっています。
ChatGPT で生成した会話系の合成データセットの UltraChat 等を使っており、Direct Preference Optimization (DPO) という手法を使ってトレーニングされています。
D
RAG における埋め込みモデルの比較
LLM を使った RAG を行う際に埋め込みモデルが必要となりますが、どの程度差がでるのか 4 種類ほどの埋め込みモデルを使って検証してみたいと思います。
今回試す埋め込みモデル:
intfloat/multilingual-e5-large
cl-nagoya/sup-simcse-ja-large
pkshatech/GLuCoSE-base-ja
openai/text-embed
SynthIA-7B-v1.3 を Colab で試してみる
今回は Mistral-7B をベースにファインチューニングされた `migtissera/SynthIA-7B-v1.3` を使ってみたいと思います。
Huggingface: https://huggingface.co/migtissera/SynthIA-7B-v1.3
Colabで実行必要なライブラリをインストール
# 必要なライブラリをインストール!pip install tra