記事一覧
poetry --directory で参照する pyproject.toml と poetry.lock を切り替える
パッケージ管理に poetry を使っているのですが、機械学習などをしていると、GPUやCPU、時には Apple Silicon(M1, M2, M3 Macなど)ごとにインストールするパッケージやパッケージのビルドを切り替えたりする必要がしばしば発生します。
これまで下記のようなかなりアドホックな pyproject.toml を書いて対応していたのですが、そろそろ限界を感じはじめていました
μTransfer: 小規模モデルでのハイパラ探索を大規模モデルに転移し学習を効率化する
最近、友人から大規模モデルの学習を劇的に効率化しそうな下記の事実(μTransfer)を教えてもらい、こんなことが成り立つことに非常に驚くとともに、それを知らなかったことにちょっとしたショックを受けました。
ここで出てくる μP(Maximal Update Parametrization)というのは、 Tensor Programs (TP)というフレームワークにおいて理論的に導出されたパラメ
LLM の chat_template に気をつけろ!
nouu の白川です。
毎週のように新しいより高精度な LLM が出てきてキャッチアップするのも大変ですね。量子化された小さなモデルなら Google Colab などでチャチャッと試すのは意外と簡単なのですが、公式が提供しているサンプルからはみ出た事をしようとすると罠にハマることがあります。
その一つが chat_template です。chat_template は instruction
日本語に対応した Embedding Model のベクトル検索での精度比較
こんにちは、nouu の白川です。
OpenAI Dev Day、よいリリースがたくさんありましたね!GPT-4 Turbo が出てくれたお陰で、production利用がだいぶ捗りそうです。一方で、Text Embedding に関しては全くリリースはありませんでした。
自分は Text Embedding のモデルとしてちょっと昔は sonoisa/sentence-bert-base-j
1 億ユーザー 1 億商品棚の実現に向けた、パーソナライズされた商品レコメンド機能の裏側(Part2 実装編)
こんにちは、カウシェの AI チームの tatsuya(白川達也)です。
2022 年 11 月に入社してから検証・実装していた商品レコメンド機能がついにリリースされました(現状 iOS 版でのみ先行配信されています)。カウシェでは初めての機械学習を使った機能だったこともあり、リリースまでこぎつけるには超えないといけないハードルがいくつもあってそれなりに大変だったのですが、そのあたりの背景や経緯
1 億ユーザー 1 億商品棚の実現に向けた、パーソナライズされた商品レコメンド機能の裏側(Part 1 背景・経緯編)
こんにちは、カウシェの AI チームの tatsuya(白川達也)です。
2022 年 11 月に入社してから検証・実装していた商品レコメンド機能がリリースされました(現状 iOS 版でのみ先行配信されています)。カウシェでは初めての機械学習にもとづく機能だったこともあり、リリースまでこぎつけるには超えないといけないハードルがあって時間がかかってしまったのですが、そのあたりの背景や経緯を踏まえ、
自己流 Vertex AI Pipelines 開発プラクティス
こんにちは、カウシェで機械学習エンジニアをしている tatsuya (白川達也)です。最近まで取り組んでいたレコメンド機能の実装を通じて、Vertex AI Pipelines のカウシェにおけるプラクティスを自分なりに固めてみたので、公開してみたいと思います。
今回紹介するプラクティスのなかには実は Bad Practice なものもあるかもしれません。より良い方法をご存じの方は、直接教えてい
Fivetran をつかった Shopify → BQ 連携と注意点
※2023年1月11日に配信したmediumの記事の転載です
こんにちは!カウシェで ML Engineer をしている白川 達也(tatsuya)です。
機械学習をするために商品データを取得しようとしたら Shopify → スプシ → BigQuery という構成で商品情報が参照されており、この連携部分がとても不安定だったので、Fivetran を導入して安定化させてみました。その中で、F
二回目の一人目 ML Engineer になりました。
こんにちは!先月半ばにカウシェに一人目の ML Engineer(機械学習エンジニア)として入社した白川 達也(tatsuya)です。
実はスタートアップに一人目 ML Engineer として入社するのは前職に引き続き二回目で、世の中的にも同じような経験した方はそんなにたくさんはいないのではないかと思ったので、一人目ないしはそれに近いタイミングで ML Engineer をやることの面白さを伝