マガジンのカバー画像

機械学習

5
本
運営しているクリエイター
lilacs2039

Taichiでscaled_dotproduct_attentionを実装する

TaichiでのLLM学習・実行に興味があり、scaled_dotproduct_attentionを実装してみました。 TaichiとはTaichiは、GPU並列処理をPythonで記述できるライブラリです。コンピューターグラフィックスでの利用が想定されています。 scaled_dotproduct_attentionとはTransformerで使用されるAttentionメカニズムです。 クエリ（Q）、キー（K）、バリュー（V）を用いて、入力シーケンス内の各位置での重

lilacs2039

TaichiとPyTorchの違い【一目比較GPT事例】

TaichiとはTaichiは、GPU並列処理をPythonで記述できるライブラリです。コンピューターグラフィックスでの利用が想定されています。 公式サイト ドキュメント ディープラーニング関連では、RWKVやNeRFなどの事例があります。 RWKV RNNとTransformerのいいとこ取りを試みたモデル GitHub https://github.com/ailzhang/blog_code/tree/master/rwkv NeRF（Neural Ra

lilacs2039

応答時間・精度・マシンパワーのトレードオフ【AIサービス実行インフラ】

はじめに運用しやすいAIサービスを作るためには精度だけを高めるのではなく、応答時間とマシンパワーのバランスをとることが必要であることを示します。 レイテンシー・精度・マシンパワーの関係レイテンシとマシンパワーの関係 「時間 = 量 / 速さ」のアナロジーより、以下の式が成り立ちます。 この式が意味するところは、計算量が同じならばマシンパワーを大きくすればより少ない時間で計算が終わるということです。 例えば、CPUのスレッド数（マシンパワー）を2倍にすれば、処理時間は

lilacs2039

Flip Backprop : バイナリ重みを直接学習する新手法を提案します。

バイナリーニューラルネットワーク（BNN）の重みを直接的に学習する、新しい学習の枠組み「反転逆伝播法（Flip Backprop）」を考案しました。 反転逆伝搬法によるバイナリニューラルネットワークの学習 ～ニューラルネットワーク学習法の全面的見直し～ 反転逆伝播法は、「勾配」ではなく「反転」を逆伝播させることでBNNの学習を行う手法です。PyTorchに組み込んで実装するので、既存のニューラルネットワークと一緒に学習可能で、実装コストが低く、運用も容易な手法です。 バ

lilacs2039

ブラウザ上でYOLO v8を動かす～PyScriptとONNXRuntime-webを使ったディープラーニング物体検出

ブラウザ上でYOLOv8を動かす「YOLOv8-browser」を作ったので、本記事で紹介します。 リポジトリ：https://github.com/lilacs2039/YOLOv8-browser Demo：https://lilacs2039.github.io/YOLOv8-browser/index.html PC・スマホのブラウザで動くので、ぜひデモを試してみてください。 このプロジェクトでは、PyScriptとONNXRuntime-webを利用していま

lilacs2039