以下の記事が面白かったので、簡単にまとめました。

1. NVIDIA NIM

「NVIDIA NIM」は、企業全体での生成AIの展開を加速するために設計された、推論マイクロサービスです。このランタイムは、「NVIDIA AI 基盤モデル」「オープンソースモデル」「カスタムAIモデル」まで、幅広いAIモデルをサポートします。業界標準のAPIを活用することで、開発者はわずか数行のコードで、企業グレードのAIアプリケーションを迅速に構築できます。

「NIM」は、「NVIDIA Triton Inference Server」「NVIDIA TensorRT」「NVIDIA TensorRT-LLM」「PyTorch」などの基盤上に構築されており、大規模でシームレスなAI推論が可能です。

2. NVIDIA NIM の利点

「NVIDIA NIM」の利点は、次のとおりです。

2-1. 自己ホスト型

NVIDIAベースのモデルに送信したデータが社内外に流出することがないことを意味します。機密データを頻繁に渡すRAGベースのアプリケーションにとって特に興味深いものです。

2-2. 構築済みコンテナ

、多くの作業を行わずに最新の生成AIモデルから選択できるようになります。

2-3. スケーラブル

ラップトップ上でモデルをローカルに実行することができます。さらに、マネージドサービスプロバイダと同様の信頼性と稼働時間を備えたサービスとしてホストすることもできます。

3. NVIDIA NIM のはじめ方

開発者は、「NVIDIA API カタログ」内で、幅広いAIモデルにアクセスして、生成AIアプリケーションを構築および展開できます。「NIM」は、「NVIDIA AI Enterprise」の一部として利用できます。

詳しくは、この記事を参照してください。

4. LangChain の NVIDIA NIM 統合

「LangChain」に「NVIDIA NIM」統合が追加されました。

統合を利用するには、専用パッケージをインストールする必要があります。

pip install langchain_nvidia_ai_endpoints

その後、次のようなモデルをインポートして利用できます。

from langchain_nvidia_ai_endpoints import NVIDIAEmbeddings, ChatNVIDIA