こんにちは、福田です。

今日はだいぶ前にLangSmith・LangChain Hubを利用する際に学習したことを共有します。

LangSmith：

LangSmithとは？

LangSmithは、プロトタイプと製品版のギャップを埋めるためのプラットフォームで、よりわかりやすく説明すると「LangChainを本番環境で運用する際の便利ツール」です。具体的には、LangSmithを用いて、次の3つのことをできるようになります：

• LLMの実行ログの収集（モニター機能、デバッグ機能）

• LLMの出力結果のデータセット化（データ収集機能）

• 登録したデータセットによるモデルの評価（検証機能）

こちらの方の記事がとてもわかりやすかったので共有します。

最強のツール「LangSmith」が登場した話【Python / LangChain】 (zenn.dev)

LangSmith を最速で学習する

こちらのnotebookを利用すると、最速でLangSmithの全体が理解できるはずです。とても重宝しています。

参考:

https://github.com/langchain-ai/langchain/blob/master/docs/extras/guides/langsmith/walkthrough.ipynb

LangChain Hub：

大規模言語モデルの新たなフロントエンド

LangSmithを使っていく中で何度かLangChain Hubについての記述が出てきたことかと思います。
備忘録ということでこちらに簡単な概要の説明としてまとめてみました。

LangChainは、大規模言語モデル（LLM）を活用したアプリケーション開発のためのフレームワークです。そして、LangChain Hubは、LangChainと一般的なLLMのためのプロンプトを発見、共有、バージョン管理する場所です。

LangChain Hubとは？

LangChain Hubは、Hugging Face Hubからインスピレーションを得て作られました。LangChainの基本要素であるプロンプト、チェーン、エージェントなどを扱うための全てのアーティファクトが集約されています。

このリポジトリの目的は、複雑なLLMアプリケーションを形成するために組み合わせる高品質なプロンプト、チェーン、エージェントを共有し、発見するための中心的なリソースであることです。

LangChain Hubの特徴

LangChain Hubでは、以下の3つの方法でアーティファクトを追加することができます：

• フォークを作成し、その後リポジトリに対してPRを開く

• アーティファクトの詳細を含む問題をリポジトリに作成する

• 適切なGoogleフォームでアーティファクトを追加する
  これらのアーティファクトは、それぞれ異なる指示に従ってアップロードされます。各サブディレクトリには、そのチェーンが含むものを説明するREADMEも含まれています。

LangChain Hubで扱う主要な要素

LangChain Hubでは主に以下の3つの要素が扱われます：

• プロンプト：プロンプトディレクトリ内でユースケースごとに整理されています。

• チェーン：チェーンディレクトリ内でユースケースごとに整理されています。

• エージェント：エージェントディレクトリ内でユースケースごとに整理されています。
  これら各要素はそれぞれ異なる方法でLangChainに読み込まれます。

まとめ

LangSmithは自社プロダクト等を持つ企業にとってはさまざまな利用方法が考えられると思います。ログ監視用・学習データセット管理用・検証用など個人的にはすべて活用できそうだなと感じました。
LangChain Hubについても簡単にまとめました。こちらは開発者向けの集中化されたハブとして機能し、プラットフォームの機能を探索するためのシームレスで直感的な体験を提供します。
これら全てが組み合わさって複雑なLLMアプリケーションを形成します。開発者としては、これらの強力なツールを使いこなすきっかけとなるはずです。

最後まで読んでいただきありがとうございました。