NVIDIA NIM

ChatNVIDIA ライブラリを介して行われる LLM 呼び出しを Weave でトレースしてログする

weave.init() が呼び出されると、Weave は ChatNVIDIA ライブラリを介して行われる LLM 呼び出しを自動的にトラッキングしてログします。

最新のチュートリアルについては、Weights & Biases on NVIDIA をご覧ください。

​

トレース

開発中と本番環境の両方で、LLM アプリケーションのトレースを中央のデータベースに保存することが重要です。これらのトレースは、デバッグに加えて、アプリケーションの改善時に評価に使う難しいケースのデータセットを構築する際にも役立ちます。

Python

Weave は ChatNVIDIA Python ライブラリ のトレースを自動的にキャプチャできます。

任意のプロジェクト名を指定して weave.init(<project-name>) を呼び出すと、キャプチャを開始できます。

from langchain_nvidia_ai_endpoints import ChatNVIDIA
import weave
client = ChatNVIDIA(model="mistralai/mixtral-8x7b-instruct-v0.1", temperature=0.8, max_tokens=64, top_p=1)
weave.init('emoji-bot')

messages=[
    {
      "role": "system",
      "content": "You are AGI. You will be provided with a message, and your task is to respond using emojis only."
    }]

response = client.invoke(messages)

TypeScript

このライブラリは Python でのみ提供されているため、この機能はまだ TypeScript では利用できません。

​

独自の op をトラッキングする

Python

関数を @weave.op でラップすると、入力、出力、アプリのロジックの記録が始まり、データがアプリ内をどのように流れるかをデバッグできるようになります。op は深くネストでき、トラッキングしたい関数のツリーを構築できます。また、実験を進める中でコードのバージョン管理も自動的に始まり、git にまだコミットしていないアドホックな詳細も記録できます。

ChatNVIDIA Python ライブラリ を呼び出す @weave.op 付きの関数を作成するだけです。

以下の例では、2 つの関数を op でラップしています。これにより、RAG アプリの検索 step のような中間 step が、アプリの挙動にどう影響しているかを確認しやすくなります。

import weave
from langchain_nvidia_ai_endpoints import ChatNVIDIA
import requests, random
PROMPT="""Emulate the Pokedex from early Pokémon episodes. State the name of the Pokemon and then describe it.
        Your tone is informative yet sassy, blending factual details with a touch of dry humor. Be concise, no more than 3 sentences. """
POKEMON = ['pikachu', 'charmander', 'squirtle', 'bulbasaur', 'jigglypuff', 'meowth', 'eevee']
client = ChatNVIDIA(model="mistralai/mixtral-8x7b-instruct-v0.1", temperature=0.7, max_tokens=100, top_p=1)

@weave.op
def get_pokemon_data(pokemon_name):
    # これは、RAG アプリ内の検索 step のような、アプリケーション内の step です
    url = f"https://pokeapi.co/api/v2/pokemon/{pokemon_name}"
    response = requests.get(url)
    if response.status_code == 200:
        data = response.json()
        name = data["name"]
        types = [t["type"]["name"] for t in data["types"]]
        species_url = data["species"]["url"]
        species_response = requests.get(species_url)
        evolved_from = "Unknown"
        if species_response.status_code == 200:
            species_data = species_response.json()
            if species_data["evolves_from_species"]:
                evolved_from = species_data["evolves_from_species"]["name"]
        return {"name": name, "types": types, "evolved_from": evolved_from}
    else:
        return None

@weave.op
def pokedex(name: str, prompt: str) -> str:
    # これは他の op を呼び出すルート op です
    data = get_pokemon_data(name)
    if not data: return "Error: Unable to fetch data"

    messages=[
            {"role": "system","content": prompt},
            {"role": "user", "content": str(data)}
        ]

    response = client.invoke(messages)
    return response.content

weave.init('pokedex-nvidia')
# 特定の Pokémon のデータを取得する
pokemon_data = pokedex(random.choice(POKEMON), PROMPT)

Weave にアクセスすると、UI で get_pokemon_data をクリックして、その step の入力と出力を確認できます。

TypeScript

この機能は、このライブラリが Python でのみ提供されているため、TypeScript ではまだ使用できません。

​

より簡単に実験できるように Model を作成する

Python

試行錯誤する要素が多いと、実験内容を整理するのは大変です。Model クラスを使用すると、system prompt や使用中のモデルなど、アプリの実験に関する詳細を記録して整理できます。これにより、アプリのさまざまな反復を整理し、比較しやすくなります。

Model は、コードのバージョン管理や入力/出力の記録に加えて、アプリケーションの動作を制御する構造化されたパラメーターも記録するため、どのパラメーターが最も効果的だったかを簡単に検索できます。また、Weave Models は serve や Evaluation と組み合わせて使用することもできます。

以下の例では、model と system_message を試せます。これらのいずれかを変更するたびに、GrammarCorrectorModel の新しい version が作成されます。

import weave
from langchain_nvidia_ai_endpoints import ChatNVIDIA

weave.init('grammar-nvidia')

class GrammarCorrectorModel(weave.Model): # `weave.Model` に変更
  system_message: str

  @weave.op()
  def predict(self, user_input): # `predict` に変更
    client = ChatNVIDIA(model="mistralai/mixtral-8x7b-instruct-v0.1", temperature=0, max_tokens=100, top_p=1)

    messages=[
          {
              "role": "system",
              "content": self.system_message
          },
          {
              "role": "user",
              "content": user_input
          }
          ]

    response = client.invoke(messages)
    return response.content

corrector = GrammarCorrectorModel(
    system_message = "You are a grammar checker, correct the following user input.")
result = corrector.predict("That was so easy, it was a piece of pie!")
print(result)

TypeScript

この機能は、まだ TypeScript では利用できません。このライブラリは Python でしか提供されていないためです。

​

使用情報

ChatNVIDIA インテグレーションは、invoke、stream、およびそれらの非同期版をサポートしています。また、ツール使用もサポートしています。 ChatNVIDIA はさまざまなタイプのモデルで使用されることを想定しているため、function calling はサポートしていません。