Weave プロジェクトを管理する

トレース、プロンプト、評価、モデル、ダッシュボードなどの関連アセットを整理するためにWeave プロジェクトを使用します。

Weave プロジェクトを使うと、トレース、評価、モデル、データセット、その他のWeaveアセットなど、関連するアセットを整理できます。プロジェクトはチームの作業を整理し、コラボレーションと共有を効率化し、LLMアプリケーションの進化を継続的にトラッキングするのに役立ちます。

​

プロジェクトリソース

Projects には、次のリソースが保存されます。

リソース	説明
トレース	デバッグや分析のために、入力、出力、レイテンシ、トークン使用量を記録する、個々の LLM call、関数実行、アプリケーションフローです。Traces を参照してください。
評価	品質、精度、その他のメトリクスを測定するスコアリング関数を使用して、データセットに対するモデル性能を比較するテスト結果です。Evaluations を参照してください。
モニター	本番環境で、時間の経過に伴う品質メトリクスを追跡するために、LLM-as-a-judge scorer を使用して関数 call の一部を自動的にスコアリングするバックグラウンドプロセスです。Monitors を参照してください。
リーダーボード	さまざまな評価 run におけるモデル性能を順位付きで比較したもので、最も高いパフォーマンスを発揮する設定を特定するのに役立ちます。Leaderboards を参照してください。
スレッド	完全なユーザーインタラクションを分析するために、関連する call を共有のスレッド ID の下にグループ化する、複数ターンの会話とセッションベースのワークフローです。Threads を参照してください。
Assets	Assets タブには、プロジェクト内のバージョン管理されたオブジェクトが保存・整理されます: Models: プロンプト、パラメーター、設定を記録するバージョン管理されたモデル定義で、再現性と比較のために変更を自動的にトラッキングします。Models を参照してください。 Datasets: ダウンロード、閲覧、評価の実行に使用できる、Weave オブジェクトとして保存されたテスト例のコレクションです。Datasets を参照してください。 Prompts: モデル設定でテストして再利用できる、バージョン管理された system prompt です。Prompts を参照してください。 Scorers: 品質、安全性、またはカスタムメトリクスを測定するために、モデルの入力と出力を評価する関数です。Scorers を参照してください。 Ops: @weave.op() でデコレートされ、自動的にバージョン管理およびトラッキングされる関数で、call を生成し、関数の変更履歴を保持します。Ops を参照してください。 その他のオブジェクトとメタデータ: プロジェクト内に保存される、追加の Weave オブジェクト、カスタム型、および関連メタデータです。

​

プロジェクトのパス

Teams (entities とも呼ばれます) が、W&B 組織内のプロジェクトを所有・管理します。チーム名とプロジェクト名を組み合わせたものが、W&B UI でのプロジェクトのパスになります。コードでもこのパスを使用して、Weave リソースをプロジェクトに関連付けます。

たとえば、チーム名が my-team、プロジェクト名が my-project の場合、プロジェクトのパスは次のとおりです。

my-team/my-project

アプリのデータをプロジェクトに関連付けるには、コード内で Weave を初期化する際にこのパスを使用します：

weave.init('my-team/my-project')

​

プロジェクトの作成と検索

W&B UI を使用するか、コードで新しいプロジェクトパスを設定することで、Weave プロジェクトを作成できます。

W&B UI

W&B UI を使用して新しいプロジェクトを作成するには、次の手順に従います。

1. wandb.ai にアクセスします。
2. New project を選択します。Create a new project モーダルダイアログが開きます。
3. モーダルで、次のフィールドを設定します。
   • Team: プロジェクトに関連付ける既存の Teams。
   • Name: プロジェクトの名前。
   • Project visibility: プロジェクトを表示および編集できるユーザーの範囲。
   • Description: (任意) プロジェクトの目的を把握して整理しやすくするための簡単な説明。
4. 必要なフィールドを設定したら、Create project を選択します。プロジェクトが作成されます。

新しく作成したプロジェクトを見つけるには、左上の Weights & Biases ロゴ を選択して Global navigation メニューを開きます。このメニューには最近使用したプロジェクトと所属している Teams が表示されるため、すばやくコンテキストを切り替えられます。プロジェクトを選択すると、そのプロジェクトの Workspace が開きます。

または、右上の名前の下にあるメニューから Profile を開きます。Projects タブには、すべてのプロジェクトが一覧表示されます。

新しいプロジェクトの Workspace を開くと、UI には W&B Models と Weave の両方のクイックスタートが表示されます。プロジェクトのツールバーにも、各プロダクト用のツールが含まれています。コードを通じて Weave のデータをプロジェクトに関連付けると、サイドナビには Weave のツールだけが表示され、Weave ダッシュボードを利用できるようになります。

Weave SDK

コードから直接 Weave プロジェクトを作成するには、weave.init() の引数として新しいプロジェクトパスを指定します。

import weave

weave.init('my-team/my-llm-app')

import * as weave from 'weave';

await weave.init('my-team/my-llm-app');

コードを実行すると、Weave は W&B アカウントに新しいプロジェクトを作成し、run から該当するデータをそのプロジェクトにアップロードします。また、Weave はそのプロジェクトを Weave プロジェクトとして設定し (W&B Models プロジェクトではなく) 、UI のサイドナビには Weave のツールのみが表示されます。

​

UI でプロジェクトを表示する

Weave UI でプロジェクトにアクセスするには、次の手順に従います。

1. wandb.ai にアクセスします。
2. 左上にあるWeights & Biases ロゴをクリックしてGlobal navigation menuを開き、Projects サイドバーからプロジェクトを選択します。プロジェクトの概要ページが開きます。すでにそのプロジェクトにトレースをログしている場合は、トレースページが開きます。
3. 概要ページでは、次のことができます。
   • プロジェクトにログされたトレース数や、プロジェクトで使用しているストレージ容量などの統計を確認する。
   • サイドバーを使って、トレース、評価、その他のリソースにアクセスする。
   • 最近ログされたトレース、評価、モデル、データセットにアクセスする。

​

プロジェクトを削除する

W&B アカウントからプロジェクトを削除するには、以下の手順に従います。

1. wandb.ai にアクセスします。
2. Projects サイドバーで対象のプロジェクトを選択します。プロジェクトの概要ページが開きます。すでにそのプロジェクトにトレースをログしている場合は、トレース ページが開きます。
3. 概要ページがまだ開いていない場合は、サイドナビの Project () ボタンを選択して開きます。
4. action () メニューを選択し、一覧から Delete Project を選びます。Delete project モーダルダイアログが開きます。
5. モーダルで確認フィールドにプロジェクト名を入力し、Delete をクリックします。プロジェクトは W&B アカウントから完全に削除されます。