コードをトレースする

実行中のコードにインストルメンテーションを施し、その実行が W&B Weave に詳細なトレースとして表示されるようにします。

実行中のコードを Weave で詳細なトレースとして可視化するには、Calls を作成します。これを行う方法は大きく 3 つあります。

​

1. LLM ライブラリ呼び出しの自動トラッキング

Weave は、openai、anthropic、cohere、mistral、LangChain などの一般的なインテグレーションやフレームワークと自動的に連携します。 LLM またはフレームワークのライブラリをインポートして Weave プロジェクトを初期化すると、追加のコード変更なしで、LLM やプラットフォームへのすべての呼び出しが自動的にプロジェクトへトレースされます。 サポートされているライブラリインテグレーションの一覧については、Integrations overview を参照してください。

Python

import weave

from openai import OpenAI
client = OpenAI()

# Weave トレーシングを初期化
weave.init('intro-example')

response = client.chat.completions.create(
    model="gpt-4",
    messages=[
        {
            "role": "user",
            "content": "How are you?"
        }
    ],
    temperature=0.8,
    max_tokens=64,
    top_p=1,
)

TypeScript

import OpenAI from 'openai'
import * as weave from 'weave'

const client = new OpenAI()

// Weave トレーシングを初期化
await weave.init('intro-example')

const response = await client.chat.completions.create({
  model: 'gpt-4',
  messages: [
    {
      role: 'user',
      content: 'How are you?',
    },
  ],
  temperature: 0.8,
  max_tokens: 64,
  top_p: 1,
});

JS / TS プロジェクト向けのセットアップ手順の詳細については、TypeScript SDK: Third-Party Integration Guide を参照してください。

自動動作をさらに細かく制御したい場合は、自動 LLM 呼び出しトラッキングの設定 を参照してください。

​

2. カスタム関数のトラッキング

多くの場合、LLM アプリケーションには、トラッキングしたい追加のロジック (前処理・後処理、プロンプトなど) が含まれます。

Python

Weave では、@weave.op デコレーターを使って、これらの呼び出しを手動でトラッキングできます。例えば:

import weave

# Weave Tracing を初期化
weave.init('intro-example')

# 関数をデコレート
@weave.op
def my_function(name: str):
    return f"Hello, {name}!"

# 関数を呼び出す -- Weave が自動的に入力と出力をトラッキング
print(my_function("World"))

クラスのメソッド をトラッキングすることもできます。

TypeScript

Weave では、関数を weave.op でラップすることで、これらの呼び出しを手動でトラッキングできます。例えば:

import * as weave from 'weave'

await weave.init('intro-example')

function myFunction(name: string) {
    return `Hello, ${name}!`
}

const myFunctionOp = weave.op(myFunction)

また、ラップをインラインで定義することもできます:

const myFunctionOp = weave.op((name: string) => `Hello, {name}!`)

これは、関数だけでなくクラスのメソッドにも利用できます:

class MyClass {
    constructor() {
        this.myMethod = weave.op(this.myMethod)
    }

    myMethod(name: string) {
        return `Hello, ${name}!`
    }
}

​

クラスおよびオブジェクト メソッドのトラッキング

クラスおよびオブジェクト メソッドもトラッキングできます。クラス内の任意のメソッドを weave.op でデコレートすることで、そのメソッドをトラッキングできます。

Python

import weave

# Weave Tracing を初期化
weave.init("intro-example")

class MyClass:
    # メソッドをデコレート
    @weave.op
    def my_method(self, name: str):
        return f"Hello, {name}!"

instance = MyClass()

# メソッドを呼び出すと、Weave が自動的に入力と出力をトラッキングする
print(instance.my_method("World"))

TypeScript

インスタンス メソッドに @weave.op を適用してトレースできます。

class Foo {
    @weave.op
    async predict(prompt: string) {
        return "bar"
    }
}

クラス内のユーティリティ関数をトレースするために、@weave.op を static メソッドに適用することもできます。

class MathOps {
    @weave.op
    static square(n: number): number {
        return n * n;
    }
}

​

並列 (マルチスレッド) 関数呼び出しのトレース

デフォルトでは、並列な Call はすべて Weave 上では個別の root Call として表示されます。同じ親 Op の下に正しくネストさせるには、ThreadPoolExecutor を使用します。

Python

次のコードサンプルは、ThreadPoolExecutor の使用例を示しています。 最初の関数 func は、x を受け取って x+1 を返すシンプルな Op です。2 つ目の関数 outer は、入力リストを受け取る別の Op です。 outer の中で ThreadPoolExecutor と exc.map(func, inputs) を使用することで、各 func 呼び出しは同じ親の trace コンテキストを保持したまま実行されます。

import weave

@weave.op
def func(x):
    return x+1

@weave.op
def outer(inputs):
    with weave.ThreadPoolExecutor() as exc:
        exc.map(func, inputs)

# Weave プロジェクト名を更新する
client = weave.init('my-weave-project')
outer([1,2,3,4,5])

TypeScript

この機能は、TypeScript SDK ではまだ利用できません。

Weave UI では、これにより 1 つの親 Call の下に 5 つの子 Call がネストされた形で表示されるため、インクリメントが並列で実行されていても、完全に階層的な trace を得ることができます。

​

3. Manual Call tracking

API を直接使用して Call を手動で作成することもできます。

Python

import weave

# Initialize Weave Tracing
client = weave.init('intro-example')

def my_function(name: str):
    # Start a Call
    call = client.create_call(op="my_function", inputs={"name": name})

    # ... your function code ...

    # End a Call
    client.finish_call(call, output="Hello, World!")

    # Call your function
    print(my_function("World"))

TypeScript

この機能は TypeScript SDK ではまだ利用できません。

HTTP API

• Call を開始: POST /call/start。
• Call を終了: POST /call/end。

curl -L 'https://trace.wandb.ai/call/start' \
-H 'Content-Type: application/json' \
-H 'Accept: application/json' \
-d '{
    "start": {
        "project_id": "string",
        "id": "string",
        "op_name": "string",
        "display_name": "string",
        "trace_id": "string",
        "parent_id": "string",
        "started_at": "2024-09-08T20:07:34.849Z",
        "attributes": {},
        "inputs": {},
        "wb_run_id": "string"
    }
}