OpenAI

セットアップなしで Weave 上で OpenAI のモデルを試したい場合は、LLM Playground をお試しください。

トレース

開発中および本番環境のどちらにおいても、LLM アプリケーションのトレースを一元的なデータベースに保存しておくことが重要です。これらのトレースはデバッグや、アプリケーションを改善する際に評価用の難しい例のデータセットを構築するのに役立ちます。 Weave は、OpenAI Python ライブラリのトレースを自動的に取得できます。任意のプロジェクト名を指定して weave.init(<project-name>) を呼び出すことで、トレースの取得を開始します。OpenAI は、いつインポートしたかに関係なく自動的にパッチされます。 weave.init() を呼び出す際に W&B チームを指定しない場合、デフォルトのエンティティが使用されます。デフォルトのエンティティを確認または更新するには、W&B Models ドキュメントの User Settings を参照してください。 自動パッチ Weave は、weave.init() の前後どちらで OpenAI をインポートした場合でも自動的にパッチします：

from openai import OpenAI
import weave

weave.init('emoji-bot')  # OpenAI は自動的にパッチされます！

client = OpenAI()
response = client.chat.completions.create(
  model="gpt-4",
  messages=[
    {
      "role": "system",
      "content": "You are AGI. You will be provided with a message, and your task is to respond using emojis only."
    },
    {
      "role": "user",
      "content": "How are you?"
    }
  ]
)

明示的なパッチ（任意） より細かく制御したい場合は、明示的にパッチを適用することもできます。

import weave

weave.init('emoji-bot')
weave.integrations.patch_openai()  # OpenAIトレーシングを有効にする

from openai import OpenAI
client = OpenAI()
response = client.chat.completions.create(
  model="gpt-4",
  messages=[
    {"role": "user", "content": "Make me a emoji"}
  ]
)

ライブトレースを表示

OpenAI Functions と OpenAI Assistants のツール呼び出しも同様にトレースとして記録します。

構造化出力

Weave は OpenAI との連携による構造化出力にも対応しています。これは、LLM の応答が特定のフォーマットに従うようにしたい場合に役立ちます。

from openai import OpenAI
from pydantic import BaseModel
import weave

class UserDetail(BaseModel):
    name: str
    age: int

client = OpenAI()
weave.init('extract-user-details')

completion = client.beta.chat.completions.parse(
    model="gpt-4o-2024-08-06",
    messages=[
        {"role": "system", "content": "Extract the user details from the message."},
        {"role": "user", "content": "My name is David and I am 30 years old."},
    ],
    response_format=UserDetail,
)

user_detail = completion.choices[0].message.parsed
print(user_detail)

非同期サポート

Weave では OpenAI 用の非同期関数もサポートしています。

from openai import AsyncOpenAI
import weave

client = AsyncOpenAI()
weave.init('async-emoji-bot')

async def call_openai():
    response = await client.chat.completions.create(
        model="gpt-4",
        messages=[
            {
                "role": "system", 
                "content": "You are AGI. You will be provided with a message, and your task is to respond using emojis only."
            },
            {
                "role": "user",
                "content": "How are you?"
            }
        ]
    )
    return response

# 非同期関数を呼び出す
result = await call_openai()

ストリーミングのサポート

Weave は OpenAI からのストリーミングレスポンスもサポートしています。

from openai import OpenAI
import weave

client = OpenAI()
weave.init('streaming-emoji-bot')

response = client.chat.completions.create(
    model="gpt-4",
    messages=[
        {
            "role": "system", 
            "content": "あなたは AGI です。メッセージが与えられるので、絵文字だけを使って返答してください。"
        },
        {
            "role": "user",
            "content": "元気ですか？"
        }
    ],
    stream=True
)

for chunk in response:
    print(chunk.choices[0].delta.content or "", end="")

関数呼び出しのトレース

Weave は、ツール使用時に OpenAI が実行する関数呼び出しもトレースします。

from openai import OpenAI
import weave

client = OpenAI()
weave.init('function-calling-bot')

tools = [
    {
        "type": "function",
        "function": {
            "name": "get_weather",
            "description": "Get the weather in a given location",
            "parameters": {
                "type": "object",
                "properties": {
                    "location": {
                        "type": "string",
                        "description": "The location to get the weather for"
                    },
                    "unit": {
                        "type": "string",
                        "enum": ["celsius", "fahrenheit"],
                        "description": "The unit to return the temperature in"
                    }
                },
                "required": ["location"]
            }
        }
    }
]

response = client.chat.completions.create(
    model="gpt-4",
    messages=[
        {
            "role": "user",
            "content": "What's the weather like in New York?"
        }
    ],
    tools=tools
)

print(response.choices[0].message.tool_calls)

Batch API

Weave では、複数のリクエストを一括処理するための OpenAI Batch API にも対応しています。

from openai import OpenAI
import weave

client = OpenAI()
weave.init('batch-processing')

# バッチファイルを作成する
batch_input = [
    {
        "custom_id": "request-1",
        "method": "POST",
        "url": "/v1/chat/completions",
        "body": {
            "model": "gpt-4",
            "messages": [{"role": "user", "content": "Hello, how are you?"}]
        }
    },
    {
        "custom_id": "request-2", 
        "method": "POST",
        "url": "/v1/chat/completions",
        "body": {
            "model": "gpt-4",
            "messages": [{"role": "user", "content": "What's the weather like?"}]
        }
    }
]

# バッチを送信する
batch = client.batches.create(
    input_file_id="your-file-id",
    endpoint="/v1/chat/completions",
    completion_window="24h"
)

# バッチの結果を取得する
completed_batch = client.batches.retrieve(batch.id)

Assistants API

Weave は、会話型 AI アプリケーションを構築するための OpenAI Assistants API もサポートしています。

from openai import OpenAI
import weave

client = OpenAI()
weave.init('assistant-bot')

# アシスタントを作成
assistant = client.beta.assistants.create(
    name="Math Assistant",
    instructions="You are a personal math tutor. Answer questions about math.",
    model="gpt-4"
)

# スレッドを作成
thread = client.beta.threads.create()

# スレッドにメッセージを追加
message = client.beta.threads.messages.create(
    thread_id=thread.id,
    role="user",
    content="What is 2+2?"
)

# アシスタントを実行
run = client.beta.threads.runs.create(
    thread_id=thread.id,
    assistant_id=assistant.id
)

# アシスタントの応答を取得
messages = client.beta.threads.messages.list(thread_id=thread.id)

コスト追跡

Weave は OpenAI API 呼び出しのコストを自動的に追跡します。コストの内訳は Weave UI で確認できます。

コスト追跡はすべての OpenAI モデルで利用可能で、最新の OpenAI 料金に基づいて計算されます。

カスタム関数のトレース

@weave.op デコレータを使用することで、OpenAI を使用するカスタム関数もトレースできます。

from openai import OpenAI
import weave

client = OpenAI()
weave.init('custom-function-bot')

@weave.op
def generate_response(prompt: str) -> str:
    response = client.chat.completions.create(
        model="gpt-4",
        messages=[
            {
                "role": "user",
                "content": prompt
            }
        ]
    )
    return response.choices[0].message.content

# この関数呼び出しはトレースされます
result = generate_response("Hello, how are you?")

次のステップ

OpenAI のトレース設定が完了したので、次のことができます。

Weave UI でトレースを表示: Weave のプロジェクトにアクセスして、OpenAI 呼び出しのトレースを確認します
評価を作成: トレースを利用して評価用データセットを構築します
パフォーマンスを監視: レイテンシ、コスト、その他のメトリクスを追跡します
問題をデバッグ: トレースを利用して LLM アプリケーション内部で何が起きているかを把握します

これらのトピックの詳細については、評価ガイドと監視ガイドを参照してください。

はじめに

ガイド

クックブック

リファレンス

詳細とサポート

オープンソース

コミュニティ

トレース

構造化出力

非同期サポート

ストリーミングのサポート

関数呼び出しのトレース

Batch API

Assistants API

コスト追跡

カスタム関数のトレース

次のステップ

はじめに

ガイド

クックブック

リファレンス

詳細とサポート

オープンソース

コミュニティ

​トレース

​構造化出力

​非同期サポート

​ストリーミングのサポート

​関数呼び出しのトレース

​Batch API

​Assistants API

​コスト追跡

​カスタム関数のトレース

​次のステップ

トレース

構造化出力

非同期サポート

ストリーミングのサポート

関数呼び出しのトレース

Batch API

Assistants API

コスト追跡

カスタム関数のトレース

次のステップ