W&B Inference

W&B Weave と OpenAI 互換 API 経由でオープンソースの基盤モデルにアクセスする

W&B Inference を使うと、W&B Weave と OpenAI 互換 API を通じて、主要なオープンソースの基盤モデルにアクセスできます。次のことができます。

• ホスティングプロバイダーへのアカウント登録やモデルのセルフホスティングを行わずに、AI アプリケーションやエージェントを構築できます
• W&B Weave Playground で 対応しているモデル を試せます

Weave を使うと、W&B Inference を利用したアプリケーションをトレース、評価、監視し、改善できます。

​

クイックスタート

次に、Python を使った簡単な例を示します。

import openai

client = openai.OpenAI(
    # カスタムベースURLはW&B Inferenceを指します
    base_url='https://api.inference.wandb.ai/v1',

    # https://wandb.ai/settings でAPIキーを作成してください
    api_key="<your-api-key>",

    # オプション: 使用状況追跡のためのチームとプロジェクト
    project="<your-team>/<your-project>",
)

response = client.chat.completions.create(
    model="meta-llama/Llama-3.1-8B-Instruct",
    messages=[
        {"role": "system", "content": "You are a helpful assistant."},
        {"role": "user", "content": "Tell me a joke."}
    ],
)

print(response.choices[0].message.content)

​

次のステップ

1. 利用可能なモデル と 利用情報と制限事項 を確認する
2. 前提条件 に従ってアカウントを設定する
3. API または UI からサービスを利用する
4. 利用例 を試す

​

利用の詳細

料金、利用上限、クレジットに関する情報は、Usage Information and Limits を参照してください。