Playground を使ってプロンプトを試す

LLM プロンプトとレスポンスの反復作業を簡素化する

期間限定で、W&B Inference が無料枠に含まれます。W&B Inference は、API と Weave Playground を通じて主要なオープンソースの基盤モデルへアクセスできます。

• Developer documentation
• Product page

LLM のプロンプトとレスポンスを評価するのは難しい作業です。Weave Playground は、LLM プロンプトとレスポンスの試行錯誤のプロセスを簡素化し、さまざまなモデルやプロンプトを試しやすくするよう設計されています。プロンプトの編集、メッセージの再試行、モデル比較といった機能により、Playground を使って LLM アプリケーションをすばやくテストし、改善できます。現在 Playground は、OpenAI、Anthropic、Google などのプロバイダーのモデルに加えて、カスタムプロバイダー にも対応しています。

• Quick access: Weave のサイドバー メニューから「Playground」を開いて新しいセッションを開始するか、Call ページから既存のプロジェクトをテストします。
• Message controls: チャット内でメッセージを直接編集、再試行、削除できます。
• Flexible messaging: 新しいメッセージをユーザー入力またはシステム入力として追加し、LLM に送信できます。
• Customizable settings: 好みの LLM プロバイダーを設定し、モデル設定を調整します。
• Multi-LLM support: チームレベルの APIキー の管理のもと、モデルを切り替えることができます。
• Compare models: 異なるモデルがプロンプトにどのように応答するかを比較できます。
• Custom providers: カスタムモデル向けに、OpenAI 互換の API エンドポイントをテストします。
• Saved models: ワークフローで再利用できるモデルプリセットを作成・設定します。

Playground を使い始めて、LLM との対話を最適化し、プロンプトエンジニアリングおよび LLM アプリケーション開発のプロセスを効率化しましょう。

• プロバイダーの認証情報と詳細を追加する
• Playground にアクセスする
• LLM を選択する
• Playground の設定をカスタマイズする
• メッセージコントロール
• LLM を比較する
• カスタムプロバイダー
• 保存済みモデル

​

プロバイダの認証情報および各種情報を追加する

Playground を使用する前に、プロバイダの認証情報を追加する必要があります。Playground は現在、多くのプロバイダのモデルをサポートしています。利用可能なモデルのいずれかを使用するには、W&B の設定のチームシークレットに適切な情報を追加してください。

• Amazon Bedrock:
  • AWS_ACCESS_KEY_ID
  • AWS_SECRET_ACCESS_KEY
  • AWS_REGION_NAME
• Anthropic: ANTHROPIC_API_KEY
• Azure:
  • AZURE_API_KEY
  • AZURE_API_BASE
  • AZURE_API_VERSION
• Deepseek: DEEPSEEK_API_KEY
• Google: GEMINI_API_KEY
• Groq: GROQ_API_KEY
• Mistral: MISTRAL_API_KEY
• OpenAI: OPENAI_API_KEY
• X.AI: XAI_API_KEY

​

Playground にアクセスする

Playground にアクセスする方法は 2 つあります。

1. シンプルなシステムプロンプト付きで新しい Playground ページを開く: Weave プロジェクトのサイドバーで Playground を選択します。Playground が同じタブで開きます。
2. 特定の呼び出し用の Playground を開く:
   1. サイドバーで Traces タブを選択します。トレースの一覧が表示されます。
   2. トレースの一覧で、表示したい呼び出しの名前をクリックします。呼び出しの詳細ページが開きます。
   3. Open chat in Playground をクリックします。Playground が新しいタブで開きます。

​

LLM を選択する

プロンプトヘッダー（Playground メインパネル上部）の Select a model ドロップダウンを使って、LLM を切り替えることができます。各プロバイダーごとに利用可能なモデルは次のとおりです。

• Amazon Bedrock
• Anthropic
• Azure
• Deepseek
• Google
• Groq
• Mistral
• OpenAI
• X.AI

利用可能なモデルは、チームに対して設定されているプロバイダーによって異なります。

​

Playground の設定をカスタマイズする

​

LLM パラメータを調整する

選択したモデルに対して、さまざまなパラメータ値を試すことができます。Playground でパラメータを調整するには、次の手順を実行します。

1. プロンプトヘッダー（メインパネル上部）で、チャット設定 () ボタンをクリックして、チャット設定 パネルを開きます。
2. チャット設定 パネルで、必要に応じてパラメータを調整します。Weave の呼び出しトラッキングをオンまたはオフに切り替えたり、関数を追加したりできます。
3. 変更は自動的に適用されます。パネルを閉じるには、もう一度 チャット設定 をクリックするか、右上隅の x をクリックします。チャット設定 ボタンのホバーテキストは、変更した設定の内容を表示するように更新されます。

ページを離れると、設定は失われます。設定を保存するには、モデルを保存してください。 変更した設定を破棄してやり直したい場合は、ページを再読み込みしてください。

Playground では、試行回数を設定することで、同じ入力に対して複数の出力を生成できます。デフォルト設定は 1 です。試行回数を調整するには、チャット設定 パネルを開き、試行回数 の設定を調整します。

​

関数を追加する

異なるモデルが、ユーザーからの入力に応じて関数をどのように利用するかをテストできます。Playground でテストする関数を追加するには、Chat settings パネルで + Add function をクリックします。画面の指示に従って関数を定義し、変更内容を保存します。

​

メッセージの制御

​

プロンプト定義エリア

プロンプト定義エリアでは、インタラクション全体を通してモデルの挙動を形作る指示を定義できます。

このエリアでは、メッセージの送受信が始まる前に一貫して適用されるコンテキストを指定します。これには、ロール定義、トーンやスタイルに関する指針、挙動上の制約、出力要件などが含まれます。ここで行った変更は、再度変更しない限り、その後のすべてのインタラクションに影響します。

このエリアには、次の要素が含まれます:

• プロンプトセレクタ: 既存の保存済みプロンプトを選択するか、新規に作成します。
• メッセージロールセレクタ: 定義中のメッセージのロール (System、Assistant、または User ロール) を指定します。
• プロンプトテキスト: モデルがどのように応答すべきかを定義する指示テキストを入力します。
• Add message ボタン: 実行前にプロンプトコンテキストに追加のメッセージを含められます。

これらのメッセージはまとめてモデルに送信され、次の用途に利用できます:

• 補足的なシステムレベルの指示を追加する。
• 応答をガイドするための Assistant ロールのサンプルメッセージを提供する (few-shot プロンプティングなど)。
• 特定のシナリオをテストするためのユーザーメッセージをあらかじめ定義する。

​

Messages パネル

Messages パネルには、実行中に生成された会話が表示されます。

このパネルには次の内容が含まれます:

• プロンプト設定に含まれる、あらかじめ定義されたメッセージ
• メッセージコンポーザーから送信されたメッセージ
• モデルから返された応答

パネル内のメッセージに対しては、Copy、Delete、Edit、Retry を行うこともできます。

​

メッセージコンポーザー（入力フィールド）

メッセージコンポーザーは、新しいメッセージをモデルに送信するための入力フィールドです。

メッセージの役割を選択し、メッセージを実行用に送信できます。ほとんどのやり取りは User メッセージとして作成されます。テストしたい指示が変わった場合には、System や Assistant メッセージを追加できます。

​

メッセージ履歴を表示する

メッセージ履歴を表示するには、右側の Playground のツールバーにある History () ボタンをクリックします。これにより、現在のプロジェクトで送信されたすべてのメッセージを表示する「History」パネルが開きます。

履歴から項目を選択すると、自動的に別のチャットパネルに読み込まれ、比較できます。

​

LLM を比較する

Playground では LLM を比較できます。比較を行うには、右側にある Playground のツールバーで Add Chat () ボタンをクリックします。元のチャットの横に 2 つ目のチャットが開きます。 2 つ目のチャットでは、モデルの選択、設定の調整、関数の追加など、元のチャットと同じ機能を使用できます。

​

カスタムプロバイダー

​

カスタムプロバイダーを追加する

組み込みプロバイダーに加えて、Playground を使用してカスタムモデル向けの OpenAI 互換 API エンドポイントをテストできます。例としては次のようなものがあります。

• サポートされているモデルプロバイダーの古いバージョン
• ローカルモデル

Playground にカスタムプロバイダーを追加するには、次の手順を実行します。

1. プロンプトヘッダー（メインパネル上部）で Select a model ドロップダウンをクリックします。
2. + Add AI provider を選択します。
3. Custom Provider を選択します。
4. ポップアップモーダルで、プロバイダー情報を入力します。

• Provider name: openai や ollama など、プロバイダーの名前。
• API key: OpenAI APIキーなど、プロバイダーの APIキー。
• Base URL: https://api.openai.com/v1/ や、https://e452-2600-1700-45f0-3e10-2d3f-796b-d6f2-8ba7.ngrok-free.app のような ngrok の URL など、プロバイダーのベースとなるエンドポイント。
• Headers: （オプション）1 つ以上のカスタム HTTP ヘッダーのキーと値のペア。
• Models: deepseek-r1 や qwq など、プロバイダーの 1 つ以上のモデル。
• Max tokens: （オプション）各モデルについて、そのモデルがレスポンスで生成できるトークン数の最大値。

5. プロバイダー情報を入力したら、Add provider をクリックします。
6. Select a model ドロップダウンから、新しいプロバイダーと利用可能なモデルを選択します。

CORS の制限により、Playground から localhost や 127.0.0.1 の URL を直接呼び出すことはできません。ローカルモデルサーバー（Ollama など）を実行している場合は、ngrok のようなトンネリングサービスを使用して安全に公開してください。詳細は、Use ngrok with Ollama を参照してください。

これで、標準の Playground 機能を使用してカスタムプロバイダーのモデルをテストできます。カスタムプロバイダーを編集または削除することもできます。

​

カスタムプロバイダーを編集する

すでに作成したカスタムプロバイダーの情報を編集するには、次の手順を実行します。

1. プロンプトヘッダーの Select a model ドロップダウンをクリックし、+Configure providers を選択します。

• または、サイドバーメニューで Project を選択し、AI Providers タブを選択します。

2. Custom providers テーブルで、更新したいカスタムプロバイダーを探します。
3. 対象のカスタムプロバイダーの行の Last Updated 列で、編集ボタン（鉛筆アイコン）をクリックします。
4. 表示されるモーダルウィンドウで、プロバイダー情報を編集します。
5. Save をクリックします。

​

カスタムプロバイダを削除する

以前に作成したカスタムプロバイダを削除するには、次の操作を行います。

1. プロンプトヘッダーで Select a model ドロップダウンをクリックし、+Configure providers を選択します。

• または、サイドバーのメニューで Project を選択し、AI Providers タブを開きます。

2. Custom providers テーブルで、削除するカスタムプロバイダを探します。
3. 対象のカスタムプロバイダのエントリの Last Updated 列で、削除ボタン（ゴミ箱アイコン）をクリックします。
4. 表示されるモーダルで、プロバイダを削除することを確認します。この操作は元に戻せません。
5. Delete をクリックします。

​

ローカルモデルをカスタムプロバイダとして使用する

Playground でローカルで稼働しているモデルをテストするには、ngrok と Ollama を使って、一時的に CORS 制限を回避する公開 URL を作成します。

設定するには、次の手順を実行します。

1. 使用しているオペレーティングシステム向けに ngrok をインストール します。

2. Ollama モデルを起動します:

   ollama run <model>
   

3. 別のターミナルで、必要な CORS ヘッダーを含む ngrok トンネルを作成します:

   ngrok http 11434 --response-header-add "Access-Control-Allow-Origin: *" --host-header rewrite
   

4. ngrok が起動すると、https://xxxx-xxxx.ngrok-free.app のような公開 URL が表示されます。Playground で カスタムプロバイダを追加 する際、この URL を Base URL として使用します。

次の図は、ローカル環境、ngrok プロキシ、および W&B のクラウドサービス間のデータフローを示しています。

​

保存済みモデル

​

モデルを保存する

ワークフローで再利用できるモデルプリセットを作成して設定できます。モデルを保存すると、好みの設定、パラメータ、関数フック込みで素早く読み込めます。

1. プロンプトヘッダー（メインパネル上部）の Select a model ドロップダウンで、プロバイダーとモデルを選択します。
2. プロンプトヘッダーで Chat settings () ボタンをクリックして、Chat settings パネルを開きます。
3. Chat settings パネルで:
   • Model Name（必須）：保存するモデルの名前を入力します。
   • 必要に応じてパラメータを調整します。Weave のコールトラッキングをオンまたはオフに切り替えたり、関数を追加することもできます。
4. Publish model をクリックします。モデルは保存され、Select a model ドロップダウン内の Saved Models からアクセスできます。これで、保存したモデルを使用したり更新したりできます。

​

保存済みモデルを使用する

以前に保存したモデルにすばやく切り替えて、実験やセッション間の一貫性を保ちます。これにより、中断したところからすぐに再開できます。

1. プロンプトヘッダーの Select a model ドロップダウンで Saved Models を選択します。
2. 保存済みモデルの一覧から、読み込みたいモデルを選択します。モデルが読み込まれ、Playground ですぐに使用できる状態になります。

​

保存済みモデルを更新する

既存の保存済みモデルを編集して、パラメータを微調整したり、その設定を更新したりできます。これにより、保存済みモデルをユースケースに合わせて進化させることができます。

1. プロンプトヘッダーの Select a model ドロップダウンで、Saved Models を選択します。
2. 保存済みモデルの一覧から、更新したい保存済みモデルを選択します。
3. プロンプトヘッダーで、Chat settings () ボタンをクリックして Chat settings パネルを開きます。
4. Chat settings パネルで、必要に応じてパラメータを調整します。Weave コールトラッキングのオン/オフを切り替えたり、関数を追加したりできます。
5. Update model をクリックします。モデルが更新され、Select a model ドロップダウン内の Saved Models からアクセスできるようになります。保存済みモデルのバージョンは自動的にインクリメントされます。