メインコンテンツへスキップ
オートメーションを使用すると、プロジェクト内で特定の条件が満たされたときにアクションをトリガーする、イベント駆動型のルールを定義できます。ダッシュボードでメトリクスの変化を手動で監視する代わりに、オートメーションを一度設定するだけで、イベントが発生したときに W&B Weave がアクションを実行します。主なユースケースは次のとおりです。
  • しきい値アラート: モニターの平均スコアがしきい値を超えたときに、Slack 通知を送信します。
  • リグレッション検出: スコアラーが精度の低下や有害性の増加を検出したときに、アラートを送信します。
  • デプロイメント ゲート: 品質メトリクスがローリングウィンドウ内で信頼度のしきい値を超えたときに、webhook をトリガーします。
  • 運用監視: エラー率やレイテンシ メトリクスが変化したときに、アラートを送信します。
オートメーションは Weave UI で管理でき、コードの変更は不要です。

​
オートメーションを作成する

トリガーイベントを設定し、実行するアクションを選択して、オートメーションを作成します。

​
前提条件

それらを接続するオートメーションを作成する前に、トリガーとなるイベント (Op や モニター など) と、実行するアクション (Slack インテグレーションなど) をあらかじめ作成しておく必要があります。

​
ステップ 1: イベント設定

イベント設定では、どの条件でオートメーションがトリガーされるかを定義します。監視対象のメトリクス、時間ウィンドウ、しきい値を選択します。 オートメーションを作成するには:
  1. wandb.ai にアクセスし、プロジェクトを開きます。
  2. プロジェクトのサイドバーで、Automations をクリックします。
  3. Automations ページのヘッダーで、Create automation をクリックします。
  4. Create automation モーダルダイアログで、イベントを設定します:
    • Event: Weave のメトリクスしきい値など、このオートメーションをトリガーするイベントのタイプを選択します。
    • Source: オートメーションのソースとして、プロジェクト内の Operation または Monitor を選択します。
      • Operation: モニターで評価されるトレースの Op name を選択します。この一覧には、プロジェクト内で少なくとも 1 件のトレースをログしている Ops が表示されます。
      • Monitor: トラッキングするメトリクスを生成する Monitor を選択します。
    • Metric: アラート用に測定するメトリクスを選択します。
    • Metric Threshold: オートメーションをトリガーする条件を定義します。比較演算子 (たとえば “is above”) を選択し、しきい値 (たとえば 0.9) を指定します。
    • Window: オートメーションのトリガーに使用するウィンドウを、Time-based または Count-based のいずれかに設定します。集約関数 (たとえば Average) とローリング期間 (たとえば 1 day) を選択します。
    • Aggregation: しきい値と比較する前に、ウィンドウ内のメトリクス値に適用する集約関数 (平均、中央値、最小値など) を設定します。
  5. Alert preview グラフを確認し、想定どおりにアラートが発生するようしきい値が設定されていることを確認します。
  6. Next step をクリックして、アクション設定に進みます。

​
ステップ 2: アクションの設定

アクションの設定では、イベント条件が満たされたときに実行するアクションを定義します。 アクションを設定するには、次の手順に従います。
  1. Step 2 of 3 パネルで、以下を設定します。
    • Team: 通知を受け取るチームを選択します。
    • Action type: 実行するアクションのタイプを選択します。たとえば、Slack notification の送信です。
    • Action details: アクションのタイプに応じて、必要な設定を行います。
      • Slack 通知の場合は、通知の送信先となる Slack channel を選択します。
      • webhook の場合は、Webhook 名と Payload を指定します。
  2. Next step をクリックして Summary に進みます。

​
ステップ 3: Summary

Summary ステップでは、保存する前にオートメーションの全体像を確認できます。 保存するには:
  1. オートメーションのメタデータを設定します:
    • Automation 名: Automations 表に表示されるオートメーションの名前を入力します。
    • Description (任意): オートメーションの目的を判別しやすくするための説明を追加します。
  2. Create automation をクリックして、オートメーションを作成します。
新しいオートメーションは、Automations ページの Automations 表に表示されます。

​
モニターからオートメーションを作成する

モニターの詳細ビューから直接オートメーションを作成することもできます。この方法では、モニターのコンテキストに基づいてイベント設定が事前入力されるため、よりすばやく設定できます。オートメーションを作成する前に、選択したアクションとして使用する Slack インテグレーション または webhook を設定しておいてください。 モニターからオートメーションを作成するには、次の手順に従います。
  1. Weave project のサイドバーで、Monitors をクリックします。
  2. Monitors の表で、モニターの名をクリックして詳細パネルを開きます。
  3. モニターの詳細パネルで、Automations タブを選択し、このモニターの既存のオートメーションを確認します。
  4. Automations セクションのツールバーで、Create automation をクリックします。
  5. Create automation パネルでは、イベント設定に選択したモニターの詳細が事前入力されています。必要に応じて設定を調整します。
    • Metric: アラートで測定するメトリクスを選択します。
    • Metric Threshold: オートメーションをトリガーする条件を定義します。比較演算子 (“is above” など) を選択し、しきい値 (0.9 など) を指定します。
    • Window: オートメーションのトリガーに使用するウィンドウを、Time-based または Count-based に設定します。集約関数 (Average など) とローリング期間 (1 day など) を選択します。
    • Aggregation: しきい値と比較する前に、ウィンドウ内のメトリクス値に適用する集約関数 (平均、中央値、最小値など) を設定します。
  6. Next をクリックし、残りの手順 (アクションの選択と保存) を Create an automation の説明に従って完了します。

​
オートメーションの表示と管理

プロジェクト内のすべてのオートメーションは、Automations ページに一覧表示されます。表には、各オートメーションについて次の情報が表示されます。
  • Automation: オートメーションの名と説明。
  • Event type: オートメーションをトリガーするイベントのタイプ。
  • Action type: トリガーされるアクションのタイプ (Slack 通知の生成など) 。
  • Date created: オートメーションが作成された日時。
  • Last execution: オートメーションが最後にトリガーされた日時。
オートメーションを表示するには、次の手順を実行します。
  1. Weave プロジェクトのサイドバーで、Automations をクリックします。
  2. 表のツールバーにある検索フィールドを使用して、名でオートメーションをフィルターします。
オートメーションの名をクリックすると、オートメーションのドロワーが開き、オートメーションの詳細を確認できます。 History タブには、トリガーされたすべてのオートメーションの記録が表示されます。オートメーションが実行されると、Weave は何が起こったかを記録するオートメーション インスタンスを作成します。これらのインスタンスを確認することで、オートメーションがいつ、なぜトリガーされたのかを把握できます。