アノテーションキュー内のアイテムをレビューする

簡略化されたレビューインターフェースを使って trace アイテムを評価し、構造化されたフィードバックを送信します。

Annotation queues は、ドメインエキスパート向けの集中的なレビュー用インターフェースを提供します。1 回に 1 つずつアイテムをレビューし、提供されたコンテキストを確認して、あらかじめ定義されたフィールドに基づいて構造化されたフィードバックを送信します。

レビューを行うために、基盤となるモデルやトレースシステムを理解している必要はありません。これにより、外部のエキスパートは、より大きなプロジェクトの全体像を把握しなくても、データのみをレビューできます。

​

アノテーション ワークフロー

アノテーターとしてのあなたの役割は、LLM の応答の正確性を確認することです。フィードバックはデータのアノテーションとして保存されます。

アノテーション キューをレビューするには、次の手順に従います:

1. チームから提供されたキュー リンクを使って、共有アノテーション キューを開きます。
2. キュー内の各アイテムをレビューします。キュー内のアイテム間は、いつでも前後に移動できます。
3. 用意されているアノテーション フィールドを使ってアノテーションを送信します。

Weave は、アイテムを送信するたびに進捗を自動的に保存します。作業を中断して後で再開する場合でも、レビューは未完了の最初のアイテムから自動的に再開されます。すべてのアイテムがレビューされると、Annotation Queue テーブルに作業完了が反映されます。

​

キュー項目をレビューする

各項目について、レビュー インターフェースには 2 つのペインが表示されます。

• プロンプト、ドキュメント、画像などの選択された入力コンテキストと、それに対応する モデル 応答または判断を表示するトレース ペイン。
• アノテーション フィールドを含むアノテーション入力フォームがある項目ペイン。

キューに対して用意された指示に従って各アノテーション フィールドを入力し、Submit and next をクリックしてこの項目を保存し、次に進みます。

トレース ペインのヘッダーでは、Trace ID のサフィックス (例: “b3ea”) をクリックして、その呼び出しのトレースの全詳細を表示するパネルを開くことができます。そこでトレースを確認し、付与されたアノテーションを表示または比較できます。

キュー内の項目がすでに誰かによってレビューされている場合、レビュー インターフェースの両方のペイン ヘッダーには、Has annotation と Response submitted のインジケーターが表示されます。

他の人がすでにレビューした項目に対しても、引き続きアノテーションを付与できます。この場合、アノテーション送信ボタンには引き続き Edit annotation と表示されますが、送信すると自分の回答を含む新しいアノテーション エントリが作成されます。

他の人がすでにレビューした項目に対してフィードバックを送信した場合、あなたのフィードバックは元のアノテーターのフィードバックに 追加して 保存されます。