Annotation 큐에서 항목 검토하기

단순화된 검토 인터페이스를 사용해 트레이스 항목을 평가하고 구조화된 피드백을 제출합니다.

Annotation 큐는 도메인 전문가를 위한 집중적인 검토 인터페이스를 제공합니다. 한 번에 하나의 항목을 검토하고, 제공된 컨텍스트를 살펴본 다음, 미리 정의된 필드를 사용해 구조화된 피드백을 제출합니다.

검토를 완료하기 위해 기저에 있는 모델이나 트레이싱 시스템을 이해할 필요는 없습니다. 이를 통해 외부 전문가가 프로젝트 전반에 대한 이해 없이도 데이터만 검토할 수 있습니다.

​

주석 워크플로우

어노테이터의 역할은 LLM 응답의 정확성을 검토하는 것입니다. 사용자의 피드백은 데이터에 대한 주석으로 저장됩니다.

주석 대기열을 검토하려면:

1. 팀에서 제공한 대기열 링크를 사용해 공유 주석 대기열을 엽니다.
2. 각 항목을 검토합니다. 언제든지 대기열의 항목을 앞뒤로 이동하며 살펴볼 수 있습니다.
3. 제공된 주석 입력 필드를 사용해 주석을 제출합니다.

Weave는 항목을 제출한 후 사용자의 진행 상황을 자동으로 저장합니다. 작업을 중단했다가 나중에 다시 시작해야 하는 경우, 검토는 자동으로 첫 번째 미완료 항목부터 재개됩니다. 모든 항목에 대한 검토가 완료되면 Annotation Queue 테이블에 작업 완료 상태가 반영됩니다.

​

큐 항목 검토하기

각 항목에 대해 검토 인터페이스에는 두 개의 패널이 표시됩니다:

• 프롬프트, 문서, 이미지 등 선택된 입력 컨텍스트와 이에 대응하는 모델 응답 또는 결정을 보여주는 트레이스 패널
• 어노테이션 필드를 포함하는 어노테이션 입력 양식이 있는 항목 패널

큐에 대해 제공된 지침에 따라 각 어노테이션 필드를 작성한 다음 Submit and next를 클릭하여 이 항목을 저장하고 다음 항목으로 이동합니다.

트레이스 패널 헤더에서 Trace ID 접미사(예: “b3ea”)를 클릭하면 호출에 대한 전체 트레이스 세부 정보를 보여주는 패널이 열립니다. 여기에서 트레이스를 확인하고 제공된 어노테이션을 조회하거나 비교할 수 있습니다.

이미 다른 어노테이터가 큐의 항목을 검토한 경우, 검토 인터페이스의 두 패널 헤더에는 Has annotation 및 Response submitted 표시기가 함께 표시됩니다.

다른 사람이 이미 검토한 항목에 대해서도 계속 어노테이션을 제공할 수 있습니다. 이 경우 어노테이션 제출 버튼에는 여전히 Edit annotation이 표시되지만, 제출하면 응답이 포함된 새로운 어노테이션 항목이 생성됩니다.

다른 사람이 이미 검토한 항목에 대해 피드백을 제출하면, 해당 피드백은 기존 어노테이터의 피드백에 추가로 저장됩니다.