Examiner des éléments dans une file d'attente d'annotation

Évaluer des éléments de trace et soumettre des retours structurés à l’aide d’une interface de révision simplifiée.

Les files d’attente d’annotation offrent une interface de révision ciblée aux experts métier. Vous examinez un élément à la fois, consultez le contexte fourni et soumettez des retours structurés à l’aide de champs prédéfinis.

Vous n’avez pas besoin de comprendre le modèle sous-jacent ni le système de Tracing pour effectuer ces révisions. Cela permet à des experts externes d’examiner uniquement les données, sans avoir besoin d’une vue d’ensemble plus large du projet.

​

Flux de travail d’annotation

En tant qu’annotateur, votre tâche consiste à évaluer l’exactitude des réponses du LLM. Vos retours sont enregistrés sous forme d’annotations dans les données.

Pour examiner une file d’attente d’annotation :

1. Ouvrez la file d’attente d’annotation partagée à l’aide d’un lien de file d’attente fourni par votre équipe.
2. Examinez chaque élément. Vous pouvez avancer ou revenir en arrière dans la file d’attente à tout moment.
3. Soumettez une annotation à l’aide des champs d’annotation fournis.

Weave enregistre automatiquement votre progression après l’envoi d’un élément. Si vous devez faire une pause et reprendre votre travail plus tard, l’examen reprend automatiquement au premier élément incomplet. Une fois que tous les éléments ont été examinés, le tableau de la file d’attente d’annotation indique que le travail est terminé.

​

Examiner un élément de la file d’attente

Pour chaque élément, l’interface de révision affiche deux volets :

• Un volet de trace affichant le contexte d’entrée sélectionné (comme des prompts, des documents ou des images), ainsi que la réponse ou la décision correspondante du modèle.
• Un volet d’élément contenant un formulaire de saisie d’annotation avec des champs d’annotation.

Remplissez chaque champ d’annotation conformément aux instructions fournies pour la file d’attente, puis cliquez sur Soumettre et suivant pour enregistrer cet élément et passer au suivant.

Dans l’en-tête du volet de trace, vous pouvez cliquer sur le suffixe de l’ID de trace (par exemple, “b3ea”) pour ouvrir un panneau affichant les détails complets de la trace pour l’appel, où vous pouvez inspecter la trace et afficher ou comparer l’annotation fournie.

Si un annotateur a déjà examiné un élément de la file d’attente, les en-têtes des deux volets de l’interface de révision affichent les indicateurs Annotation présente et Réponse soumise.

Vous pouvez toujours fournir une annotation pour un élément déjà examiné par quelqu’un d’autre. Dans ce cas, le bouton d’envoi de l’annotation affiche toujours Modifier l’annotation, mais l’envoi crée une nouvelle entrée d’annotation avec vos réponses.

Si vous soumettez des retours pour un élément déjà examiné par quelqu’un d’autre, vos retours sont stockés en plus de ceux de l’annotateur d’origine.