Pour évaluer efficacement des applications LLM, vous avez besoin d’outils robustes pour recueillir et analyser les retours. W&B Weave fournit un système de retours intégré, qui permet aux utilisateurs de donner leur avis sur les Appels directement dans l’UI ou par programmation via le SDK. Différents types de retours sont pris en charge, notamment les réactions par emoji, les commentaires textuels et les données structurées, ce qui permet aux équipes de :
- Créer des jeux de données d’évaluation pour le suivi des performances.
- Identifier et résoudre efficacement les problèmes de contenu des LLM.
- Recueillir des exemples pour des tâches avancées comme le fine-tuning.
Ce guide explique comment utiliser la fonctionnalité de retours de Weave dans l’UI et le SDK, interroger et gérer les retours, et utiliser des annotations humaines pour des évaluations détaillées.
Fournir des retours dans l’UI
Depuis le panneau des détails de l’appel
- Dans la barre latérale du projet Weave, accédez à Traces.
- Repérez la ligne correspondant à l’Appel auquel vous souhaitez ajouter un feedback.
- Cliquez sur le nom de la trace associé pour ouvrir l’arborescence de trace et le panneau des détails de l’appel.
- Dans la barre d’onglets des détails de l’appel, sélectionnez Feedback.
- Ajoutez, affichez ou supprimez des feedbacks :
- Ajoutez et affichez des feedbacks à l’aide des icônes situées dans l’angle supérieur droit de la vue Feedback des détails de l’appel.
- Affichez et supprimez des feedbacks depuis le tableau Feedback des détails de l’appel. Supprimez un feedback en cliquant sur l’icône de corbeille dans la colonne la plus à droite de la ligne de feedback concernée.
Utilisez les icônes de feedback
- Tableau Traces : dans la colonne Feedback de la ligne correspondante du tableau Traces.
- Panneau des détails de l’appel : dans le coin supérieur droit de chaque panneau des détails de l’appel.
Pour ajouter une réaction :
- Cliquez sur l’icône emoji.
- Ajoutez un pouce levé, un pouce baissé ou cliquez sur l’icône + pour afficher plus d’emojis.
Pour supprimer une réaction :
- Survolez la réaction emoji que vous souhaitez supprimer.
- Cliquez sur la réaction pour la supprimer.
Vous pouvez également supprimer un feedback depuis la colonne Feedback du panneau des détails de l’appel.
Pour ajouter un commentaire :
- Cliquez sur l’icône de bulle de commentaire.
- Dans la zone de texte, ajoutez votre note. Le nombre maximal de caractères dans une note de feedback est de 1024.
- Pour enregistrer la note, appuyez sur la touche Entrée. Vous pouvez ajouter des notes supplémentaires.
Le nombre maximal de caractères dans une note de feedback est de 1024. Si une note dépasse cette limite, elle ne sera pas créée.
Fournir des retours via le SDK
Consulter les feedbacks d’un projet
client.get_feedback() : Renvoie tous les feedbacks d’un projet.client.get_feedback("<feedback_uuid>") : Renvoie, sous forme de collection, un objet de feedback spécifique désigné par <feedback_uuid>.client.get_feedback(reaction="<reaction_type>") : Renvoie tous les objets de feedback pour un type de réaction donné.
Vous pouvez également obtenir des informations supplémentaires pour chaque objet de feedback dans client.get_feedback() :
id : l’ID de l’objet de feedback.created_at : la date et l’heure de création de l’objet de feedback.feedback_type : le type de feedback (reaction, note, custom).payload : le payload du feedback.
import weave
client = weave.init('intro-example')
# Obtenir tous les feedbacks d'un projet
all_feedback = client.get_feedback()
# Récupérer un objet de feedback spécifique par ID.
# L'API renvoie une collection, qui ne doit contenir au plus qu'un seul élément.
one_feedback = client.get_feedback("<feedback_uuid>")[0]
# Trouver tous les objets de feedback avec une réaction spécifique. Vous pouvez spécifier offset et limit.
thumbs_up = client.get_feedback(reaction="👍", limit=10)
# Après récupération, afficher les détails de chaque objet de feedback.
for f in client.get_feedback():
print(f.id)
print(f.created_at)
print(f.feedback_type)
print(f.payload)
Cette fonctionnalité n'est pas encore disponible en TypeScript.
Ajouter du feedback à un Appel
call.feedback.add_reaction("<reaction_type>") : ajoute l’un des <reaction_types> pris en charge (émojis), par exemple 👍.call.feedback.add_note("<note>") : ajoute une note.call.feedback.add("<label>", <object>) : ajoute un <object> de feedback personnalisé spécifié par <label>.
Le nombre maximal de caractères dans une note de feedback est de 1024. Si une note dépasse cette limite, elle ne sera pas créée.
import weave
client = weave.init('intro-example')
call = client.get_call("<call_uuid>")
# Ajout d’une réaction emoji
call.feedback.add_reaction("👍")
# Ajout d’une note
call.feedback.add_note("this is a note")
# Ajout de paires clé/valeur personnalisées.
# Le premier argument est une chaîne de "type" définie par l’utilisateur.
# Le feedback doit être sérialisable en JSON et faire moins de 1 Ko une fois sérialisé.
call.feedback.add("correctness", { "value": 5 })
Cette fonctionnalité n’est pas encore disponible en TypeScript.
Récupérer l’UUID de l’Appel
Lors de l’exécution de l’Appel
Pour récupérer l’UUID lors de l’exécution de l’Appel, récupérez l’Appel en cours et renvoyez son ID.
import weave
weave.init("uuid")
@weave.op()
def simple_operation(input_value):
# Effectuer une opération simple
output = f"Processed {input_value}"
# Obtenir l'ID de l'appel en cours
current_call = weave.require_current_call()
call_id = current_call.id
return output, call_id
Cette fonctionnalité n’est pas encore disponible en TypeScript.
Après l’exécution d’un Appel
Vous pouvez également utiliser la méthode call() pour exécuter l’opération et récupérer l’ID après l’exécution de l’Appel :
import weave
weave.init("uuid")
@weave.op()
def simple_operation(input_value):
return f"Processed {input_value}"
# Exécute l’opération et récupère le résultat ainsi que l’ID de l’appel
result, call = simple_operation.call("example input")
call_id = call.id
Cette fonctionnalité n’est pas encore disponible en TypeScript.
Supprimer le feedback d’un Appel
call.feedback.purge("<feedback_uuid>")
Cette fonctionnalité n’est pas encore disponible en TypeScript.
Ajouter des annotations humaines
Créez un évaluateur d’annotation humaine dans l’interface utilisateur
- Dans la barre latérale du projet, accédez à Assets.
- Dans le panneau de navigation d’Assets, cliquez sur Scorers.
- Dans l’en-tête du panneau Scorers, cliquez sur New scorer.
- Dans la boîte de dialogue modale Create Scorer, définissez :
Scorer type sur Human annotationNameDescriptionType, qui détermine le type de retour collecté, par exemple boolean ou integer.
- Cliquez sur Create scorer. Vous pouvez maintenant utiliser votre évaluateur pour ajouter des annotations.
Dans l’exemple suivant, il est demandé à un annotateur humain de sélectionner le type de document traité par le LLM. Ainsi, le Type sélectionné pour la configuration du score est un enum contenant les types de documents possibles.
Utiliser l’évaluateur d’annotation humaine dans l’interface utilisateur
-
Dans la barre latérale du projet, accédez à Traces.
-
Repérez la ligne de l’Appel auquel vous souhaitez ajouter une annotation humaine.
-
Cliquez sur le nom de la trace pour ouvrir l’arborescence de trace et le panneau des détails de l’appel.
-
Dans l’angle supérieur droit de la barre d’onglets des détails de l’Appel, cliquez sur le bouton Show feedback.
Vos évaluateurs d’annotation humaine disponibles s’affichent dans un panneau Annotate supplémentaire.
-
Ajoutez une annotation.
-
Cliquez sur Save.
-
Dans la barre d’onglets du panneau des détails de l’Appel, cliquez sur l’onglet Feedback pour afficher le tableau Feedback. La nouvelle annotation apparaît dans le tableau. Vous pouvez également voir les annotations dans la colonne Annotations du tableau principal Traces.
Actualisez le tableau Traces pour afficher les informations les plus récentes.
Créer un évaluateur d’annotation humaine à l’aide de l’API
- Importez la classe
AnnotationSpec depuis weave.flow.annotation_spec.
- Utilisez la méthode
publish de weave pour créer l’évaluateur.
Dans l’exemple suivant, deux évaluateurs sont créés. Le premier, Temperature, sert à attribuer un score à la température perçue de l’Appel LLM. Le second, Tone, sert à attribuer un score au ton de la Réponse du LLM. Chaque évaluateur est créé à l’aide de save avec un ID d’objet associé (temperature-scorer et tone-scorer).
import weave
from weave.flow.annotation_spec import AnnotationSpec
client = weave.init("feedback-example")
spec1 = AnnotationSpec(
name="Temperature",
description="The perceived temperature of the llm call",
field_schema={
"type": "number",
"minimum": -1,
"maximum": 1,
}
)
spec2 = AnnotationSpec(
name="Tone",
description="The tone of the llm response",
field_schema={
"type": "string",
"enum": ["Aggressive", "Neutral", "Polite", "N/A"],
},
)
weave.publish(spec1, "temperature-scorer")
weave.publish(spec2, "tone-scorer")
Cette fonctionnalité n’est pas encore disponible en TypeScript.
Modifier un évaluateur d’annotation humaine via l’API
Temperature en utilisant l’ID d’objet original (temperature-scorer) lors de publish. Le résultat est un objet mis à jour, avec un historique de toutes les versions.
Vous pouvez consulter l’historique des objets d’évaluateur d’annotation humaine dans l’onglet Évaluateurs, sous Annotations humaines.
import weave
from weave.flow.annotation_spec import AnnotationSpec
client = weave.init("feedback-example")
# créer une nouvelle version de l’évaluateur
spec1 = AnnotationSpec(
name="Temperature",
description="The perceived temperature of the llm call",
field_schema={
"type": "integer", # <<- remplacer le type par integer
"minimum": -1,
"maximum": 1,
}
)
weave.publish(spec1, "temperature-scorer")
Cette fonctionnalité n’est pas encore disponible en TypeScript.
Utiliser un évaluateur d’annotation humaine avec l’API
annotation_ref. Vous pouvez obtenir l’annotation_spec_ref dans l’UI en sélectionnant l’onglet approprié, ou lors de la création de l’AnnotationSpec.
import weave
client = weave.init("feedback-example")
call = client.get_call("<call_id>")
annotation_spec = weave.ref("<annotation_spec_ref_uri>")
call.feedback.add(
feedback_type="wandb.annotation." + annotation_spec.name,
payload={"value": 1},
annotation_ref=annotation_spec.uri(),
)
