Événements et champs d’application des Automations

Découvrez les événements et les champs d’application qui déclenchent les Automations W&B, notamment les changements d’artifact, le statut du run et les conditions sur les métriques.

Cette fonctionnalité nécessite un plan Pro ou Enterprise.

Une automatisation peut démarrer lorsqu’un événement spécifique se produit dans un projet ou un registre. Cette page décrit les événements pouvant déclencher une automatisation dans chacun de ces contextes. Pour en savoir plus sur les automatisations, consultez l’Aperçu des automatisations ou Créer une automatisation.

​

Registre

Cette section décrit les périmètres et les événements d’une automatisation dans un registre.

​

Périmètres

Une automatisation de registre surveille l’événement qui se produit dans n’importe quelle collection d’un registre donné, y compris les collections ajoutées ultérieurement.

​

Événements

Une automatisation du registre peut surveiller ces événements :

• Une nouvelle version est liée à une collection : testez et validez de nouveaux modèles ou jeux de données lorsqu’ils sont ajoutés au registre.
• Un alias d’artifact est ajouté : déclenchez une étape spécifique de votre flux de travail lorsqu’une nouvelle version d’artifact se voit attribuer un alias spécifique. Par exemple, déployez un modèle lorsque l’alias production lui est appliqué.

​

Projet

Cette section décrit les périmètres et les événements d’une automatisation dans un projet.

​

Portées

Une automatisation au niveau du projet surveille l’événement qui se produit sur n’importe quelle collection du projet. Selon l’événement que vous spécifiez, vous pouvez encore restreindre le périmètre de l’automatisation.

​

Événements d’artifact

Cette section décrit les événements liés à un artifact qui peuvent déclencher une automatisation.

• Une nouvelle version est ajoutée à un artifact : appliquez des actions récurrentes à chaque version d’un artifact. Par exemple, lancez une tâche d’entraînement lorsqu’une nouvelle version d’un artifact de jeu de données est créée.
• Un alias d’artifact est ajouté : déclenchez une étape spécifique de votre flux de travail lorsqu’une nouvelle version d’artifact dans un projet se voit attribuer un alias correspondant à la regex d’alias que vous spécifiez. Par exemple, exécutez une série d’étapes de traitement en aval lorsqu’un artifact se voit attribuer l’alias test-set-quality-check, ou exécutez un flux de travail chaque fois qu’une nouvelle version d’artifact reçoit l’alias latest. Une seule version d’artifact peut avoir un alias donné à un instant donné.
• Un tag d’artifact est ajouté : déclenchez une étape spécifique de votre flux de travail lorsqu’une version d’artifact dans un projet se voit attribuer un tag correspondant à la regex de tag que vous spécifiez. Par exemple, spécifiez ^europe.* pour déclencher un flux de travail géospécifique lorsqu’un tag commençant par la chaîne europe est ajouté à une version d’artifact. Les tags d’artifact sont utilisés pour le regroupement et le filtrage, et un tag donné peut être attribué simultanément à plusieurs versions d’artifact.

​

Événements de run

Une automatisation peut être déclenchée par une modification du statut d’un run ou par une modification de la valeur d’une métrique.

​

Changement du statut d’un run

• Actuellement disponible uniquement sur le W&B Cloud mutualisé.
• Un run ayant le statut Killed ne peut pas déclencher d’automatisation. Ce statut indique que le run a été arrêté de force par un administrateur.

Déclenchez un flux de travail lorsqu’un run change de statut et passe à Running, Finished ou Failed. Vous pouvez également restreindre les runs susceptibles de déclencher une automatisation en spécifiant un filtre sur l’utilisateur ou le nom de l’exécution.

Comme le statut d’un run est une propriété du run dans son ensemble, vous ne pouvez créer une automatisation de statut de run que depuis la page Automations, et non depuis un workspace.

​

Changement des métriques de run

Actuellement disponible uniquement sur le W&B Cloud mutualisé.

Déclenchez un flux de travail en fonction d’une valeur enregistrée pour une métrique, qu’il s’agisse d’une métrique de l’historique d’un run ou d’une métrique système telle que cpu, qui indique le pourcentage d’utilisation du CPU. W&B enregistre automatiquement les métriques système toutes les 15 secondes.

Vous pouvez créer une automatisation de métriques de run depuis l’onglet Automations du projet ou directement depuis un panneau de graphique en courbes dans un Workspace.

Pour configurer une automatisation de métrique de run, définissez comment comparer la valeur de la métrique au seuil que vous spécifiez. Les options proposées dépendent du type d’événement et des filtres que vous définissez.

Vous pouvez également limiter davantage les runs susceptibles de déclencher une automatisation en spécifiant un filtre sur l’utilisateur ou sur le nom de l’exécution.

Seuil

Pour les événements Seuil des métriques du run atteint, vous configurez :

1. La fenêtre des valeurs enregistrées les plus récentes à prendre en compte (5 par défaut).
2. La valeur Average, Min ou Max à évaluer dans la fenêtre.
3. La comparaison à effectuer :
   • Supérieur à
   • Supérieur ou égal à
   • Inférieur à
   • Inférieur ou égal à
   • Différent de
   • Égal à

Par exemple, déclenchez une automation lorsque la moyenne de accuracy est supérieure à .6.

Seuil de variation

Pour les événements Seuil de variation des métriques de run atteint, l’automatisation utilise deux « fenêtres » de valeurs pour déterminer si elle doit se déclencher :

• La fenêtre actuelle des valeurs récemment enregistrées à prendre en compte (10 par défaut).
• La fenêtre précédente des valeurs récemment enregistrées à prendre en compte (50 par défaut).

Les fenêtres actuelle et précédente sont consécutives et ne se chevauchent pas.

Pour créer l’automatisation, vous configurez :

1. La fenêtre actuelle des valeurs enregistrées (10 par défaut).
2. La fenêtre précédente des valeurs enregistrées (50 par défaut).
3. Si les valeurs doivent être évaluées de façon relative ou absolue (Relative par défaut).
4. La comparaison à effectuer :
   • Augmente d’au moins
   • Diminue d’au moins
   • Augmente ou diminue d’au moins

Par exemple, déclenchez une automatisation lorsque la moyenne de loss diminue d’au moins .25.

​

Variation du z-score des métriques de run

Actuellement disponible uniquement sur le W&B Cloud mutualisé.

W&B peut déclencher une automatisation lorsque le z-score (score standard) d’une métrique dépasse un seuil spécifié. Un z-score mesure de combien d’écarts types une valeur s’écarte de la moyenne de cette métrique sur une fenêtre configurable de runs dans le projet (30 runs par défaut).

Pour utiliser un z-score comme déclencheur d’événement, sélectionnez l’événement Run metrics z-score threshold met.

Les Automations basées sur le z-score permettent à votre équipe d’être alertée en cas de performances inhabituelles, sans avoir à vérifier des seuils absolus, qui peuvent varier à mesure que votre modèle ou votre processus d’entraînement évolue.

Vous pouvez créer une automatisation de z-score pour les métriques de run depuis l’onglet Automations du projet ou directement depuis un panneau de graphique linéaire dans un Workspace.

Pour créer une automatisation de z-score, vous configurez :

1. Le seuil cible de z-score, exprimé sous forme de valeur flottante positive (par exemple, 2.0).
2. La fenêtre de valeurs enregistrées qui sert à déterminer la moyenne (30 par défaut).
3. La comparaison à effectuer :
   • Au-dessus (déclencher lorsque les performances sont inhabituellement élevées)
   • En dessous (déclencher lorsque les performances sont inhabituellement faibles)
   • Au-dessus ou en dessous

Par exemple, déclenchez une automatisation lorsque accuracy a un z-score supérieur à 2, ce qui signifie que le run obtient des performances nettement supérieures à celles des autres runs du projet.

Comprendre les valeurs de z-score :

• Un z-score de 0 signifie que la métrique est dans la moyenne.
• Un z-score de +2.0 signifie que la métrique se situe à 2 écarts types au-dessus de la moyenne.
• Un z-score de -2.0 signifie que la métrique se situe à 2 écarts types en dessous de la moyenne.
• Les valeurs au-delà de ±2 sont souvent considérées comme des valeurs aberrantes statistiquement significatives.

​

Filtres des runs

Cette section décrit comment l’automatisation sélectionne les runs à évaluer.

• Par défaut, n’importe quel run du projet déclenche l’automatisation lorsque l’événement se produit. Vous pouvez limiter les runs qui déclenchent une automatisation en configurant l’un des filtres suivants :

  • Filtre sur les runs d’un seul utilisateur : inclure uniquement les runs créés par l’utilisateur spécifié.
  • Filtre sur le nom du run : inclure uniquement les runs dont le nom correspond à l’expression régulière fournie.

  Pour plus de détails, voir Créer des automatisations.

• Chaque run est considéré individuellement et peut déclencher l’automatisation.

• Les valeurs de chaque run sont placées dans une fenêtre distincte et comparées séparément au seuil.

• Sur une période de 24 heures, une automatisation donnée ne peut se déclencher qu’une seule fois par run.

​

Prochaines étapes

• Créer une automatisation Slack
• Créer une automatisation par webhook