Visualiser et analyser des tableaux

Personnalisez vos W&B Tables pour répondre à des questions sur les performances de votre modèle de machine learning, analyser vos données, et plus encore. Explorez vos données de manière interactive pour :

Comparer deux W&B Tables enregistrées en tant que versions d’artefact afin d’analyser les changements dans vos données ou dans les performances du modèle.
Comprendre des tendances générales dans vos données
Voir comment les valeurs que vous enregistrez dans un tableau évoluent au fil de vos runs.

W&B Tables présente les comportements suivants :

Sans état dans le contexte d’un artefact : tout tableau enregistré avec une version d’artefact revient à son état par défaut après la fermeture de la fenêtre du navigateur
Avec état dans le contexte d’un Workspace ou d’un Report : toute modification apportée à un tableau dans le Workspace d’un single run, l’espace de travail du projet multi-run ou un Report persiste.

Pour savoir comment enregistrer votre vue W&B Tables actuelle, voir Enregistrer votre vue.

Options de comparaison des tableaux

Comparez deux tableaux à l’aide d’une vue fusionnée ou d’une vue côte à côte. Par exemple, l’image ci-dessous montre une comparaison de tableaux de données MNIST.

Suivez ces étapes pour comparer deux tableaux :

Accédez à votre projet dans la W&B App.
Sélectionnez l’icône Artifacts dans la barre latérale du projet.
Sélectionnez une version d’artefact.

Dans l’image suivante, nous montrons les prédictions d’un modèle sur les données de validation MNIST après chacune des cinq époques (voir un exemple interactif ici).

Cliquez sur 'predictions' pour afficher le tableau

Survolez dans la barre latérale la deuxième version d’artefact que vous souhaitez comparer, puis cliquez sur Compare lorsqu’il apparaît. Par exemple, dans l’image ci-dessous, nous sélectionnons une version libellée “v4” pour la comparer aux prédictions MNIST produites par le même modèle après 5 époques d’entraînement.

Vue fusionnée

Au départ, vous voyez les deux tableaux fusionnés. Le premier tableau sélectionné a l’index 0 et est surligné en bleu, et le second a l’index 1 et est surligné en jaune. Voir ici un exemple en direct de tableaux fusionnés.

Depuis la vue fusionnée, vous pouvez

choisir la clé de jointure : utilisez le menu déroulant en haut à gauche pour définir la colonne à utiliser comme clé de jointure entre les deux tableaux. Il s’agit généralement de l’identifiant unique de chaque ligne, comme le nom de fichier d’un exemple précis dans votre jeu de données ou un index incrémental pour vos échantillons générés. Notez qu’il est actuellement possible de sélectionner n’importe quelle colonne, ce qui peut rendre les tableaux illisibles et ralentir les requêtes.
concaténer au lieu de joindre : sélectionnez “concaténer tous les tableaux” dans ce menu déroulant pour réunir toutes les lignes des deux tableaux dans un seul tableau plus grand au lieu de les joindre sur leurs colonnes
faire référence explicitement à chaque tableau : utilisez 0, 1 et * dans l’expression de filtre pour spécifier explicitement une colonne dans l’une ou les deux instances de tableau
visualiser les différences numériques détaillées sous forme d’histogrammes : comparez les valeurs de n’importe quelle cellule en un coup d’œil

Vue côte à côte

Pour afficher les deux tableaux côte à côte, modifiez la première liste déroulante de “Merge Tables: Table” à “List of: Table”, puis ajustez le “Page size” en conséquence. Ici, le premier tableau sélectionné se trouve à gauche et le second à droite. Vous pouvez également comparer ces tableaux verticalement en cochant la case “Vertical”.

comparer les tableaux en un coup d’œil : appliquez les mêmes opérations (tri, filtre, regroupement) aux deux tableaux en parallèle et repérez rapidement les changements ou les différences. Par exemple, affichez les prédictions incorrectes regroupées par prédiction, les négatifs les plus difficiles dans l’ensemble, la distribution du score de confiance par étiquette réelle, etc.
explorer deux tableaux indépendamment : faites défiler et concentrez-vous sur le côté ou les lignes qui vous intéressent

Comparer les Artifacts

Comparez deux W&B Tables enregistrées en tant que versions d’artefact pour analyser les modifications apportées à vos données ou la performance du modèle. Utilisez la vue fusionnée ou la vue côte à côte pour comparer les tableaux.

Comparer des tableaux au fil du temps

Enregistrez un tableau dans un artefact à chaque étape significative de l’entraînement afin d’analyser les performances du modèle au fil du temps. Par exemple, vous pouvez enregistrer un tableau à la fin de chaque étape de validation, toutes les 50 époques d’entraînement, ou à toute fréquence pertinente pour votre pipeline. Utilisez la vue côte à côte pour visualiser les changements dans les prédictions du modèle.

Comparaison de la progression de l'entraînement

Pour un guide pas à pas plus détaillé sur la visualisation des prédictions au fil du temps d’entraînement, consultez le rapport sur les prédictions au fil du temps et cet exemple de notebook interactif.

Comparer des tableaux entre différentes variantes de modèle

Comparez deux versions d’artefact enregistrées à la même étape pour deux modèles différents afin d’analyser les performances des modèles selon différentes configurations (hyperparamètres, architectures de base, etc.). Par exemple, comparez les prédictions entre baseline et une nouvelle variante de modèle, 2x_layers_2x_lr, où la première couche convolutionnelle passe de 32 à 64, la seconde de 128 à 256, et le taux d’apprentissage de 0,001 à 0,002. Dans cet exemple interactif, utilisez la vue côte à côte et filtrez pour n’afficher que les prédictions incorrectes après 1 époque d’entraînement (onglet de gauche), puis après 5 époques d’entraînement (onglet de droite).

1 époque d’entraînement
5 époques d’entraînement

Visualisez comment les valeurs évoluent au fil de vos runs

Voyez comment les valeurs que vous enregistrez dans un tableau évoluent au fil de vos runs à l’aide d’un curseur d’étape. Faites glisser le curseur d’étape pour afficher les valeurs enregistrées à différentes étapes. Par exemple, vous pouvez voir comment la perte, la précision ou d’autres métriques évoluent au fil d’un run. Le curseur utilise une clé pour déterminer la valeur d’étape. La clé par défaut du curseur est _step, une clé spéciale que W&B enregistre automatiquement pour vous. La clé _step est un entier qui s’incrémente de 1 chaque fois que vous appelez wandb.Run.log() dans votre code. Pour ajouter un curseur d’étape à un tableau W&B :

Accédez au Workspace de votre projet.
Cliquez sur Add panel dans le coin supérieur droit du Workspace.
Sélectionnez Query panel.
Dans l’éditeur d’expression de requête, sélectionnez runs, puis appuyez sur Enter sur votre clavier.
Cliquez sur l’icône d’engrenage pour afficher les paramètres du panneau.
Réglez le sélecteur Render As sur Stepper.
Réglez Stepper Key sur _step ou sur la clé à utiliser comme unité pour le curseur d’étape.

L’image suivante montre un Query panel avec trois runs W&B et les valeurs qu’ils ont enregistrées à l’étape 295.

Dans la W&B App UI, vous pouvez remarquer des valeurs en double à plusieurs étapes. Cela peut se produire si plusieurs runs enregistrent la même valeur à des étapes différentes, ou si un run n’enregistre pas de valeurs à chaque étape. Si une valeur est absente pour une étape donnée, W&B utilise comme clé du curseur la dernière valeur enregistrée.

Clé d’étape personnalisée

La clé d’étape peut être n’importe quelle métrique numérique que vous enregistrez dans vos runs comme clé d’étape, par exemple epoch ou global_step. Lorsque vous utilisez une clé d’étape personnalisée, W&B associe chaque valeur de cette clé à une étape (_step) dans le run. Ce tableau montre comment une clé d’étape personnalisée epoch est associée aux valeurs _step pour trois runs différents : serene-sponge, lively-frog et vague-cloud. Chaque ligne représente un appel à wandb.Run.log() à une valeur _step donnée dans un run. Les colonnes indiquent les valeurs d’epoch correspondantes, le cas échéant, qui ont été enregistrées à ces étapes. Certaines valeurs _step sont omises pour gagner de la place. La première fois que wandb.Run.log() a été appelé, aucun des runs n’a enregistré de valeur epoch, donc le tableau affiche des valeurs vides pour epoch.

`_step`	vague-cloud (`epoch`)	lively-frog(`epoch`)	serene-sponge (`epoch`)
1
2			1
4		1	2
5	1
6			3
8		2	4
10			5
12		3	6
14			7
15	2
16		4	8
18			9
20	3	5	10

Maintenant, si le curseur est réglé sur epoch = 1, voici ce qui se passe :

vague-cloud trouve epoch = 1 et renvoie la valeur enregistrée à _step = 5
lively-frog trouve epoch = 1 et renvoie la valeur enregistrée à _step = 4
serene-sponge trouve epoch = 1 et renvoie la valeur enregistrée à _step = 2

Si le curseur est réglé sur epoch = 9 :

vague-cloud n’enregistre pas non plus epoch = 9, donc W&B utilise la dernière valeur précédente, epoch = 3, et renvoie la valeur enregistrée à _step = 20
lively-frog n’enregistre pas epoch = 9, mais la dernière valeur précédente est epoch = 5, donc il renvoie la valeur enregistrée à _step = 20
serene-sponge trouve epoch = 9 et renvoie la valeur enregistrée à _step = 18

Enregistrez votre vue

Les tableaux avec lesquels vous interagissez dans le workspace du run, l’espace de travail du projet ou un Report enregistrent automatiquement leur état de vue. Si vous appliquez des opérations à un tableau puis fermez votre navigateur, le tableau conserve la dernière configuration affichée lorsque vous y revenez.

Les tableaux avec lesquels vous interagissez dans le contexte d’un artefact restent sans état.

Pour enregistrer un tableau provenant d’un workspace dans un état donné, exportez-le vers un Report W&B. Pour exporter un tableau vers un Report :

Sélectionnez l’icône kebab (trois points verticaux) dans le coin supérieur droit du panneau de visualisation de votre workspace.
Sélectionnez Share panel ou Add to report.

Exemples

Ces Reports mettent en avant les différents cas d’usage de W&B Tables :

Guides

Intégrations

Référence