Passer au contenu principal
Lorsque vous utilisez Utiliser votre propre bucket (BYOB), Cloud dédié de W&B ou W&B Autogéré, votre équipe paie souvent directement les fournisseurs de stockage cloud. Cette page explique ce qui occupe de l’espace dans votre bucket, comment W&B supprime les objets après leur suppression dans l’application ou via l’API, et ce à quoi vous pouvez vous attendre en pratique.

​
Ce qui occupe l’espace du bucket

W&B stocke plusieurs catégories de données dans le stockage d’objets que vous avez configuré. L’Aperçu de BYOB donne des exemples, notamment les fichiers d’expérience et les métriques, les fichiers d’artefacts, les fichiers multimédias, les fichiers de run et l’historique exporté au format Parquet. L’ensemble de ces éléments détermine la taille et le coût du bucket.

​
Comment W&B supprime les données du stockage

La suppression dans l’application W&B ou l’API publique met d’abord à jour les métadonnées W&B. Supprimer un run, un artefact ou un fichier du produit ne garantit pas une diminution immédiate de l’utilisation du bucket indiquée. Le nettoyage du stockage d’objets s’effectue en arrière-plan et peut prendre du retard, en particulier sur les instances très sollicitées.

​
Artefacts

Les artefacts supprimés font d’abord l’objet d’une suppression réversible, puis sont traités par le garbage collection des artefacts. Les déploiements autogérés doivent définir GORILLA_ARTIFACT_GC_ENABLED et respecter les exigences du fournisseur, comme la gestion des versions ou la suppression réversible. Voir Supprimer un artefact et Configurer les variables d’environnement.

​
Données et fichiers de run

Après la suppression de runs ou de fichiers associés à des runs, la suppression définitive des objets stockés sous-jacents est gérée séparément des artefacts. Dans les déploiements Cloud dédié et Autogéré, GORILLA_DATA_RETENTION_PERIOD définit pendant combien de temps les données de run supprimées sont conservées avant de pouvoir être supprimées du stockage. Ce paramètre ne supprime pas les artefacts. Voir Configurer les variables d’environnement, Politique de conservation des données pour Cloud dédié, et Supprimer les runs pour comprendre le lien entre la suppression des runs et des fichiers et le stockage.

​
À quoi vous attendre du nettoyage en arrière-plan

La récupération de l’espace et les jobs associés qui libèrent du stockage d’objets sont effectués dans la mesure du possible. W&B ne garantit pas qu’un objet donné disparaîtra de votre bucket dans un délai précis après la suppression de contenu dans l’interface utilisateur ou l’API. Pour les projets comportant un grand nombre de fichiers par run, par exemple lorsque vous journalisez de nombreux fichiers multimédias par run, attendez-vous à des délais plus longs avant la libération de l’utilisation du stockage. Surveillez votre bucket auprès de votre fournisseur de cloud et contactez W&B Support ou votre équipe de compte si le nettoyage semble bloqué par rapport à vos attentes.

​
Réduire l’utilisation du bucket

Commencez par utiliser les méthodes prises en charge par le produit : Si vous devez récupérer de l’espace immédiatement, les opérateurs ayant accès au bucket peuvent supprimer directement des clés d’objet spécifiques dans le stockage cloud. Gardez à l’esprit les points suivants :
  • Les objets que vous supprimez ne pourront plus être téléchargés via W&B.
  • Supprimez uniquement les clés que vous souhaitez retirer. Des suppressions incorrectes peuvent empêcher l’accès à des données auxquelles l’application fait toujours référence.
  • Si votre bucket utilise la gestion des versions des objets ou la suppression réversible côté fournisseur (par exemple dans Google Cloud Storage), des frais de stockage peuvent continuer à s’appliquer jusqu’à l’expiration des versions non courantes ou des objets supprimés de manière réversible, conformément aux règles de cycle de vie de votre cloud.
Pour une vue d’ensemble de l’utilisation dans le Cloud mutualisé de W&B, les Administrateurs de l’organisation peuvent consulter l’utilisation liée au stockage dans les paramètres de l’organisation. Voir Billing settings.

​
Dépannage

Si les suppressions ne s’affichent pas correctement dans l’application W&B après avoir utilisé l’API publique, mettez à niveau le SDK Python W&B vers une version actuelle, puis réessayez. Un très grand nombre de fichiers par run peut rallonger le temps nécessaire au nettoyage en arrière-plan à l’échelle de l’instance. Pour les schémas de nettoyage scripté adaptés à votre déploiement, contactez W&B Support ou votre équipe de compte.