Passer au contenu principal
Ce guide s’applique à tous les types de déploiement W&B :
  • Cloud mutualisé : BYOB au niveau de l’équipe
  • Cloud dédié : BYOB au niveau de l’instance et de l’équipe
  • Autogéré : BYOB au niveau de l’instance et de l’équipe
Les instructions de provisionnement du bucket dans ce guide sont les mêmes, quel que soit votre type de déploiement.

​
Aperçu

Le modèle Bring Your Own Bucket (BYOB) vous permet de stocker les Artifacts W&B et d’autres données sensibles associées dans votre propre cloud ou sur votre infrastructure sur site. Dans le cas du Cloud dédié ou du Cloud mutualisé, les données que vous stockez dans votre bucket ne sont pas copiées vers l’infrastructure gérée par W&B.
  • La communication entre le SDK / CLI / UI de W&B et vos buckets s’effectue au moyen d’URL pré-signées.
  • W&B utilise un mécanisme de récupération de place et des processus associés pour supprimer au fil du temps les artifacts et les données d’exécution supprimés de votre bucket. La suppression d’un artifact est décrite dans Supprimer un artifact. La suppression des données d’exécution sur les déploiements Cloud dédié et Autogéré dépend également de GORILLA_DATA_RETENTION_PERIOD, comme décrit dans Configurer les variables d’environnement. Le délai de nettoyage n’est pas garanti. Pour une vue d’ensemble de l’utilisation et des coûts du bucket, voir Gérer le stockage et les coûts du bucket.
  • Vous pouvez spécifier un sous-chemin lors de la configuration d’un bucket afin de garantir que W&B ne stocke aucun fichier dans un dossier situé à la racine du bucket. Cela peut vous aider à mieux respecter la politique de gouvernance des buckets de votre organisation.

​
Données stockées dans la base de données centrale et dans les buckets

Lorsque vous utilisez la fonctionnalité BYOB, certains types de données sont stockés dans la base de données centrale de W&B, tandis que d’autres le sont dans votre bucket.

​
Base de données

  • Métadonnées des utilisateurs, des équipes, des Artifacts, des expériences et des projets
  • Reports
  • Journaux d’expérience
  • Métriques système
  • Journaux de la console

​
Buckets

  • Fichiers d’expérience et métriques
  • Fichiers d’artifact
  • Fichiers multimédias
  • Fichiers de run
  • Métriques de l’historique exportées et événements système au format Parquet

​
Portées des buckets

Il existe deux portées possibles pour votre bucket de stockage :
PortéeDescription
Niveau de l’instanceDans Cloud dédié et Autogéré, tout utilisateur disposant des autorisations requises au sein de votre organisation ou de votre instance peut accéder aux fichiers stockés dans le bucket de stockage de l’instance. Ne s’applique pas au Cloud mutualisé.
Niveau de l’équipeSi une Team W&B est configurée pour utiliser un bucket de stockage au niveau de l’équipe, les membres de l’équipe peuvent accéder aux fichiers qui y sont stockés. Les buckets de stockage au niveau de l’équipe offrent un contrôle d’accès aux données plus strict et une meilleure isolation des données pour les équipes qui manipulent des données très sensibles ou sont soumises à des exigences de conformité strictes.

Le stockage au niveau de l’équipe peut aider différentes unités métier ou différents départements partageant une instance à utiliser efficacement l’infrastructure et les ressources administratives. Il peut également permettre à des équipes projet distinctes de gérer des flux de travail d’IA pour différents clients. Disponible pour tous les types de déploiement. Vous configurez le BYOB au niveau de l’équipe lors de la configuration de l’équipe.
Cette conception flexible permet de mettre en place de nombreuses topologies de stockage, selon les besoins de votre organisation. Par exemple :
  • Le même bucket peut être utilisé pour l’instance et une ou plusieurs équipes.
  • Chaque équipe peut utiliser un bucket distinct, certaines équipes peuvent choisir d’écrire dans le bucket de l’instance, ou plusieurs équipes peuvent partager un bucket en écrivant dans des sous-chemins.
  • Les buckets de différentes équipes peuvent être hébergés dans différents environnements ou régions d’infrastructure cloud, et être gérés par différentes équipes d’administration du stockage.
Par exemple, supposons que vous ayez une équipe appelée Kappa dans votre organisation. Votre organisation (et Team Kappa) utilise par défaut le bucket de stockage au niveau de l’instance. Ensuite, vous créez une équipe appelée Omega. Lorsque vous créez Team Omega, vous configurez un bucket de stockage au niveau de l’équipe pour cette équipe. Les fichiers générés par Team Omega ne sont pas accessibles à Team Kappa. En revanche, les fichiers créés par Team Kappa sont accessibles à Team Omega. Si vous souhaitez isoler les données de Team Kappa, vous devez également configurer un bucket de stockage au niveau de l’équipe pour cette équipe.

​
Matrice de disponibilité

W&B peut se connecter aux fournisseurs de stockage suivants :
  • CoreWeave AI Object Storage : service de stockage d’objets haute performance, compatible S3, optimisé pour les charges de travail d’IA.
  • Amazon S3 : service de stockage d’objets offrant une évolutivité, une disponibilité des données, une sécurité et des performances de premier plan.
  • Google Cloud Storage : service géré permettant de stocker des données non structurées à grande échelle.
  • Azure Blob Storage : solution de stockage d’objets dans le cloud permettant de stocker de très grandes quantités de données non structurées, comme du texte, des données binaires, des images, des vidéos et des journaux.
  • Un stockage compatible S3 tel que MinIO Enterprise (AIStor) ou d’autres solutions de classe entreprise hébergées dans votre cloud ou sur votre infrastructure sur site.
Le tableau suivant indique la disponibilité de BYOB à chaque niveau pour chaque type de déploiement W&B.
Type de déploiement W&BNiveau instanceNiveau équipeInformations supplémentaires
Cloud dédié✓✓Le BYOB au niveau de l’instance et de l’équipe est pris en charge pour CoreWeave AI Object Storage, Amazon S3, Google Cloud Storage, Microsoft Azure Blob Storage et le stockage compatible S3 tel que MinIO Enterprise (AIStor) hébergé dans votre cloud ou sur votre infrastructure sur site.
Cloud mutualiséNon applicable✓1Le BYOB au niveau de l’équipe est pris en charge pour CoreWeave AI Object Storage, Amazon S3 et Google Cloud Storage.
Autogéré✓✓Le BYOB au niveau de l’instance et de l’équipe est pris en charge pour CoreWeave AI Object Storage, Amazon S3, Google Cloud Storage, Microsoft Azure Blob Storage et le stockage compatible S3 tel que MinIO Enterprise (AIStor) hébergé dans votre cloud ou sur votre infrastructure sur site.
1.Azure Blob Storage n’est pas pris en charge pour le BYOB au niveau de l’équipe sur Cloud mutualisé. Les sections suivantes vous guident dans le processus de configuration de BYOB.

​
Provision your bucket

Après avoir vérifié la disponibilité, vous pouvez provisionner votre bucket de stockage, y compris sa politique d’accès et la configuration CORS. Sélectionnez un onglet pour continuer.
Prérequis :
  • Cloud mutualisé, ou
  • Cloud dédié v0.73.0 ou version ultérieure, ou
  • Autogéré v0.73.0 ou version ultérieure, déployé avec la version v0.33.14+ du chart Helm
  • Un compte CoreWeave avec AI Object Storage activé et les autorisations nécessaires pour créer des buckets, des clés d’accès à l’API et des clés secrètes.
  • Votre instance W&B doit pouvoir se connecter aux points de terminaison réseau de CoreWeave.
Pour plus d’informations, voir Create a CoreWeave AI Object Storage bucket dans la documentation CoreWeave.
  1. Cloud mutualisé : Obtenez l’ID de votre organisation, requis pour la politique de votre bucket.
    1. Connectez-vous à l’app W&B.
    2. Dans la barre de navigation de gauche, cliquez sur Créer une nouvelle équipe.
    3. Dans le panneau latéral qui s’ouvre, copiez l’ID de l’organisation W&B, situé au-dessus de Inviter des membres de l’équipe.
    4. Laissez cette page ouverte. Vous l’utiliserez pour configurer W&B.
  2. Cloud dédié / Autogéré : Obtenez votre espace de noms client, nécessaire pour la stratégie de votre bucket.
    1. Dans l’application W&B, cliquez sur l’icône de votre profil, puis sur System Console.
    2. Cliquez sur l’onglet Authentication.
    3. En bas de la page, copiez la valeur de Customer Namespace. Conservez cette valeur pour configurer la politique du bucket.
    4. Vous pouvez fermer System Console.
  3. Dans CoreWeave, créez un bucket portant le nom de votre choix dans la zone de disponibilité CoreWeave de votre choix. Vous pouvez également créer un dossier que W&B utilisera comme sous-chemin pour tous les fichiers W&B. Notez le nom du bucket, la zone de disponibilité, la clé d’accès à l’API, la clé secrète et le sous-chemin.
  4. Définissez la politique CORS suivante pour le bucket : 
    [
  {
    "AllowedHeaders": [
      "*"
    ],
    "AllowedMethods": [
      "GET",
      "HEAD",
      "PUT"
    ],
    "AllowedOrigins": [
      "*"
    ],
    "ExposeHeaders": [
      "ETag"
    ],
    "MaxAgeSeconds": 3000
  }
]
    Le stockage CoreWeave est compatible avec S3. Pour en savoir plus sur CORS, référez-vous à Configuration du partage de ressources entre origines (CORS) dans la documentation AWS.
  5. Configurez une stratégie de bucket accordant les autorisations requises pour permettre à votre déploiement W&B d’accéder au bucket et de générer des URL pré-signées, utilisées par les charges de travail d’IA de votre infrastructure cloud ou par les navigateurs des utilisateurs pour accéder au bucket. Référez-vous à la référence sur les stratégies de bucket dans la documentation CoreWeave. 
    {
  "Version": "2012-10-17",
  "Statement": [
  {
    "Sid": "AllowWandbUser",
    "Action": [
      "s3:GetObject*",
      "s3:GetEncryptionConfiguration",
      "s3:ListBucket",
      "s3:ListBucketMultipartUploads",
      "s3:ListBucketVersions",
      "s3:AbortMultipartUpload",
      "s3:DeleteObject",
      "s3:PutObject",
      "s3:GetBucketCORS",
      "s3:GetBucketLocation",
      "s3:GetBucketVersioning"
    ],
    "Effect": "Allow",
    "Resource": [
      "arn:aws:s3:::<cw-bucket>/*",
      "arn:aws:s3:::<cw-bucket>"
    ],
    "Principal": {
      "CW": "arn:aws:iam::wandb:static/<wb-cw-principal>"
    },
    "Condition": {
      "StringLike": {
        "wandb:OrgID": [
          "<wb-org-id>"
        ]
      }
    }
  },
  {
    "Sid": "AllowUsersInOrg",
    "Action": "s3:*",
    "Effect": "Allow",
    "Resource": [
      "arn:aws:s3:::<cw-bucket>",
      "arn:aws:s3:::<cw-bucket>/*"
    ],
    "Principal": {
      "CW": "arn:aws:iam::<cw-storage-org-id>:*"
    }
  }]
}
    La clause commençant par "Sid": "AllowUsersInOrg" accorde aux utilisateurs de votre organisation un accès direct au bucket. Si vous n’avez pas besoin de cette option, vous pouvez omettre cette clause de votre stratégie.
  6. Dans la politique du bucket, remplacez les espaces réservés :
    • <cw-bucket> : le nom de votre bucket.
    • <cw-wandb-principal> :
      • Cloud mutualisé : arn:aws:iam::wandb:static/wandb-integration-public
      • Cloud dédié ou Autogéré : arn:aws:iam::wandb:static/wandb-integration
    • <wb-org-id> :
  7. Cloud dédié : Contactez l’assistance pour suivre des étapes supplémentaires.
  8. Autogéré : Mettez à jour votre déploiement W&B afin de définir la variable d’environnement GORILLA_SUPPORTED_FILE_STORES sur la valeur exacte cw://, puis redémarrez W&B. Sinon, CoreWeave n’apparaîtra pas comme option lors de la configuration du stockage de Teams.
Ensuite, configurez W&B.
Ensuite, déterminez l’adresse de stockage.

​
Déterminer l’adresse de stockage

Cette section explique la syntaxe à utiliser pour connecter un Team W&B à un bucket de stockage BYOB. Dans les exemples, remplacez les valeurs entre chevrons (<>) par les informations de votre bucket. Choisissez un onglet pour afficher les instructions détaillées.
Cette section concerne uniquement le BYOB au niveau de l’équipe sur Cloud dédié ou Autogéré. Pour le BYOB au niveau de l’instance ou pour le Cloud mutualisé, vous pouvez passer à Configurer W&B.Déterminez le chemin complet du bucket au format suivant. Remplacez les valeurs entre chevrons (<>) par celles de votre bucket.Format du bucket :
cw://<accessKey>:<secretAccessKey>@cwobject.com/<bucketName>?tls=true
Le point de terminaison HTTPS cwobject.com est pris en charge. TLS 1.3 est requis. Contactez l’assistance si vous souhaitez utiliser d’autres endpoints CoreWeave.
Après avoir déterminé l’adresse de stockage, vous pouvez passer à configurer le BYOB au niveau de l’équipe.

​
Configurer W&B

Après avoir provisionné votre bucket et déterminé son adresse, vous pouvez configurer BYOB au niveau de l’instance ou au niveau de l’équipe.
Planifiez soigneusement l’organisation de votre bucket de stockage. Après avoir configuré un bucket de stockage pour W&B, la migration de ses données vers un autre bucket est complexe et nécessite l’assistance de W&B. Cela s’applique au stockage pour Cloud dédié et Autogéré, ainsi qu’au stockage au niveau de l’équipe pour Cloud mutualisé. Pour toute question, contactez l’assistance.

​
BYOB au niveau de l’instance

Pour CoreWeave AI Object Storage au niveau de l’instance, contactez l’assistance W&B au lieu de suivre ces instructions. La configuration en libre-service n’est pas encore prise en charge.
Pour Cloud dédié : partagez les informations du bucket avec votre équipe W&B, qui configurera votre instance Cloud dédié. Pour Autogéré, vous pouvez configurer le BYOB au niveau de l’instance à l’aide de la W&B App :
  1. Connectez-vous à W&B en tant qu’utilisateur disposant du rôle admin.
  2. Cliquez sur l’icône utilisateur en haut de la page, puis sur System Console.
  3. Accédez à Settings > System Connections.
  4. Dans la section Bucket Storage, assurez-vous que l’identité indiquée dans le champ Identity a accès au nouveau bucket.
  5. Sélectionnez Provider.
  6. Saisissez Bucket Name.
  7. Si nécessaire, saisissez le Path à utiliser dans le nouveau bucket.
  8. Cliquez sur Save

​
BYOB au niveau de l’équipe

Vous pouvez configurer le BYOB au niveau de l’équipe lors de la création d’une équipe dans la W&B App ou via l’API SCIM (POST Groups avec storageBucket facultatif). Deux options s’offrent à vous :
  • Utiliser un bucket existant : vous devrez d’abord déterminer l’emplacement de stockage de votre bucket.
  • Créer un bucket (Cloud mutualisé uniquement) : W&B peut créer automatiquement un bucket chez votre fournisseur de cloud lorsque vous créez l’équipe. Cette option est prise en charge pour CoreWeave, AWS et Google Cloud.
  • Une fois l’équipe créée, son stockage ne peut plus être modifié.
  • Pour le BYOB au niveau de l’instance, reportez-vous plutôt à BYOB au niveau de l’instance.
  • Si vous prévoyez de configurer le stockage CoreWeave pour l’équipe, consultez les prérequis CoreWeave et contactez l’assistance pour vérifier que votre bucket est correctement configuré dans CoreWeave et valider la configuration de votre équipe, car les détails de stockage ne peuvent pas être modifiés après la création de l’équipe.
Sélectionnez votre type de déploiement pour continuer.
  1. Cloud dédié : vous devez fournir le chemin du bucket à l’équipe en charge de votre compte afin qu’elle puisse l’ajouter aux stockages de fichiers pris en charge par votre instance avant de suivre le reste de cette procédure pour utiliser le bucket de stockage pour une équipe.
  2. Autogéré : vous devez ajouter le chemin du bucket à votre variable d’environnement GORILLA_SUPPORTED_FILE_STORES, puis redémarrer W&B avant de suivre le reste de cette procédure pour utiliser le bucket de stockage pour une équipe.
  3. Connectez-vous à W&B avec un utilisateur ayant le rôle admin, cliquez sur l’icône en haut à gauche pour ouvrir le panneau de navigation de gauche, puis cliquez sur Créer une équipe pour collaborer.
  4. Indiquez un nom pour l’équipe.
  5. Définissez Type de stockage sur Stockage externe.
    Pour utiliser le stockage au niveau de l’instance comme stockage d’équipe (qu’il soit interne ou externe), laissez Type de stockage défini sur Interne, même si le bucket au niveau de l’instance est configuré pour BYOB. Pour utiliser un stockage externe distinct pour l’équipe, définissez Type de stockage de l’équipe sur Externe et configurez les détails du bucket à l’étape suivante.
  6. Cliquez sur Emplacement du bucket.
  7. Pour utiliser un bucket existant, sélectionnez-le dans la liste. Pour ajouter un nouveau bucket, cliquez sur Ajouter un bucket en bas, puis renseignez ses détails. Cliquez sur Cloud provider et sélectionnez CoreWeave, AWS, Google Cloud ou Azure. Si le cloud provider n’apparaît pas dans la liste, assurez-vous d’avoir suivi les instructions de Provision your bucket pour ajouter le chemin du bucket aux stockages de fichiers pris en charge par votre instance. Si le fournisseur de stockage n’apparaît toujours pas, contactez l’assistance.
  8. Spécifiez les détails du bucket.
    • Pour CoreWeave, indiquez uniquement le nom du bucket.
    • Pour Amazon S3, Google Cloud ou un stockage compatible S3, indiquez le chemin complet du bucket que vous avez déterminé précédemment.
    • Pour Azure sur W&B Dedicated ou Self-Managed, définissez Account name sur le compte Azure et Container name sur le conteneur de blob storage Azure.
    • Si vous le souhaitez, indiquez des paramètres de connexion supplémentaires :
      • Le cas échéant, définissez Path sur le sous-chemin du bucket.
      • CoreWeave : aucun paramètre de connexion supplémentaire n’est requis.
      • AWS : définissez KMS key ARN sur l’ARN de votre clé de chiffrement KMS.
      • Google Cloud : aucun paramètre de connexion supplémentaire n’est requis.
      • Azure : spécifiez des valeurs pour Tenant ID et Managed Identity Client ID. Ces champs sont obligatoires, sauf si vous avez configuré la chaîne de connexion avec GORILLA_SUPPORTED_FILE_STORES.
  9. Cliquez sur Créer l’équipe.
Si W&B rencontre des erreurs lors de l’accès au bucket ou détecte des paramètres non valides, une erreur ou un avertissement s’affiche en bas de la page. Sinon, l’équipe est créée.

​
Dépannage

​
CoreWeave

Cette section vous aide à résoudre les problèmes de connexion à CoreWeave AI Object Storage.
  • Erreurs de connexion
    • Vérifiez que votre instance W&B peut se connecter aux endpoints réseau de CoreWeave.
    • CoreWeave utilise des chemins de type virtual-hosted, où le nom du bucket est un sous-domaine au début du chemin. Par exemple : cw://bucket-name.cwobject.com est correct, tandis que cw://cwobject.com/bucket-name/ ne l’est pas.
    • Les noms de bucket ne doivent pas contenir de caractères de soulignement (_) ni d’autres caractères incompatibles avec les règles DNS.
    • Les noms de bucket doivent être globalement uniques parmi les emplacements CoreWeave.
    • Les noms de bucket ne doivent pas commencer par cw- ou vip-, qui sont des préfixes réservés.
  • Échecs de validation CORS
    • Une politique CORS est requise. CoreWeave est compatible S3 ; pour plus de détails sur le CORS, voir Configuring cross-origin resource sharing (CORS) dans la documentation AWS.
    • AllowedMethods doit inclure les méthodes GET, PUT et HEAD.
    • ExposeHeaders doit inclure ETag.
    • Les domaines du front-end W&B doivent être inclus dans AllowedOrigins de la politique CORS. Les exemples de politiques CORS fournis sur cette page incluent tous les domaines à l’aide de *.
  • Problèmes d’endpoint LOTA
    • La connexion aux endpoints LOTA à partir de W&B n’est pas encore prise en charge. Pour exprimer votre intérêt, contactez l’assistance.
  • Erreurs de clé d’accès et d’autorisations
    • Vérifiez que votre clé d’accès API CoreWeave n’a pas expiré.
    • Vérifiez que votre clé d’accès API CoreWeave et votre clé secrète disposent des autorisations suffisantes GetObject, PutObject, DeleteObject, ListBucket. Les exemples de cette page répondent à cette exigence. Référez-vous à Create and Manage Access Keys dans la documentation CoreWeave.

​
Google Cloud

Cette section vous aide à résoudre les problèmes de connexion à Google Cloud Storage.