Hugging Face

Visualisez et suivez les performances des modèles Hugging Face avec W&B, en enregistrant les hyperparamètres, les métriques et l’utilisation du GPU.

Visualisez rapidement les performances de votre modèle Hugging Face grâce à une intégration fluide avec W&B.

Comparez les hyperparamètres, les métriques de sortie et les statistiques système, comme l’utilisation du GPU, entre vos modèles.

​

Pourquoi utiliser W&B ?

• Tableau de bord unifié : dépôt central pour toutes les métriques et prédictions de votre modèle
• Léger : aucune modification du code n’est nécessaire pour intégrer Hugging Face
• Accessible : gratuit pour les particuliers et les équipes universitaires
• Sécurisé : tous les projets sont privés par défaut
• Fiable : utilisé par des équipes de machine learning chez OpenAI, Toyota, Lyft, et bien d’autres

Considérez W&B comme le GitHub des modèles de machine learning : enregistrez vos expériences de machine learning dans votre tableau de bord privé et hébergé. Expérimentez rapidement en ayant l’assurance que toutes les versions de vos modèles sont enregistrées, où que vous exécutiez vos scripts.

Les intégrations légères de W&B fonctionnent avec n’importe quel script Python, et il vous suffit de créer gratuitement un compte W&B pour commencer à suivre et visualiser vos modèles.

Dans le dépôt Transformers de Hugging Face, nous avons instrumenté le Trainer pour consigner automatiquement les métriques d’entraînement et d’évaluation dans W&B à chaque étape de logging.

Voici un aperçu détaillé du fonctionnement de l’intégration : Rapport Hugging Face + W&B.

​

Installer, importer et se connecter

Installez les bibliothèques Hugging Face et W&B, ainsi que le jeu de données GLUE et le script d’entraînement nécessaires pour ce tutoriel.

• Hugging Face Transformers: Modèles et jeux de données pour le traitement du langage naturel
• W&B: Suivi des expériences et visualisation
• GLUE dataset: Jeu de données de référence pour la compréhension du langage
• GLUE script: Script d’entraînement du modèle pour la classification de séquences

!pip install datasets wandb evaluate accelerate -qU
!wget https://raw.githubusercontent.com/huggingface/transformers/refs/heads/main/examples/pytorch/text-classification/run_glue.py

# le script run_glue.py nécessite transformers dev
!pip install -q git+https://github.com/huggingface/transformers

Avant de continuer, inscrivez-vous pour obtenir un compte gratuit.

​

Saisissez votre clé API

Une fois votre inscription terminée, exécutez la cellule suivante, puis cliquez sur le lien pour obtenir votre clé API et authentifier ce notebook.

import wandb
wandb.login()

Vous pouvez, si vous le souhaitez, définir des variables d’environnement pour personnaliser le logging de W&B. Voir le guide d’intégration Hugging Face.

# Facultatif : journaliser les gradients et les paramètres
%env WANDB_WATCH=all

​

Entraîner le modèle

Ensuite, exécutez le script d’entraînement téléchargé run_glue.py et constatez que l’entraînement est automatiquement suivi dans le tableau de bord W&B. Ce script effectue le fine-tuning de BERT sur le Microsoft Research Paraphrase Corpus — des paires de phrases avec des annotations humaines indiquant si elles sont sémantiquement équivalentes.

%env WANDB_PROJECT=huggingface-demo
%env TASK_NAME=MRPC

!python run_glue.py \
  --model_name_or_path bert-base-uncased \
  --task_name $TASK_NAME \
  --do_train \
  --do_eval \
  --max_seq_length 256 \
  --per_device_train_batch_size 32 \
  --learning_rate 2e-4 \
  --num_train_epochs 3 \
  --output_dir /tmp/$TASK_NAME/ \
  --overwrite_output_dir \
  --logging_steps 50

​

Visualisez les résultats dans le tableau de bord

Cliquez sur le lien affiché ci-dessus ou rendez-vous sur wandb.ai pour voir vos résultats s’afficher en direct. Le lien pour voir votre run dans le navigateur apparaîtra une fois toutes les dépendances chargées. Recherchez la sortie suivante : “wandb: View run at [URL to your unique run]”

Visualisez les performances du modèle Il est facile de parcourir des dizaines d’expériences, de zoomer sur les résultats intéressants et de visualiser des données à forte dimensionnalité.

Comparez les architectures Voici un exemple comparant BERT vs DistilBERT. Il est facile de voir comment différentes architectures influencent la précision de l’évaluation tout au long de l’entraînement grâce à des graphiques en courbes générés automatiquement.

​

Suivez automatiquement les informations essentielles

W&B enregistre un nouveau run pour chaque expérience. Voici les informations enregistrées par défaut :

• Hyperparamètres : les paramètres de votre modèle sont enregistrés dans Config
• Métriques du modèle : les séries temporelles de métriques reçues en continu sont enregistrées dans Log
• Journaux du terminal : les sorties de la ligne de commande sont enregistrées et disponibles dans un onglet
• Métriques système : utilisation du GPU et du CPU, mémoire, température, etc.

​

En savoir plus

• Guides pas à pas en vidéo sur YouTube