Fine-tuning d’Azure OpenAI

Réalisez le Fine-tuning des modèles Azure OpenAI avec le suivi des expériences W&B afin de consigner les métriques, les hyperparamètres et la progression de l’entraînement.

​

Introduction

Le fine-tuning de modèles GPT-3.5 ou GPT-4 sur Microsoft Azure avec W&B vous permet de suivre, d’analyser et d’améliorer les performances des modèles en capturant automatiquement les métriques et en facilitant une évaluation systématique grâce aux outils de suivi des expériences et d’évaluation de W&B.

​

Prérequis

• Configurez le service Azure OpenAI en suivant la documentation officielle d’Azure.
• Configurez un compte W&B à l’aide d’une clé API.

​

Aperçu du flux de travail

​

1. Configuration du fine-tuning

• Préparez les données d’entraînement conformément aux exigences d’Azure OpenAI.
• Configurez le job de fine-tuning dans Azure OpenAI.
• W&B suit automatiquement le processus de fine-tuning et enregistre les métriques et les hyperparamètres.

​

2. Suivi des expériences

Lors du fine-tuning, W&B capture :

• Les métriques d’entraînement et de validation
• Les hyperparamètres du modèle
• L’utilisation des ressources
• Les Artifacts d’entraînement

​

3. Évaluation du modèle

Après le Fine-tuning, utilisez W&B Weave pour :

• Évaluer les résultats du modèle à l’aide de jeux de données de référence
• Comparer les performances entre différentes itérations de Fine-tuning
• Analyser le comportement du modèle sur des cas de test spécifiques
• Prendre des décisions fondées sur les données pour choisir le modèle

​

Exemple concret

• Explorez la démo de génération de notes médicales pour voir comment cette intégration facilite :
  • le suivi systématique des expériences de fine-tuning
  • l’évaluation du modèle à l’aide de métriques propres au domaine
• Parcourez une démo interactive de fine-tuning dans un notebook

​

Ressources supplémentaires

• Guide d’intégration W&B pour Azure OpenAI
• Documentation sur le Fine-tuning d’Azure OpenAI