fine-tuning Cohere

Effectuez le fine-tuning de modèles Cohere avec le suivi des expériences de W&B pour journaliser les métriques d’entraînement et surveiller les performances du modèle.

Avec W&B, vous pouvez journaliser les métriques de fine-tuning et la configuration de votre modèle Cohere afin d’analyser et de mieux comprendre les performances de vos modèles, puis de partager les résultats avec vos collègues.

Ce guide de Cohere contient un exemple complet montrant comment lancer un run de fine-tuning, et vous trouverez ici la documentation de l’API Cohere

Enregistrez les résultats de votre fine-tuning Cohere

Pour ajouter la journalisation du fine-tuning Cohere à votre espace de travail W&B :

1. Créez un WandbConfig avec votre clé API W&B, votre entity W&B et le nom du project. Créez une clé API sur https://wandb.ai/settings

2. Passez cette configuration à l’objet FinetunedModel, avec le nom de votre modèle, le jeu de données et les hyperparamètres, pour démarrer votre run de fine-tuning.

   from cohere.finetuning import WandbConfig, FinetunedModel
   
   # créez une configuration avec vos informations W&B
   wandb_ft_config = WandbConfig(
       api_key="<wandb_api_key>",
       entity="my-entity", # doit être une entité valide associée à la clé API fournie
       project="cohere-ft",
   )
   
   ...  # configurez vos jeux de données et hyperparamètres
   
   # démarrez un run de fine-tuning sur Cohere
   cmd_r_finetune = co.finetuning.create_finetuned_model(
     request=FinetunedModel(
       name="command-r-ft",
       settings=Settings(
         base_model=...
         dataset_id=...
         hyperparameters=...
         wandb=wandb_ft_config  # passez votre configuration W&B ici
       ),
     ),
   )
   

3. Consultez les métriques d’entraînement et de validation du fine-tuning de votre modèle, ainsi que les hyperparamètres, dans le projet W&B que vous avez créé.

   

Organiser les runs

Vos runs W&B sont automatiquement organisés et peuvent être filtrés/triés selon n’importe quel paramètre de configuration, comme le type de job, le modèle de base, le taux d’apprentissage ou tout autre hyperparamètre.

De plus, vous pouvez renommer vos runs, ajouter des notes ou créer des tags pour les regrouper.

Ressources

• Exemple de fine-tuning Cohere