Démarrer un agent de balayage

Démarrez ou arrêtez un agent de balayage W&B sur une ou plusieurs machines.

Démarrez un balayage sur un ou plusieurs agents, sur une ou plusieurs machines. Les agents de balayage utilisent la configuration de balayage définie lorsque vous initialisez un balayage pour explorer différentes combinaisons d’hyperparamètres. W&B crée un nouveau run pour chaque combinaison d’hyperparamètres essayée par l’agent de balayage.

Voir Gérer les balayages pour savoir comment mettre en pause, reprendre, arrêter ou annuler un balayage.

Avant de continuer, assurez-vous de :

• Configurer votre script d’entraînement pour créer et suivre des combinaisons d’hyperparamètres avec W&B. Pour plus d’informations, voir Ajouter W&B à votre code.
• Avoir défini un fichier de configuration pour votre balayage.

Les extraits de code suivants montrent comment démarrer un agent avec la CLI et dans un notebook Jupyter ou un script Python. Pour les deux méthodes, fournissez l’ID du balayage que W&B renvoie lorsque vous initialisez le balayage. L’ID du balayage se présente sous la forme suivante :

entity/project/sweep_ID

Où :

• entity : votre nom d’utilisateur W&B ou le nom de votre équipe.
• project : le nom du projet dans lequel vous souhaitez que W&B stocke la sortie du run. Si le projet n’est pas spécifié, W&B place le run dans un projet appelé “Uncategorized”.
• sweep_ID : l’ID unique pseudo-aléatoire généré par W&B.

CLI

Utilisez la commande wandb agent pour démarrer un balayage. Indiquez l’ID du balayage renvoyé par W&B lorsque vous avez initialisé le balayage.

Copiez-collez l’extrait de code ci-dessous et remplacez sweep_id par votre ID du balayage :

wandb agent sweep_id

Pour un arrêt propre lorsque vous interrompez l’agent (par exemple avec Ctrl+C), utilisez wandb agent --forward-signals sweep_id afin que le run en cours reçoive le signal et puisse s’arrêter correctement. Voir Signal handling and sweep runs pour plus de détails.

Script Python ou notebook

Utilisez wandb.agent() pour démarrer un balayage. Indiquez l’ID du balayage renvoyé par W&B lorsque vous avez initialisé le balayage, ainsi que le nom de la fonction qui sert de point d’entrée à votre script d’entraînement.

Copiez-collez l’extrait de code ci-dessous et remplacez <sweep_id> par votre ID du balayage et <function_name> par le nom de votre fonction d’entraînement :

wandb.agent(sweep_id="<sweep_id>", function="<function_name>")

Le transfert des signaux de l’agent vers le run d’entraînement est uniquement pris en charge lorsque vous utilisez la CLI (wandb agent --forward-signals). Il n’est pas pris en charge pour wandb.agent() en Python, car la fonction d’entraînement s’exécute dans un thread, et non dans un processus enfant. Voir Signal handling and sweep runs pour plus de détails.

Voir l’onglet Script Python ou notebook dans Add W&B to your code pour un exemple de configuration de votre script d’entraînement si vous utilisez cette méthode.

Multiprocessing

Vous devez encapsuler vos appels wandb.agent() et wandb.sweep() dans if __name__ == '__main__': si vous utilisez multiprocessing de la bibliothèque standard Python ou le package pytorch.multiprocessing de PyTorch. Par exemple :

if __name__ == '__main__':
    wandb.agent(sweep_id="<sweep_id>", function="<function>", count="<count>")

Encapsuler votre code selon cette convention garantit qu’il n’est exécuté que lorsque le script est lancé directement, et non lorsqu’il est importé comme module dans un processus worker.

Voir Python standard library multiprocessing ou PyTorch multiprocessing pour plus d’informations sur le multiprocessing. Voir https://realpython.com/if-name-main-python/ pour plus d’informations sur la convention if __name__ == '__main__':.

​

Limiter le nombre de runs qu’un agent de balayage tente

Les recherches aléatoires et bayésiennes s’exécutent indéfiniment. Vous devez arrêter le processus depuis la ligne de commande, dans votre script Python ou dans l’interface utilisateur de Sweeps.

Spécifiez le nombre de runs qu’un agent de balayage doit tenter. Les extraits de code suivants montrent comment définir un nombre maximal de W&B Runs avec la CLI et dans un notebook Jupyter ou un script Python.

CLI

Commencez par initialiser votre balayage avec la commande wandb sweep. Pour plus d’informations, voir Initialiser les balayages.

wandb sweep config.yaml

Ensuite, passez une valeur entière à l’indicateur count pour définir le nombre maximal de runs à tenter.

NUM=10
SWEEPID="dtzl1o7u"
wandb agent --count $NUM $SWEEPID

Script Python ou notebook

Commencez par initialiser votre balayage. Pour plus d’informations, voir Initialiser les balayages.

sweep_id = wandb.sweep(sweep_config)

Ensuite, démarrez le job de balayage. Fournissez l’ID du balayage généré lors de l’initialisation du balayage. Passez une valeur entière au paramètre count pour définir le nombre maximal de runs à tenter.

sweep_id, count = "dtzl1o7u", 10
wandb.agent(sweep_id, count=count)

Si vous démarrez un nouveau run après la fin de l’agent de balayage, dans le même script ou notebook, vous devez appeler wandb.teardown() avant de démarrer ce nouveau run.