Découvrez lesquels de vos hyperparamètres sont les meilleurs prédicteurs et sont fortement corrélés à des valeurs souhaitables de vos métriques.
La corrélation est la corrélation linéaire entre l’hyperparamètre et la métrique choisie (dans ce cas, val_loss). Ainsi, une corrélation élevée signifie que lorsque l’hyperparamètre a une valeur plus élevée, la métrique prend elle aussi des valeurs plus élevées, et inversement. La corrélation est une excellente métrique à examiner, mais elle ne permet pas de capturer les interactions de second ordre entre les entrées, et la comparaison d’entrées dont les plages de valeurs diffèrent fortement peut vite devenir compliquée.
C’est pourquoi W&B calcule également une métrique d’importance. W&B entraîne une forêt aléatoire en utilisant les hyperparamètres comme entrées et la métrique comme variable cible, puis rapporte les valeurs d’importance des variables de cette forêt aléatoire.
L’idée de cette technique est née d’une conversation avec Jeremy Howard, pionnier de l’utilisation de l’importance des variables des forêts aléatoires pour explorer les espaces d’hyperparamètres chez Fast.ai. W&B vous recommande vivement de consulter cette conférence (ainsi que ces notes) pour mieux comprendre la motivation qui sous-tend cette analyse.
Le panneau d’importance des hyperparamètres démêle les interactions complexes entre des hyperparamètres fortement corrélés. Il vous aide ainsi à affiner vos recherches d’hyperparamètres en vous montrant lesquels comptent le plus pour prédire les performances du modèle.
Création d’un panneau d’importance des hyperparamètres
- Accédez à votre projet W&B.
- Cliquez sur le bouton Add panels.
- Développez le menu déroulant CHARTS, puis choisissez coordonnées parallèles.
Si un panneau vide s’affiche, assurez-vous que vos runs ne sont pas groupés.
Interpréter le panneau d’importance des hyperparamètres
val_loss dans ce cas).
La colonne d’importance indique dans quelle mesure chaque hyperparamètre a contribué à prédire la métrique choisie. Imaginez que vous commenciez à ajuster une multitude d’hyperparamètres et que vous utilisiez ce graphique pour repérer ceux qui méritent d’être explorés plus en détail. Les balayages suivants peuvent alors être limités aux hyperparamètres les plus importants, ce qui permet de trouver un meilleur modèle plus vite et à moindre coût.
W&B calcule les importances à l’aide d’un modèle basé sur des arbres plutôt que d’un modèle linéaire, car ces modèles tolèrent mieux à la fois les données catégorielles et les données non normalisées.
epochs, learning_rate, batch_size et weight_decay étaient relativement importants.
Les corrélations mettent en évidence les relations linéaires entre des hyperparamètres individuels et les valeurs de métriques. Elles permettent de déterminer s’il existe une relation significative entre l’utilisation d’un hyperparamètre, comme l’optimiseur SGD, et la val_loss (dans ce cas, la réponse est oui). Les valeurs de corrélation vont de -1 à 1 : les valeurs positives indiquent une corrélation linéaire positive, les valeurs négatives une corrélation linéaire négative, et une valeur de 0 indique l’absence de corrélation. En général, une valeur supérieure à 0,7, dans un sens comme dans l’autre, indique une forte corrélation.
Vous pouvez utiliser ce graphique pour explorer plus en détail les valeurs les plus corrélées à notre métrique (dans ce cas, vous pourriez choisir la descente de gradient stochastique ou adam plutôt que rmsprop ou nadam), ou entraîner le modèle sur davantage d’époques.
- les corrélations montrent une association, pas nécessairement un lien de causalité.
- les corrélations sont sensibles aux valeurs aberrantes, ce qui peut faire passer une relation forte à une relation modérée, en particulier si l’échantillon d’hyperparamètres testés est réduit.
- enfin, les corrélations ne capturent que les relations linéaires entre les hyperparamètres et les métriques. S’il existe une forte relation polynomiale, elle ne sera pas mise en évidence par les corrélations.
