プラットフォーム
W&B Models
W&B Weave
W&B 推論
W&B 学習
リリースノート
val_loss）との線形相関です。相関が高いということは、ハイパーパラメータの値が高いときにメトリクスの値も高くなり、その逆も成り立つことを意味します。相関は参照すべき優れたメトリクスですが、入力間の二次の相互作用を捉えられず、スケールが大きく異なる入力同士を比較すると煩雑になることがあります。
そのため W&B は importance（重要度） メトリクスも計算します。W&B はハイパーパラメータを入力、メトリクスをターゲット出力としてランダムフォレストを学習し、そのランダムフォレストの特徴量の重要度を算出します。
この手法のアイデアは、ランダムフォレストの特徴量の重要度を用いてハイパーパラメータ空間を探索する手法を開拓した Fast.ai の Jeremy Howard 氏との議論から着想を得たものです。この分析の背景にある考え方をさらに学ぶには、この講義（およびこれらのノート）を確認することを W&B は強く推奨します。
ハイパーパラメータ重要度パネルは、高い相関を持つハイパーパラメータ同士の複雑な相互作用を解きほぐします。これにより、モデルの性能を予測するうえでどのハイパーパラメータがもっとも重要かを示すことで、ハイパーパラメータ探索をより細かく調整するのに役立ちます。
ハイパーパラメータ重要度パネルの作成
- W&B のプロジェクトに移動します。
- Add panels ボタンをクリックします。
- CHARTS ドロップダウンを展開し、Parallel coordinates を選択します。
空のパネルが表示された場合は、runs がグループ化されていないことを確認してください
ハイパーパラメータ重要度パネルの読み方
val_loss）に対して、これらの config のパラメータの特徴量重要度と相関が表示されます。
重要度
W&B は、線形モデルではなくツリーベースのモデルを使って重要度を計算します。ツリーベースのモデルのほうが、カテゴリカルデータや正規化されていないデータの両方をより適切に扱えるためです。
epochs, learning_rate, batch_size および weight_decay がかなり重要だったことがわかります。
相関
val_loss との間に有意な関係があるかどうかという問いに答えます（この例では「はい」です）。相関係数は -1 から 1 の範囲をとり、正の値は正の線形相関、負の値は負の線形相関、0 は相関がないことを表します。一般的に、どちらの方向でも 0.7 を超える値は強い相関を示します。
このグラフを使って、メトリクスとより高い相関を持つ値をさらに詳しく調べることができます（この場合、rmsprop や nadam よりも stochastic gradient descent や adam を選ぶかもしれません）。あるいは、より多くのエポックで学習することも検討できます。
- 相関は関連の証拠を示すものであり、必ずしも因果関係を示すものではありません。
- 相関は外れ値に敏感であり、特に試したハイパーパラメータのサンプル数が少ない場合、強い関係を中程度の関係に見せてしまう可能性があります。
- 最後に、相関はハイパーパラメータとメトリクスの間の線形な関係のみを捉えます。強い多項式的な関係があっても、相関では捉えられません。