実験設定を行う

Colab で試す run の config プロパティを使って、学習の設定を保存します:

ハイパーパラメータ
データセット名やモデルの種類などの入力設定
実験におけるその他の独立変数

wandb.Run.config プロパティを使うと、実験を簡単に分析でき、将来その実験を再現しやすくなります。W&B App では設定値ごとにグループ化したり、異なる W&B run の設定を比較したり、各学習設定が出力にどのような影響を与えるかを評価したりできます。config プロパティは、複数の辞書形式オブジェクトを組み合わせて構成できる、辞書のようなオブジェクトです。

出力メトリクスや損失、正解率などの従属変数を保存するには、wandb.Run.config ではなく wandb.Run.log() を使用してください。

設定は通常、学習スクリプトの冒頭で定義します。ただし、機械学習のワークフローはさまざまなので、学習スクリプトの最初に設定を定義する必要はありません。 config 変数名には、ピリオド（.）の代わりにハイフン（-）またはアンダースコア（_）を使用してください。スクリプト内で wandb.Run.config のルートより下のキーにアクセスする場合は、属性アクセス構文 config.key.value ではなく、辞書アクセス構文 ["key"]["value"] を使用してください。以下のセクションでは、Experiments の設定を定義する、いくつかの一般的なパターンについて説明します。

初期化時に設定を行う

スクリプトの冒頭で wandb.init() API を呼び出す際に辞書を渡すと、バックグラウンドプロセスが生成され、データが W&B の run として同期およびログ記録されます。次のコードスニペットは、設定値を保持する Python の辞書を定義する方法と、その辞書を W&B の run を初期化する際の引数として渡す方法を示しています。

import wandb

# 設定辞書オブジェクトを定義する
config = {
    "hidden_layer_sizes": [32, 64],
    "kernel_sizes": [3],
    "activation": "ReLU",
    "pool_sizes": [2],
    "dropout": 0.5,
    "num_classes": 10,
}

# W&B を初期化するときに設定辞書を渡す
with wandb.init(project="config_example", config=config) as run:
    ...

config としてネストした辞書を渡すと、W&B はキー名をドット区切りでフラット化します。 Python でほかの辞書にアクセスするのと同様に、その辞書から値を取得できます。

# キーをインデックス値として値にアクセスする
hidden_layer_sizes = run.config["hidden_layer_sizes"]
kernel_sizes = run.config["kernel_sizes"]
activation = run.config["activation"]

# Python 辞書の get() メソッド
hidden_layer_sizes = run.config.get("hidden_layer_sizes")
kernel_sizes = run.config.get("kernel_sizes")
activation = run.config.get("activation")

この Developer Guide およびサンプルコード全体を通して、設定値を個別の変数にコピーしています。これは必須の手順ではなく、可読性を高めるために行っています。

argparse を使って設定する

argparse オブジェクトを使って設定できます。argparse は argument parser（引数パーサー）の略で、Python 3.2 以降で利用できる標準ライブラリモジュールです。コマンドライン引数の柔軟性と機能を活用するスクリプトを、簡単に記述できるようにします。この方法は、コマンドラインから起動されるスクリプトの結果を追跡するのに役立ちます。次の Python スクリプトは、実験の設定（config）を定義および設定するための parser オブジェクトの定義方法を示しています。関数 train_one_epoch と evaluate_one_epoch は、このデモのために学習ループをシミュレートする目的で用意されています。

# config_experiment.py
import argparse
import random

import numpy as np
import wandb


# 学習と評価のデモコード
def train_one_epoch(epoch, lr, bs):
    acc = 0.25 + ((epoch / 30) + (random.random() / 10))
    loss = 0.2 + (1 - ((epoch - 1) / 10 + random.random() / 5))
    return acc, loss


def evaluate_one_epoch(epoch):
    acc = 0.1 + ((epoch / 20) + (random.random() / 10))
    loss = 0.25 + (1 - ((epoch - 1) / 10 + random.random() / 6))
    return acc, loss


def main(args):
    # W&B の run を開始する
    with wandb.init(project="config_example", config=args) as run:
        # config 辞書から値を取得し、可読性のために
        # 変数に格納する
        lr = run.config["learning_rate"]
        bs = run.config["batch_size"]
        epochs = run.config["epochs"]

        # 学習をシミュレートし、W&B に値をログする
        for epoch in np.arange(1, epochs):
            train_acc, train_loss = train_one_epoch(epoch, lr, bs)
            val_acc, val_loss = evaluate_one_epoch(epoch)

            run.log(
                {
                    "epoch": epoch,
                    "train_acc": train_acc,
                    "train_loss": train_loss,
                    "val_acc": val_acc,
                    "val_loss": val_loss,
                }
            )


if __name__ == "__main__":
    parser = argparse.ArgumentParser(
        formatter_class=argparse.ArgumentDefaultsHelpFormatter
    )

    parser.add_argument("-b", "--batch_size", type=int, default=32, help="バッチサイズ")
    parser.add_argument(
        "-e", "--epochs", type=int, default=50, help="学習エポック数"
    )
    parser.add_argument(
        "-lr", "--learning_rate", type=int, default=0.001, help="学習率"
    )

    args = parser.parse_args()
    main(args)

スクリプト全体で設定する

スクリプト全体を通して、config オブジェクトにさらにパラメータを追加できます。次のコードスニペットは、config オブジェクトに新しいキーと値のペアを追加する方法を示しています。

import wandb

# 設定辞書オブジェクトを定義する
config = {
    "hidden_layer_sizes": [32, 64],
    "kernel_sizes": [3],
    "activation": "ReLU",
    "pool_sizes": [2],
    "dropout": 0.5,
    "num_classes": 10,
}

# W&B を初期化するときに設定辞書を渡す
with wandb.init(project="config_example", config=config) as run:
    # W&B を初期化した後に設定を更新する
    run.config["dropout"] = 0.2
    run.config.epochs = 4
    run.config["batch_size"] = 32

一度に複数の値を更新できます。

run.config.update({"lr": 0.1, "channels": 16})

run が完了した後に設定を変更する

W&B Public API を使用して、完了した run の config を更新します。 API には、entity、project 名、および run の ID を指定する必要があります。これらの情報は Run オブジェクトまたは W&B App で確認できます。

with wandb.init() as run:
    ...

# 以下の値は、現在のスクリプトまたはノートブックから開始された場合はRunオブジェクトから取得するか、W&B App UIからコピーできます。
username = run.entity
project = run.project
run_id = run.id

# api.run() は wandb.init() とは異なる型のオブジェクトを返す点に注意してください。
api = wandb.Api()
api_run = api.run(f"{username}/{project}/{run_id}")
api_run.config["bar"] = 32
api_run.update()

`absl.FLAGS`

absl フラグを指定することもできます。

flags.DEFINE_string("model", None, "model to run")  # 名前, デフォルト, ヘルプ

run.config.update(flags.FLAGS)  # absl flagsをconfigに追加

ファイルベースの設定

run 用スクリプトと同じディレクトリに config-defaults.yaml という名前のファイルを配置すると、run がそのファイル内で定義されたキー値ペアを自動的に読み込み、wandb.Run.config に渡します。次のコードスニペットは、サンプルの config-defaults.yaml YAML ファイルを示します。

batch_size:
  desc: 各ミニバッチのサイズ
  value: 32

config-defaults.yaml から自動的に読み込まれるデフォルト値は、wandb.init の config 引数で別の値を指定することで上書きできます。例えば次のように指定します：

import wandb

# カスタム値を渡してconfig-defaults.yamlを上書きする
with wandb.init(config={"epochs": 200, "batch_size": 64}) as run:
    ...

config-defaults.yaml 以外の設定ファイルを読み込むには、コマンドライン引数 --configs を使用して、そのファイルへのパスを指定します。

python train.py --configs other-config.yaml

ファイルベース設定の使用例

run 用のメタデータを含む YAML ファイルがあり、さらに Python スクリプト内にハイパーパラメータの辞書があるとします。これらの両方をネストされた config オブジェクトに保存できます。

hyperparameter_defaults = dict(
    dropout=0.5,
    batch_size=100,
    learning_rate=0.001,
)

config_dictionary = dict(
    yaml=my_yaml_file,
    params=hyperparameter_defaults,
)

with wandb.init(config=config_dictionary) as run:
    ...

TensorFlow v1 フラグ

TensorFlow のフラグを直接 wandb.Run.config オブジェクトに渡すことができます。

with wandb.init() as run:
    run.config.epochs = 4

    flags = tf.app.flags
    flags.DEFINE_string("data_dir", "/tmp/data")
    flags.DEFINE_integer("batch_size", 128, "Batch size.")
    run.config.update(flags.FLAGS)  # tensorflow flagsをconfigに追加する

ガイド

インテグレーション

リファレンス

実験設定を行う