エージェントを並列実行する

マルチコアまたはマルチ GPU マシン上で W&B Sweep エージェントを並列実行します。

マルチコアまたはマルチ GPU マシン上で W&B Sweep エージェントを並列実行します。作業を始める前に、W&B Sweep が初期化済みであることを確認してください。W&B Sweep の初期化方法の詳細については、Sweeps を初期化する を参照してください。

​

マルチCPUマシンで並列化する

ユースケースに応じて、次のタブを参照し、CLI または Jupyter Notebook 内で W&B Sweep エージェントを並列化する方法を確認してください。

CLI

ターミナルで wandb agent コマンドを使用して、スイープエージェントを複数の CPU 上で並列実行します。スイープを初期化したときに返されたスイープ ID を指定します。

1. ローカルマシンで 2 つ以上のターミナルウィンドウを開きます。
2. 以下のコードスニペットをコピー＆ペーストし、sweep_id を自分のスイープ ID に置き換えます:

wandb agent sweep_id

Jupyter Notebook

W&B Python SDK を使用して、Jupyter Notebook 内で W&B Sweep エージェントを複数の CPU 上で並列実行します。スイープを初期化したときに返されたスイープ ID を用意してください。加えて、function パラメータにはスイープが実行する関数名を指定します:

1. 複数の Jupyter Notebook を開きます。
2. 複数の Jupyter Notebook 上で同じ W&B Sweep ID をコピー＆ペーストして、W&B Sweep を並列化します。たとえば、スイープ ID を sweep_id という変数に保存しており、関数名が function_name の場合、以下のコードスニペットを複数の Jupyter Notebook に貼り付けることでスイープを並列実行できます:

wandb.agent(sweep_id=sweep_id, function=function_name)

​

複数 GPU マシンで並列実行する

CUDA Toolkit を使用してターミナルから複数の GPU 上で W&B Sweep エージェントを並列実行するには、次の手順に従います。

1. ローカルマシンで 2 つ以上のターミナルウィンドウを開きます。
2. W&B Sweep ジョブ（wandb agent）を開始するときに、CUDA_VISIBLE_DEVICES を使って利用する GPU インスタンスを指定します。使用する GPU インスタンスに対応する整数値を CUDA_VISIBLE_DEVICES に設定します。

たとえば、ローカルマシンに NVIDIA GPU が 2 枚あるとします。ターミナルウィンドウを 1 つ開き、CUDA_VISIBLE_DEVICES を 0（CUDA_VISIBLE_DEVICES=0）に設定します。以降の例に出てくる sweep_ID を、W&B Sweep を初期化したときに返される W&B Sweep ID に置き換えてください。

Terminal 1

CUDA_VISIBLE_DEVICES=0 wandb agent sweep_ID

2 つ目のターミナルウィンドウを開きます。CUDA_VISIBLE_DEVICES を 1（CUDA_VISIBLE_DEVICES=1）に設定します。次のコードスニペットで sweep_ID に指定されているものと同じ W&B スイープ ID を貼り付けます。

ターミナル 2

CUDA_VISIBLE_DEVICES=1 wandb agent sweep_ID