에이전트 병렬화

멀티코어 또는 멀티 GPU 머신에서 W&B Sweep 에이전트를 병렬로 실행합니다.

멀티코어 또는 멀티 GPU 머신에서 W&B Sweep 에이전트를 병렬로 실행할 수 있습니다. 시작하기 전에 W&B Sweep이 초기화되어 있는지 확인하세요. W&B Sweep을 초기화하는 방법은 Sweeps 초기화를 참조하세요.

​

멀티 CPU 머신에서 병렬화하기

사용 사례에 따라 다음 탭을 전환하면서 CLI 또는 Jupyter Notebook 내에서 W&B Sweep 에이전트를 병렬화하는 방법을 확인하세요.

CLI

터미널에서 wandb agent 명령을 사용하여 스윕 에이전트를 여러 CPU에 걸쳐 병렬화합니다. 스윕을 초기화했을 때 반환된 스윕 ID를 입력합니다.

1. 로컬 머신에서 두 개 이상의 터미널 창을 엽니다.
2. 아래 코드 스니펫을 복사하여 붙여넣은 뒤 sweep_id를 스윕 ID로 바꿉니다:

wandb agent sweep_id

Jupyter Notebook

W&B Python SDK 라이브러리를 사용하여 Jupyter Notebook 내에서 W&B Sweep 에이전트를 여러 CPU에 걸쳐 병렬화할 수 있습니다. 스윕을 초기화했을 때 반환된 스윕 ID를 가지고 있어야 합니다. 추가로, 스윕이 실행할 함수의 이름을 function 파라미터에 전달합니다:

1. 두 개 이상의 Jupyter Notebook을 엽니다.
2. 여러 Jupyter Notebook에 W&B Sweep ID를 복사하여 붙여넣어 W&B Sweep을 병렬화합니다. 예를 들어, 스윕 ID를 sweep_id라는 변수에 저장했고 함수 이름이 function_name인 경우, 여러 Jupyter Notebook에 다음 코드 스니펫을 붙여넣어 스윕을 병렬화할 수 있습니다:

wandb.agent(sweep_id=sweep_id, function=function_name)

​

멀티-GPU 머신에서 병렬화하기

CUDA Toolkit을 사용하는 터미널에서 여러 GPU에 걸쳐 W&B Sweep 에이전트를 병렬로 실행하려면 다음 절차를 따르세요:

1. 로컬 머신에서 둘 이상의 터미널 창을 엽니다.
2. W&B Sweep 작업(wandb agent)을 시작할 때 CUDA_VISIBLE_DEVICES로 사용할 GPU 인스턴스를 지정합니다. 사용하려는 GPU 인스턴스에 해당하는 정수 값을 CUDA_VISIBLE_DEVICES에 할당합니다.

예를 들어, 로컬 머신에 NVIDIA GPU가 두 개 있다고 가정합니다. 터미널 창을 열고 CUDA_VISIBLE_DEVICES를 0으로 설정합니다(CUDA_VISIBLE_DEVICES=0). 다음 예시에서 sweep_ID는 W&B Sweep을 초기화할 때 반환된 W&B Sweep ID로 바꾸세요:

터미널 1

CUDA_VISIBLE_DEVICES=0 wandb agent sweep_ID

두 번째 터미널 창을 엽니다. CUDA_VISIBLE_DEVICES를 1(CUDA_VISIBLE_DEVICES=1)로 설정합니다. 다음 코드 스니펫에 나오는 sweep_ID에 동일한 W&B Sweep ID를 붙여넣습니다:

터미널 2

CUDA_VISIBLE_DEVICES=1 wandb agent sweep_ID