이 페이지에서는 스윕을 정의하고 초기화한 후 실행하는 방법을 설명합니다. 전체 과정은 네 가지 주요 단계로 구성됩니다.
- 트레이닝 코드를 설정합니다
- 스윕 설정으로 탐색 공간을 정의합니다
- 스윕을 초기화합니다
- 스윕 에이전트를 시작합니다
다음 코드를 Jupyter Notebook 또는 Python 스크립트에 복사하여 붙여넣습니다:
# W&B Python 라이브러리를 가져오고 W&B에 로그인
import wandb
# 1: 목적/트레이닝 함수 정의
def objective(config):
score = config.x**3 + config.y
return score
def main():
with wandb.init(project="my-first-sweep") as run:
score = objective(run.config)
run.log({"score": score})
# 2: 탐색 공간 정의
sweep_configuration = {
"method": "random",
"metric": {"goal": "minimize", "name": "score"},
"parameters": {
"x": {"max": 0.1, "min": 0.01},
"y": {"values": [1, 3, 7]},
},
}
# 3: 스윕 시작
sweep_id = wandb.sweep(sweep=sweep_configuration, project="my-first-sweep")
wandb.agent(sweep_id, function=main, count=10)
다음 섹션에서는 코드 예제의 각 단계를 하나씩 설명합니다.
wandb.Run.config에서 하이퍼파라미터 값을 받아 이를 사용해 모델을 트레이닝하고, 메트릭을 반환하는 트레이닝 함수를 정의합니다.
원한다면 W&B Run의 출력이 저장될 프로젝트 이름을 지정할 수 있습니다 (wandb.init()의 project 파라미터). 프로젝트를 지정하지 않으면 run은 “Uncategorized” 프로젝트에 저장됩니다.
스윕과 run은 모두 동일한 프로젝트에 속해야 합니다. 따라서 W&B를 초기화할 때 지정하는 프로젝트 이름은 스윕을 초기화할 때 지정하는 프로젝트 이름과 일치해야 합니다.
# 1: 목적/트레이닝 함수 정의
def objective(config):
score = config.x**3 + config.y
return score
def main():
with wandb.init(project="my-first-sweep") as run:
score = objective(run.config)
run.log({"score": score})
사전에 스윕할 하이퍼파라미터를 지정합니다. 설정 옵션은 스윕 설정 정의를 참고하세요.
다음 예시는 랜덤 탐색('method':'random')을 사용하는 스윕 설정을 보여 줍니다. 이 스윕은 설정에 나열된 값 목록에서 배치 크기, 에포크, 학습률에 대한 값들의 무작위 조합을 선택합니다.
W&B는 "goal": "minimize"가 설정된 경우 metric 키에 지정된 메트릭을 최소화합니다. 이 경우 W&B는 메트릭 score("name": "score")를 최소화하도록 최적화합니다.
# 2: 탐색 공간 정의
sweep_configuration = {
"method": "random",
"metric": {"goal": "minimize", "name": "score"},
"parameters": {
"x": {"max": 0.1, "min": 0.01},
"y": {"values": [1, 3, 7]},
},
}
W&B는 클라우드(standard) 또는 로컬(local) 환경에서 하나 이상의 머신에 걸쳐 스윕을 관리하기 위해 스윕 컨트롤러(Sweep Controller) 를 사용합니다. 스윕 컨트롤러에 대한 자세한 내용은 Search and stop algorithms locally를 참조하세요.
스윕을 초기화하면 스윕 식별 번호가 반환됩니다:
sweep_id = wandb.sweep(sweep=sweep_configuration, project="my-first-sweep")
스윕 초기화에 대해 더 자세히 알아보려면 Initialize sweeps를 참고하세요.
스윕을 시작하려면 wandb.agent() API를 호출하세요.
wandb.agent(sweep_id, function=main, count=10)
멀티프로세싱Python 표준 라이브러리의 multiprocessing 또는 PyTorch의 pytorch.multiprocessing 패키지를 사용하는 경우, wandb.agent()와 wandb.sweep() 호출을 반드시 if __name__ == '__main__':로 감싸야 합니다. 예를 들어 다음과 같습니다.if __name__ == '__main__':
wandb.agent(sweep_id="<sweep_id>", function="<function>", count="<count>")
이 관례로 코드를 감싸면 스크립트가 직접 실행될 때만 코드가 실행되고, 워커 프로세스에서 모듈로 임포트될 때는 실행되지 않도록 보장할 수 있습니다.멀티프로세싱에 대한 자세한 내용은 Python standard library multiprocessing 또는 PyTorch multiprocessing를 참조하십시오. if __name__ == '__main__': 관례에 대한 정보는 https://realpython.com/if-name-main-python/ 을 참조하십시오.
프로젝트를 열면 W&B App 대시보드에서 실시간 결과를 확인할 수 있습니다. 몇 번의 클릭만으로 parallel coordinates plots, parameter importance analyzes, 그리고 additional chart types와 같은 풍부한 대화형 차트를 만들 수 있습니다.
결과를 시각화하는 방법에 대한 자세한 내용은 Visualize sweep results를 참고하세요. 대시보드 예시는 이 샘플 Sweeps Project를 확인하세요.
터미널에서 Ctrl+C를 눌러 현재 run을 중지합니다. 한 번 더 누르면 에이전트가 종료됩니다.