메인 콘텐츠로 건너뛰기
이 기능은 Pro 또는 Enterprise 요금제에서만 사용할 수 있습니다.
이 페이지에서는 W&B의 자동화(automations) 에 대해 설명합니다. W&B에서 발생하는 이벤트를 기반으로, 자동화된 모델 테스트와 배포 같은 워크플로 단계를 트리거하도록 자동화를 생성할 수 있습니다. 예를 들어, 자동화는 새 버전이 생성되면 Slack 채널에 알림을 보내거나, 아티팩트에 production 별칭이 추가될 때 자동 테스트용 webhook을 트리거하거나, run의 loss가 허용 가능한 범위에 있을 때에만 검증 작업을 시작하도록 설정할 수 있습니다.

자동화 이벤트

Automation은 컬렉션, 프로젝트, 또는 레지스트리의 run 또는 아티팩트와 관련된 이벤트에 의해 트리거될 수 있습니다. 자동화는 다음과 같은 시점에 시작될 수 있습니다:
  • run 메트릭이 정의된 절대 또는 상대 임계값을 만족할 때. 예를 들어, run의 loss가 0.01보다 작을 때 또는 run의 accuracy가 5% 향상되었을 때 트리거합니다.
  • run의 z-점수(표준 점수)가 평균에서 지정된 값만큼 벗어날 때. z-점수가 0이면 결과가 평균과 일치함을 나타냅니다. z-점수가 +2이면 결과가 평균보다 표준편차의 2배만큼 높음을 의미하고, z-점수가 -2이면 결과가 평균보다 표준편차의 2배만큼 낮음을 의미합니다.
  • 프로젝트 또는 레지스트리에서 이벤트가 발생할 때. 예를 들어, 모델 아티팩트의 새 버전이 생성되었을 때 또는 production 별칭이 모델 아티팩트에 추가되었을 때 트리거합니다.
자세한 내용은 Automation events and scopes를 참조하세요.

자동화 작업

이벤트로 인해 자동화가 실행되면 다음 작업 중 하나를 수행할 수 있습니다:

Slack 알림

트리거된 이벤트에 대한 세부 정보가 포함된 메시지를 Slack 채널로 보냅니다. 이 메시지에는 이벤트 요약과 W&B에서 자세한 내용을 볼 수 있는 링크가 포함됩니다.

Webhook

트리거된 이벤트에 대한 정보를 담은 JSON 페이로드와 함께 webhook URL을 호출합니다. 이를 통해 CI/CD 파이프라인, 모델 배포 서비스, 커스텀 워크플로우와 같은 외부 시스템과 인테그레이션할 수 있습니다. webhook 요청의 본문은 JSON으로 직렬화할 수 있는 임의의 페이로드를 사용할 수 있습니다. 구현 방법에 대한 자세한 내용은 다음을 참조하세요:

자동화 동작 방식

자동화를 생성하려면 다음을 수행합니다:
  1. 필요한 경우, 자동화에서 사용하는 액세스 토큰, 비밀번호, 민감한 설정 정보 등 민감한 문자열을 위해 secrets를 설정합니다. 시크릿은 Team Settings에서 정의합니다. 시크릿은 주로 웹훅 자동화에서 사용되며, 자격 증명이나 토큰을 일반 텍스트로 노출하거나 웹훅 페이로드에 하드코딩하지 않고 외부 웹훅 서비스로 안전하게 전달하는 데 사용됩니다.
  2. 팀 수준의 webhook 또는 Slack 인테그레이션을 설정하여 W&B가 Slack에 메시지를 보내거나 사용자를 대신해 webhook을 실행할 수 있도록 권한을 부여합니다. 단일 자동화 작업(웹훅 또는 Slack 알림)은 여러 자동화에서 재사용할 수 있습니다. 이러한 작업은 Team Settings에서 정의합니다.
  3. 프로젝트 또는 레지스트리에서 자동화를 생성합니다:
    1. 새 아티팩트 버전이 추가될 때와 같이 감시할 event를 정의합니다.
    2. 이벤트가 발생했을 때 수행할 동작(Slack 채널에 게시하거나 webhook을 실행하는 작업)을 정의합니다. webhook의 경우, 필요한 경우 액세스 토큰에 사용할 시크릿과 페이로드와 함께 전송할 시크릿을 지정합니다.

제한 사항

run 메트릭 자동화run 메트릭 z-score 변경 자동화는 현재 W&B Multi-tenant Cloud에서만 사용할 수 있습니다.

다음 단계