자동화 이벤트 및 스코프

이 기능은 Pro 또는 Enterprise 요금제에서만 사용할 수 있습니다.

자동화는 프로젝트 또는 레지스트리 내에서 특정 이벤트가 발생하면 시작될 수 있습니다. 이 페이지에서는 각 범위에서 자동화를 트리거할 수 있는 이벤트를 설명합니다. 자동화에 대해 더 알아보려면 Automations 소개나 자동화 생성을 참고하세요.

​

레지스트리

이 섹션에서는 Registry 자동화의 범위와 이벤트를 설명합니다.

​

범위

Registry 자동화는 특정 Registry 내의 모든 컬렉션에서 발생하는 이벤트를 모니터링하며, 이후에追加되는 컬렉션도 포함합니다.

​

이벤트

Registry 자동화는 다음 이벤트를 모니터링할 수 있습니다:

• 새 버전이 컬렉션에 연결됨: 레지스트리에 새 모델 또는 데이터셋이 추가될 때 이를 테스트하고 검증합니다.
• 아티팩트 별칭이 추가됨: 새 아티팩트 버전에 특정 별칭이 적용되었을 때 워크플로의 특정 단계를 트리거합니다. 예를 들어 production 별칭이 적용되면 모델을 배포합니다.

​

프로젝트

이 섹션에서는 프로젝트에서 자동화의 범위(scope)와 이벤트를 설명합니다.

​

범위

프로젝트 수준 자동화는 프로젝트 내 어떤 컬렉션에서 발생하는 이벤트든 모니터링합니다. 지정한 이벤트에 따라 자동화가 적용되는 범위를 더 세밀하게 제한할 수 있습니다.

​

아티팩트 이벤트

이 섹션에서는 아티팩트와 관련되어 자동화를 트리거할 수 있는 이벤트를 설명합니다.

• 아티팩트에 새 버전이 추가됨: 아티팩트의 각 버전에 반복 작업을 적용합니다. 예를 들어, 새로운 데이터셋 아티팩트 버전이 생성될 때 트레이닝 작업을 시작할 수 있습니다.
• 아티팩트 별칭(alias)이 추가됨: 프로젝트의 새로운 아티팩트 버전에, 지정한 Alias regex와 일치하는 별칭이 적용될 때 워크플로의 특정 단계를 트리거합니다. 예를 들어, 아티팩트에 test-set-quality-check 별칭이 적용될 때 일련의 다운스트림 처리 단계를 실행하거나, 새로운 아티팩트 버전에 latest 별칭이 추가될 때마다 워크플로를 실행할 수 있습니다. 동일 시점에는 하나의 아티팩트 버전만 특정 별칭을 가질 수 있습니다.
• 아티팩트 태그가 추가됨: 프로젝트의 아티팩트 버전에, 지정한 Tag regex와 일치하는 태그가 적용될 때 워크플로의 특정 단계를 트리거합니다. 예를 들어, ^europe.*를 지정하여 europe로 시작하는 문자열 태그가 아티팩트 버전에 추가될 때 지역(geo)별 워크플로를 트리거할 수 있습니다. 아티팩트 태그는 그룹화 및 필터링에 사용되며, 동일한 태그를 여러 아티팩트 버전에 동시에 부여할 수 있습니다.

​

Run events

자동화는 run 상태가 변경되거나 메트릭 값이 변경될 때 트리거될 수 있습니다.

​

run 상태 변경

• 현재 W&B Multi-tenant Cloud에서만 제공됩니다.
• Killed 상태의 run은 자동화를 트리거할 수 없습니다. 이 상태는 run이 관리자 권한을 가진 사용자에 의해 강제로 중지되었음을 나타냅니다.

run의 status가 Running, Finished 또는 Failed로 변경될 때 워크플로를 트리거합니다. 필요한 경우, 사용자 또는 run 이름 필터를 지정하여 자동화를 트리거할 수 있는 run을 추가로 제한할 수 있습니다.

run 상태는 전체 run의 속성이므로 Automations 페이지에서만 run 상태 자동화를 생성할 수 있으며, 워크스페이스에서는 생성할 수 없습니다.

​

Run 메트릭 변경

현재 W&B Multi-tenant Cloud에서만 제공됩니다.

메트릭으로 로깅된 값을 기준으로 워크플로우를 트리거합니다. 메트릭은 run 히스토리에 기록된 메트릭일 수도 있고, CPU 사용률 백분율을 추적하는 cpu 같은 시스템 메트릭일 수도 있습니다. W&B는 시스템 메트릭을 15초마다 자동으로 로깅합니다.

프로젝트의 Automations 탭이나 워크스페이스의 라인 플롯 패널(line plot panel)에서 run 메트릭 자동화를 생성할 수 있습니다.

run 메트릭 자동화를 설정하려면 메트릭 값을 지정한 임계값(threshold)과 어떻게 비교할지 구성해야 합니다. 사용 가능한 옵션은 이벤트 유형과 지정한 필터에 따라 달라집니다.

필요하다면, 사용자 또는 run 이름 필터를 지정하여 자동화를 트리거할 수 있는 run을 더 제한할 수 있습니다.

임계값

Run metrics threshold met 이벤트의 경우 다음을 설정합니다:

1. 고려할, 가장 최근에 로깅된 값들의 윈도우 크기(기본값은 5).
2. 윈도우 내에서 Average, Min, Max 값 중 무엇을 평가할지.
3. 사용할 비교 방식:
   • Above
   • Above or equal to
   • Below
   • Below or equal to
   • Not equal to
   • Equal to

예를 들어, 평균 accuracy 가 .6 보다 클 때 자동화를 트리거할 수 있습니다.

변경 임계값

Run metrics change threshold met 이벤트의 경우 자동화는 시작해야 할지 여부를 확인하기 위해 두 개의 값 “윈도우”를 사용합니다:

• 고려할, 최근에 로깅된 값들의 현재 윈도우 (기본값 10)
• 고려할, 최근에 로깅된 값들의 이전 윈도우 (기본값 50)

현재 윈도우와 이전 윈도우는 연속된 구간이며 서로 겹치지 않습니다.

자동화를 생성하려면 다음을 구성합니다:

1. 로깅된 값들의 현재 윈도우 (기본값 10)
2. 로깅된 값들의 이전 윈도우 (기본값 50)
3. 값을 상대값 또는 절대값으로 평가할지 여부 (기본값은 Relative)
4. 수행할 비교:
   • 최소한 이만큼 증가
   • 최소한 이만큼 감소
   • 최소한 이만큼 증가 또는 감소

예를 들어, 평균 loss가 최소한 .25만큼 감소할 때 자동화를 트리거하도록 설정할 수 있습니다.

​

Run metrics z-score change

현재 W&B Multi-tenant Cloud에서만 제공됩니다.

W&B는 메트릭의 z-score(표준 점수)가 지정한 임계값을 초과할 때 자동화를 트리거할 수 있습니다. z-score는 프로젝트에서 구성 가능한 run 윈도우(기본값은 30개 run) 내에서, 해당 메트릭 값이 평균으로부터 몇 개의 표준편차만큼 떨어져 있는지를 측정합니다.

z-score를 이벤트 트리거로 사용하려면 Run metrics z-score threshold met 이벤트를 선택합니다.

z-score 기반 자동화를 사용하면, 모델이나 트레이닝 프로세스가 변화하면서 절대적인 임계값이 달라지는 상황에서도, 절대값이 아닌 통계적 기준을 통해 이례적인 성능을 파악하고 팀에 알릴 수 있습니다.

run 메트릭 z-score 자동화는 프로젝트의 Automations 탭 또는 Workspace의 선 그래프 패널에서 직접 생성할 수 있습니다.

z-score 자동화를 생성하려면 다음을 설정합니다:

1. 목표 z-score 임계값(양의 부동소수점 값, 예: 2.0)
2. 평균값을 결정하는 기록된 값의 윈도우 크기(기본값 30)
3. 비교 방식:
   • Above (성능이 이례적으로 높을 때 트리거)
   • Below (성능이 이례적으로 낮을 때 트리거)
   • Either above or below

예를 들어, accuracy의 z-score가 2보다 클 때 자동화를 트리거하도록 설정할 수 있습니다. 이는 해당 run이 프로젝트의 다른 run들에 비해 통계적으로 유의미하게 더 좋은 성능을 낸다는 의미입니다.

z-score 값 이해하기:

• z-score가 0이면 메트릭이 평균 수준입니다.
• z-score가 +2.0이면 메트릭이 평균보다 2 표준편차 위에 있습니다.
• z-score가 -2.0이면 메트릭이 평균보다 2 표준편차 아래에 있습니다.
• ±2를 벗어나는 값은 통계적으로 유의미한 이상치로 간주되는 경우가 많습니다.

​

run 필터

이 섹션에서는 자동화가 평가할 run을 어떻게 선택하는지 설명합니다.

• 기본적으로 프로젝트의 모든 run은 이벤트가 발생하면 자동화를 트리거합니다. 다음 필터 중 하나를 설정하여 자동화를 트리거하는 run을 제한할 수 있습니다:

  • 특정 사용자의 run으로 필터링: 지정한 사용자가 생성한 run만 포함합니다.
  • run 이름으로 필터링: 이름이 지정한 정규 표현식과 일치하는 run만 포함합니다.

  자세한 내용은 자동화 생성을 참조하세요.

• 각 run은 개별적으로 평가되며, 각각 자동화를 트리거할 수 있습니다.

• 각 run의 값은 별도의 윈도우에 넣어 임계값과 각각 비교합니다.

• 24시간 기간 동안 특정 자동화는 run당 최대 한 번만 실행됩니다.

​

다음 단계

• Slack 자동화 생성
• 웹훅 자동화 생성