Evaluations에서 동적 Leaderboard 생성하기

동적 Leaderboard를 사용하면 evaluation 내에서 바로 Leaderboard 뷰를 설정, 사용자 지정, 저장 및 업데이트할 수 있습니다.

Weave Evaluations를 사용할 때, 실험 결과를 Leaderboard 형태로 시각화하고 사용자 지정할 수 있습니다.

저장된 Leaderboard 뷰는 동적으로 업데이트됩니다:

• 새로운 evaluation run이 추가될 때
• 그리고 결과가 저장된 필터와 일치할 때

Leaderboard는 수동으로 다시 설정할 필요 없이 자동으로 업데이트되어, 해당 run들을 포함하게 됩니다.

이를 통해 실험의 진행에 따라 함께 발전하는 지속적인 Leaderboard 뷰로 활용할 수 있습니다.

​

Leaderboard에서 Evaluation 결과 시각화하기

프로젝트에 Weave Evaluation 데이터가 있는 경우, Evaluation 테이블을 사용해서 필터링된 결과 하위 집합을 기반으로 Weave Leaderboard 뷰를 빠르게 생성할 수 있습니다.

Weave Leaderboard를 생성하려면:

1. wandb.ai로 이동합니다.
2. Weave 사이드바 메뉴에서 Evaluations를 클릭합니다.
3. 비교하려는 모델, 데이터셋, run만 남도록 Evaluation 테이블에 필터를 적용합니다.
4. evaluation table toolbar에서 Visualize를 클릭합니다.
   Weave는 테이블에서 현재 필터링된 데이터만 사용하여 Leaderboard 패널을 자동으로 생성합니다.
5. Leaderboard 패널 헤더에서 Configure를 클릭하여 Edit Leaderboard 패널을 엽니다.
   Edit Leaderboard 패널에서는 모델, 데이터셋, 스코어러, 메트릭의 표시 방식을 세밀하게 제어할 수 있습니다.

아래는 필터링된 Evaluation 테이블이 Leaderboard로 시각화되는 모습과, 생성된 Leaderboard를 구성하는 위치를 보여줍니다.

​

Leaderboard 요소의 표시 여부와 사용자 지정 이름 설정

다음은 네 개의 설정 탭(Models, Datasets, Scorers, Metrics)이 있는 Edit Leaderboard 패널의 예시입니다.

Edit Leaderboard 패널에서 다음 작업을 수행할 수 있습니다:

• 표시 활성화/비활성화
  Leaderboard에 표시할 모델, 데이터셋, 스코어러, 메트릭을 표시 여부를 체크/해제하여 선택합니다.

• 모델, 데이터셋, 스코어러 이름 변경
  보기 편한 이름을 지정합니다(예: 모델 run의 이름을 GPT-4로 바꾸거나 데이터셋을 JokesV1으로 변경).

  이름을 변경한 항목은:

  • Leaderboard에 즉시 반영되며
  • 여전히 클릭 가능해서 사이드 패널에서 해당 원본 객체를 열 수 있고
  • Leaderboard 뷰가 사용되는 모든 위치에 자동으로 반영됩니다

이를 통해 기본 객체를 변경하지 않고도 사람이 읽기 쉬운 의미 있는 이름으로 실험을 더 쉽게 비교할 수 있습니다.

​

Leaderboard 메트릭 동작 및 색상 설정

Edit Leaderboard 패널에서 각 메트릭에 대해 다음 중 어떤 기준을 사용할지 설정할 수 있습니다:

• 값이 클수록 좋음, 또는
• 값이 작을수록 좋음

이 설정은 Leaderboard에서 색상이 표시되는 방식에 직접적인 영향을 줍니다:

• 초록색은 더 나은 값을 강조 표시합니다.
• 빨간색은 더 나쁜 값을 강조 표시합니다.
• “값이 클수록 좋음”과 “값이 작을수록 좋음”을 전환하면 색상이 자동으로 반전됩니다.

이렇게 하면 정확도, 지연 시간, 에러율처럼 서로 다른 유형의 메트릭에서도 시각적 신호가 항상 올바르게 유지됩니다.

​

리더보드 뷰 저장 및 재사용

Edit Leaderboard 패널에서 Save를 클릭해 사용자 지정한 리더보드를 재사용 가능한 뷰로 저장할 수 있습니다.

저장된 리더보드 뷰에는 다음이 포함됩니다:

• 선택한 모델, 데이터셋, 스코어러, 메트릭
• 변경된 표시 레이블 이름
• 메트릭 방향 설정(값이 클수록/작을수록 더 좋은지)
• 적용된 필터

​

저장된 뷰 전환하기

저장된 뷰를 열려면 Evaluations 페이지 제목 옆에 있는 메뉴 아이콘(☰) 을 클릭합니다. 다음 작업을 수행할 수 있습니다:

• 전체 데이터셋을 보려면 기본 뷰로 돌아갑니다.
• 저장된 뷰를 다시 열어 모든 사용자 지정 내용을 즉시 복원합니다.

저장된 뷰를 다시 열면, 변경한 이름과 메트릭 설정이 모두 그대로 유지됩니다.