Weave Projects 관리

Weave Projects를 사용해 트레이스, 프롬프트, 평가, 모델, 대시보드와 같은 관련 자산을 체계적으로 관리합니다.

Weave Projects는 트레이스, 평가, 모델, 데이터셋 및 기타 Weave 자산을 포함한 관련 자산을 체계적으로 정리해 줍니다. Weave Projects를 사용하면 팀의 작업을 체계적으로 정리하고, 협업과 공유를 간소화하며, 시간이 지나면서 LLM 애플리케이션의 발전 과정을 추적할 수 있습니다.

​

프로젝트 리소스

프로젝트는 다음 리소스를 저장합니다:

Resource	Description
Traces	디버깅과 분석을 위해 입력, 출력, 지연 시간, 토큰 사용량을 캡처하는 개별 LLM 호출, 함수 실행, 애플리케이션 플로입니다. Traces를 참조하세요.
Evaluations	품질, 정확도 및 기타 메트릭을 측정하는 스코어링 함수를 사용해 모델 성능을 데이터셋과 비교한 테스트 결과입니다. Evaluations를 참조하세요.
Monitors	프로덕션 환경에서 시간 경과에 따른 품질 메트릭을 추적하기 위해 LLM-as-a-judge 스코어러로 일부 함수 호출을 자동으로 스코어링하는 백그라운드 프로세스입니다. Monitors를 참조하세요.
Leaderboards	서로 다른 evaluation run 전반에 걸쳐 모델 성능을 순위로 비교하여, 가장 성능이 좋은 설정을 식별하는 데 도움이 됩니다. Leaderboards를 참조하세요.
Threads	전체 사용자 상호 작용을 분석할 수 있도록 관련 호출을 공통 thread ID 아래에 묶는 멀티턴 대화 및 세션 기반 워크플로입니다. Threads를 참조하세요.
Assets	Assets 탭은 프로젝트에서 버전이 관리되는 객체를 저장하고 구성합니다: Models: 프롬프트, 파라미터, 설정을 캡처하고, 재현성과 비교를 위해 변경 사항을 자동으로 추적하는 버전 관리된 모델 정의입니다. Models를 참조하세요. Datasets: Weave 객체로 저장되며, 다운로드·탐색·evaluation 실행에 사용할 수 있는 테스트 예제 모음입니다. Datasets를 참조하세요. Prompts: 모델 설정에서 테스트하고 재사용할 수 있는 버전 관리된 시스템 프롬프트입니다. Prompts를 참조하세요. Scorers: 품질, 안전성 또는 커스텀 메트릭을 측정하기 위해 모델 입력과 출력을 평가하는 함수입니다. Scorers를 참조하세요. Ops: 호출을 생성하고 함수 변경 이력을 유지하는, @weave.op()으로 데코레이트된 자동 버전 관리·추적 함수입니다. Ops를 참조하세요. 기타 객체 및 메타데이터: 프로젝트 내에 저장된 추가 Weave 객체, 커스텀 타입, 관련 메타데이터입니다.

​

프로젝트 경로

Teams (Entities라고도 함)은 W&B 조직에서 프로젝트를 소유하고 관리합니다. 팀 이름과 프로젝트 이름이 합쳐져 W&B UI에서 해당 프로젝트로 가는 경로를 이룹니다. 코드에서도 이 경로를 사용해 Weave 리소스를 해당 프로젝트와 연결합니다.

예를 들어 팀 이름이 my-team이고 프로젝트 이름이 my-project인 경우, 프로젝트 경로는 다음과 같습니다:

my-team/my-project

코드에서 Weave를 초기화할 때 이 경로를 사용해 앱의 데이터를 해당 프로젝트와 연결합니다:

weave.init('my-team/my-project')

​

프로젝트 생성 및 찾기

W&B UI를 사용하거나 코드에서 새로운 프로젝트 경로를 설정해서 Weave 프로젝트를 생성할 수 있습니다.

W&B UI

W&B UI를 사용해 새 프로젝트를 생성하려면:

1. wandb.ai로 이동합니다.
2. New project를 선택합니다. 그러면 Create a new project 모달 대화 상자가 열립니다.
3. 모달에서 다음 필드를 설정합니다:
   • Team: 프로젝트를 연결할 기존 팀.
   • Name: 프로젝트 이름.
   • Project visibility: 프로젝트를 보고 편집할 수 있는 권한 범위.
   • Description: (선택 사항) 프로젝트의 목적을 추적하고 정리하는 데 도움이 되는 짧은 설명.
4. 필요한 필드를 설정한 후 Create project를 선택합니다. 그러면 프로젝트가 생성됩니다.

새로 만든 프로젝트를 찾으려면 왼쪽 상단의 Weights & Biases 로고를 선택해 Global navigation 메뉴를 엽니다. 이 메뉴에는 가장 최근 프로젝트와 속한 팀이 표시되어 있어 작업 컨텍스트를 빠르게 전환할 수 있습니다. 프로젝트를 선택하여 해당 프로젝트의 워크스페이스를 엽니다.

또는 오른쪽 상단의 이름 아래 메뉴에서 Profile을 열 수 있습니다. Projects 탭에는 자신의 모든 프로젝트가 나열됩니다.

새 프로젝트의 워크스페이스를 열면 UI에서 W&B Models와 W&B Weave 모두에 대한 퀵스타트를 제공합니다. 프로젝트의 툴바에는 각 제품을 위한 도구도 포함됩니다. 코드에서 Weave 데이터를 프로젝트에 연결하면 사이드 내비게이션에 Weave 도구만 표시되고 Weave 대시보드가 활성화됩니다.

Weave SDK

코드에서 직접 Weave 프로젝트를 생성하려면 weave.init()의 인수로 새로운 프로젝트 경로를 제공합니다:

import weave

weave.init('my-team/my-llm-app')

코드를 실행하면 Weave가 W&B 계정에 새 프로젝트를 생성하고 run에서 나오는 관련 데이터를 프로젝트로 업로드합니다. Weave는 또한 이 프로젝트를 Weave 프로젝트(W&B Models 프로젝트가 아님)로 설정하며, UI 사이드 내비게이션에는 Weave 도구만 표시됩니다.

​

UI에서 프로젝트 보기

Weave UI에서 프로젝트를 열려면:

1. wandb.ai로 이동합니다.
2. 좌측 상단의 Weights & Biases 로고를 클릭하여 Global navigation menu를 연 다음, Projects 사이드바에서 프로젝트를 선택합니다. 그러면 프로젝트의 개요 페이지가 열리며, 이미 해당 프로젝트에 트레이스를 로깅한 경우에는 Traces 페이지가 열립니다.
3. 개요 페이지에서 다음을 수행할 수 있습니다:
   • 프로젝트에 로깅된 트레이스 수, 프로젝트가 사용하는 스토리지 양 등 프로젝트 통계를 확인할 수 있습니다.
   • 사이드바를 사용해 트레이스, 평가 및 기타 리소스로 이동할 수 있습니다.
   • 최근에 로깅된 트레이스, 평가, 모델 및 데이터셋으로 이동할 수 있습니다.

​

프로젝트 삭제

W&B 계정에서 프로젝트를 삭제하려면:

1. wandb.ai로 이동합니다.
2. 사이드바의 Projects 목록에서 삭제할 프로젝트를 선택합니다. 그러면 프로젝트 개요 페이지가 열리거나, 해당 프로젝트에 이미 트레이스를 로깅한 경우 Traces 페이지가 열립니다.
3. 사이드 내비게이션에서 Project () 버튼을 선택하여, 아직 열려 있지 않다면 프로젝트 개요 페이지를 엽니다.
4. 점 세 개 메뉴()를 선택하고 목록에서 Delete Project를 선택합니다. 그러면 Delete project 모달 대화상자가 열립니다.
5. 모달에서 확인 필드에 프로젝트 이름을 입력하고 Delete를 클릭합니다. 그러면 해당 프로젝트가 W&B 계정에서 영구적으로 삭제됩니다.