Evaluations 소개

W&B Weave에서 Evaluations를 사용하는 방법을 알아보세요

이 노트북은 대화형입니다. 로컬에서 실행하거나 아래 링크를 통해 열 수 있습니다:

• Google Colab에서 열기
• GitHub에서 소스 보기

​

🔑 필수 조건

Weave 평가를 실행하기 전에 다음 사항을 먼저 준비하세요.

1. W&B Weave SDK를 설치하고 API 키로 로그인합니다.
2. OpenAI SDK를 설치하고 API 키로 로그인합니다.
3. W&B 프로젝트를 초기화합니다.

# 의존성 설치 및 임포트
!pip install wandb weave openai -q

import os
from getpass import getpass

from openai import OpenAI
from pydantic import BaseModel

import weave

# 🔑 API 키 설정
# 이 셀을 실행하면 `getpass`를 통해 API 키를 입력하라는 메시지가 표시되며, 터미널에 입력 내용이 출력되지 않습니다.
#####
print("---")
print(
    "Create a W&B API key at: https://wandb.ai/settings#apikeys"
)
os.environ["WANDB_API_KEY"] = getpass("Enter your W&B API key: ")
print("---")
print("You can generate your OpenAI API key here: https://platform.openai.com/api-keys")
os.environ["OPENAI_API_KEY"] = getpass("Enter your OpenAI API key: ")
print("---")
#####

# 🏠 W&B 프로젝트 이름을 입력하세요
weave_client = weave.init("MY_PROJECT_NAME")  # 🐝 W&B 프로젝트 이름

​

🐝 첫 번째 평가 실행하기

다음 코드 예제는 Weave의 Model 및 Evaluation API를 사용해 LLM을 평가하는 방법을 보여줍니다. 먼저 weave.Model을 상속해 Weave 모델을 정의하고, 모델 이름과 프롬프트 형식을 지정한 뒤, @weave.op으로 추적되는 predict 메서드를 추가합니다. predict 메서드는 프롬프트를 OpenAI에 전송하고, Pydantic 스키마(FruitExtract)를 사용해 응답을 구조화된 출력으로 파싱합니다. 그런 다음 입력 문장과 기대되는 타깃으로 구성된 작은 평가 데이터셋을 생성합니다. 이어서 모델의 출력을 타깃 레이블과 비교하는 사용자 정의 스코어링 함수를 정의하고(이 함수도 @weave.op으로 추적), 마지막으로 데이터셋과 스코어러를 지정해 모든 것을 weave.Evaluation에 감싼 뒤, evaluate()를 호출하여 평가 파이프라인을 비동기적으로 실행합니다.

# 1. Weave 모델 구성
class FruitExtract(BaseModel):
    fruit: str
    color: str
    flavor: str

class ExtractFruitsModel(weave.Model):
    model_name: str
    prompt_template: str

    @weave.op()
    def predict(self, sentence: str) -> dict:
        client = OpenAI()

        response = client.beta.chat.completions.parse(
            model=self.model_name,
            messages=[
                {
                    "role": "user",
                    "content": self.prompt_template.format(sentence=sentence),
                }
            ],
            response_format=FruitExtract,
        )
        result = response.choices[0].message.parsed
        return result

model = ExtractFruitsModel(
    name="gpt4o",
    model_name="gpt-4o",
    prompt_template='Extract fields ("fruit": <str>, "color": <str>, "flavor": <str>) as json, from the following text : {sentence}',
)

# 2. 샘플 수집
sentences = [
    "There are many fruits that were found on the recently discovered planet Goocrux. There are neoskizzles that grow there, which are purple and taste like candy.",
    "Pounits are a bright green color and are more savory than sweet.",
    "Finally, there are fruits called glowls, which have a very sour and bitter taste which is acidic and caustic, and a pale orange tinge to them.",
]
labels = [
    {"fruit": "neoskizzles", "color": "purple", "flavor": "candy"},
    {"fruit": "pounits", "color": "green", "flavor": "savory"},
    {"fruit": "glowls", "color": "orange", "flavor": "sour, bitter"},
]
examples = [
    {"id": "0", "sentence": sentences[0], "target": labels[0]},
    {"id": "1", "sentence": sentences[1], "target": labels[1]},
    {"id": "2", "sentence": sentences[2], "target": labels[2]},
]

# 3. 평가를 위한 채점 함수 정의
@weave.op()
def fruit_name_score(target: dict, output: FruitExtract) -> dict:
    target_flavors = [f.strip().lower() for f in target["flavor"].split(",")]
    output_flavors = [f.strip().lower() for f in output.flavor.split(",")]
    # 출력 flavor에 target flavor가 하나라도 포함되어 있는지 확인
    matches = any(tf in of for tf in target_flavors for of in output_flavors)
    return {"correct": matches}

# 4. 평가 실행
evaluation = weave.Evaluation(
    name="fruit_eval",
    dataset=examples,
    scorers=[fruit_name_score],
)
await evaluation.evaluate(model)

​

🚀 더 많은 예제가 필요하신가요?

• end-to-end 평가 파이프라인을 구축하는 방법을 알아보세요.
• RAG 애플리케이션을 직접 구축하며 평가하는 방법을 알아보세요.