이 페이지에 표시된 모든 코드 예시는 Python으로 작성되었습니다.
Google Colab에서 Hugging Face Hub와 Weave 사용해 보기
별도의 설정 없이 Hugging Face Hub와 Weave를 실험해 보고 싶나요? 여기에서 보여주는 코드 예시는 Google Colab의 Jupyter Notebook으로 바로 실행해 볼 수 있습니다.
huggingface_hub Python 라이브러리는 Hub에 호스팅된 모델에 대해 여러 서비스에서 추론을 실행할 수 있는 통합 인터페이스를 제공합니다. InferenceClient를 사용해 이들 모델을 호출할 수 있습니다.
Weave는 InferenceClient에 대한 트레이스를 자동으로 캡처합니다. 추적을 시작하려면 weave.init()을(를) 호출한 다음 평소와 같이 라이브러리를 사용하면 됩니다.
-
Weave에서
huggingface_hub를 사용하기 전에 필요한 라이브러리를 설치하거나 최신 버전으로 업그레이드해야 합니다. 다음 명령은 huggingface_hub와 weave를 설치하거나, 이미 설치되어 있다면 최신 버전으로 업그레이드하며, 설치 로그 출력도 최소화합니다.
pip install -U huggingface_hub weave -qqq
-
Hugging Face Hub의 모델로 추론을 사용하려면 User Access Token을 설정해야 합니다. 토큰은 Hugging Face Hub Settings 페이지에서 설정하거나, 코드에서 프로그래밍 방식으로 설정할 수 있습니다. 다음 코드 예시는 사용자에게
HUGGINGFACE_TOKEN 입력을 요청하고, 해당 토큰을 환경 변수로 설정합니다.
import os
import getpass
os.environ["HUGGINGFACE_TOKEN"] = getpass.getpass("Hugging Face Hub 토큰을 입력하세요: ")
개발 및 운영 환경에서 언어 모델 애플리케이션의 트레이스를 중앙화된 위치에 저장하는 것은 필수적입니다. 이러한 트레이스는 디버깅에 도움이 되고, 애플리케이션을 개선하기 위한 유용한 데이터셋 역할을 합니다.
Weave는 InferenceClient에 대한 트레이스를 자동으로 캡처합니다. 트레이싱을 시작하려면 weave.init()을 호출해 Weave를 초기화한 다음, 평소처럼 라이브러리를 사용하면 됩니다.
다음 예시는 Weave를 사용해 Hugging Face Hub로 추론 호출을 로그로 기록하는 방법을 보여줍니다.
import weave
from huggingface_hub import InferenceClient
# Weave 초기화
weave.init(project_name="quickstart-huggingface")
# Hugging Face Inference Client 초기화
huggingface_client = InferenceClient(
api_key=os.environ.get("HUGGINGFACE_TOKEN")
)
# Llama-3.2-11B-Vision-Instruct 모델로 Hugging Face Hub에 채팅 완성 추론 호출
image_url = "https://cdn.britannica.com/61/93061-050-99147DCE/Statue-of-Liberty-Island-New-York-Bay.jpg"
response = huggingface_client.chat_completion(
model="meta-llama/Llama-3.2-11B-Vision-Instruct",
messages=[
{
"role": "user",
"content": [
{"type": "image_url", "image_url": {"url": image_url}},
{"type": "text", "text": "이 이미지를 한 문장으로 설명하세요."},
],
}
],
max_tokens=500,
seed=42,
)
Weave는 또한 UI에서 해당 호출을 채팅 뷰로 표시하여, 모델과의 전체 채팅 기록을 보여줍니다.
애플리케이션에서 데이터 흐름을 더 깊이 이해하려면 @weave.op을 사용해 함수 호출을 추적할 수 있습니다. 이렇게 하면 입력, 출력, 실행 로직이 캡처되어 디버깅과 성능 분석에 도움이 됩니다.
여러 op를 중첩하면 추적된 함수들로 구성된 구조화된 트리를 만들 수 있습니다. Weave는 코드 버전을 자동으로 관리하여 Git에 커밋하기 전이라도 실험 과정에서의 중간 상태를 보존합니다.
추적을 시작하려면 추적하려는 함수에 @weave.op 데코레이터를 추가하세요.
다음 예시에서 Weave는 generate_image, check_image_correctness, generate_image_and_check_correctness 세 함수를 추적합니다. 이 함수들은 이미지를 생성하고, 해당 이미지가 주어진 프롬프트와 일치하는지 검증합니다.
import base64
from PIL import Image
def encode_image(pil_image):
import io
buffer = io.BytesIO()
pil_image.save(buffer, format="JPEG")
buffer.seek(0)
encoded_image = base64.b64encode(buffer.read()).decode("utf-8")
return f"data:image/jpeg;base64,{encoded_image}"
@weave.op
def generate_image(prompt: str):
return huggingface_client.text_to_image(
prompt=prompt,
model="black-forest-labs/FLUX.1-schnell",
num_inference_steps=4,
)
@weave.op
def check_image_correctness(image: Image.Image, image_generation_prompt: str):
return huggingface_client.chat_completion(
model="meta-llama/Llama-3.2-11B-Vision-Instruct",
messages=[
{
"role": "user",
"content": [
{"type": "image_url", "image_url": {"url": encode_image(image)}},
{
"type": "text",
"text": f"Is this image correct for the prompt: {image_generation_prompt}? Answer with only one word: yes or no",
},
],
}
],
max_tokens=500,
seed=42,
).choices[0].message.content
@weave.op
def generate_image_and_check_correctness(prompt: str):
image = generate_image(prompt)
return {
"image": image,
"is_correct": check_image_correctness(image, prompt),
}
response = generate_image_and_check_correctness("A cute puppy")
@weave.op으로 래핑된 모든 함수 호출을 로깅하므로 Weave UI에서 실행 세부 정보를 분석할 수 있습니다.
Weave는 함수 실행을 캡처하고 시각화하여 애플리케이션 내 데이터 흐름과 로직을 더 잘 이해하는 데 도움을 줍니다.Model 클래스는 시스템 프롬프트와 모델 설정처럼 실험 관련 세부 정보를 기록하고 구성하여, 서로 다른 실험 반복(iteration)을 쉽게 비교할 수 있도록 도와줍니다.
코드를 버전 관리하고 입력/출력을 기록하는 것뿐 아니라, Model은 애플리케이션 동작을 제어하는 구조화된 파라미터를 저장합니다. 이를 통해 어떤 설정이 최상의 결과를 냈는지 더 쉽게 추적할 수 있습니다. 또한 Weave Model을 Weave Serve 및 Evaluations와 통합하여 추가 인사이트를 얻을 수 있습니다.
아래 예시는 여행 추천을 위한 CityVisitRecommender 모델을 정의하는 방법을 보여 줍니다. 파라미터를 수정할 때마다 새 버전이 생성되므로, 실험을 손쉽게 수행할 수 있습니다.
import rich
class CityVisitRecommender(weave.Model):
model: str
temperature: float = 0.7
max_tokens: int = 500
seed: int = 42
@weave.op()
def predict(self, city: str) -> str:
return huggingface_client.chat_completion(
model=self.model,
messages=[
{
"role": "system",
"content": "You are a helpful assistant meant to suggest places to visit in a city",
},
{"role": "user", "content": city},
],
max_tokens=self.max_tokens,
temperature=self.temperature,
seed=self.seed,
).choices[0].message.content
city_visit_recommender = CityVisitRecommender(
model="meta-llama/Llama-3.2-11B-Vision-Instruct",
temperature=0.7,
max_tokens=500,
seed=42,
)
rich.print(city_visit_recommender.predict("New York City"))
rich.print(city_visit_recommender.predict("Paris"))
플랫폼
W&B Models
W&B Weave
W&B Inference
W&B 트레이닝
릴리스 노트
