Hugging Face

Colab에서 실행해 보기

원활한 W&B 인테그레이션을 통해 Hugging Face 모델의 성능을 빠르게 시각화하세요.

하이퍼파라미터, 출력 메트릭, GPU 사용률 등의 시스템 지표를 여러 모델 간에 비교하세요.

​

왜 W&B를 사용해야 하나요?

• 통합 대시보드: 모든 모델 메트릭과 예측을 한곳에 모아 관리하는 중앙 저장소
• 경량: Hugging Face와 인테그레이션할 때 코드 변경이 필요 없음
• 높은 접근성: 개인 및 학술 팀에 무료 제공
• 보안성: 모든 프로젝트는 기본적으로 비공개
• 신뢰성: OpenAI, Toyota, Lyft 등 여러 머신러닝 팀이 사용하고 있음

W&B를 머신러닝 모델용 GitHub라고 생각해 보세요. 모든 머신러닝 실험을 비공개로 호스팅되는 대시보드에 저장할 수 있습니다. 스크립트를 어디에서 실행하든, 모든 모델 버전이 저장된다는 확신을 가지고 빠르게 실험할 수 있습니다.

W&B의 경량 인테그레이션은 모든 Python 스크립트와 함께 동작하며, 무료 W&B 계정에 가입하기만 하면 모델을 추적하고 시각화하기 시작할 수 있습니다.

Hugging Face Transformers 레포지토리에서는 Trainer를 설정하여, 각 로깅 단계마다 트레이닝 및 평가 메트릭을 W&B에 자동으로 로깅하도록 해두었습니다.

인테그레이션이 어떻게 동작하는지 자세한 내용은 여기에서 확인하세요: Hugging Face + W&B Report.

​

설치, 임포트 및 로그인

이 튜토리얼을 위해 Hugging Face와 W&B 라이브러리, 그리고 GLUE 데이터셋과 트레이닝 스크립트를 설치합니다.

• Hugging Face Transformers: 자연어 처리용 모델과 데이터셋
• W&B: 실험 추적 및 시각화
• GLUE dataset: 자연어 이해 벤치마크 데이터셋
• GLUE script: 시퀀스 분류용 모델 트레이닝 스크립트

!pip install datasets wandb evaluate accelerate -qU
!wget https://raw.githubusercontent.com/huggingface/transformers/refs/heads/main/examples/pytorch/text-classification/run_glue.py

# run_glue.py 스크립트는 transformers dev 버전이 필요합니다
!pip install -q git+https://github.com/huggingface/transformers

계속하기 전에 무료 계정에 가입하세요.

​

API 키 입력하기

가입을 마쳤다면, 다음 셀을 실행한 뒤 링크를 클릭해서 API 키를 확인하고 이 노트북을 인증하세요.

import wandb
wandb.login()

원하는 경우 환경 변수를 설정해 W&B 로깅을 사용자 지정할 수 있습니다. Hugging Face 인테그레이션 가이드를 참고하세요.

# 선택 사항: 그래디언트와 파라미터 모두 기록
%env WANDB_WATCH=all

​

모델 학습

다음으로, 다운로드한 트레이닝 스크립트 run_glue.py를 실행하면 학습 과정이 자동으로 W&B 대시보드에 기록되는 것을 확인할 수 있습니다. 이 스크립트는 BERT를 Microsoft Research Paraphrase Corpus(두 문장이 의미적으로 동등한지 여부를 사람이 주석으로 표시해 둔 문장 쌍 데이터셋)로 파인튜닝합니다.

%env WANDB_PROJECT=huggingface-demo
%env TASK_NAME=MRPC

!python run_glue.py \
  --model_name_or_path bert-base-uncased \
  --task_name $TASK_NAME \
  --do_train \
  --do_eval \
  --max_seq_length 256 \
  --per_device_train_batch_size 32 \
  --learning_rate 2e-4 \
  --num_train_epochs 3 \
  --output_dir /tmp/$TASK_NAME/ \
  --overwrite_output_dir \
  --logging_steps 50

​

대시보드에서 결과 시각화하기

위에 출력된 링크를 클릭하거나 wandb.ai로 이동해 실시간으로 스트리밍되는 결과를 확인하세요. 브라우저에서 run을 확인할 수 있는 링크는 모든 의존성이 로드된 다음에 표시됩니다. 다음과 같은 출력을 찾으세요: “wandb: View run at [URL to your unique run]”

모델 성능 시각화 수십 개의 실험을 한눈에 비교하고, 흥미로운 결과를 확대해서 살펴보며, 고차원 데이터를 쉽게 시각화할 수 있습니다.

아키텍처 비교 다음은 BERT vs DistilBERT를 비교한 예시입니다. 자동 선 그래프 시각화를 통해 서로 다른 아키텍처가 트레이닝 전반에 걸쳐 평가 정확도에 어떤 영향을 미치는지 쉽게 확인할 수 있습니다.

​

기본값으로 핵심 정보를 손쉽게 추적하기

W&B는 각 실험마다 새로운 run을 저장합니다. 기본적으로 다음 정보가 자동으로 저장됩니다:

• 하이퍼파라미터: 모델 설정이 Config에 저장됩니다
• 모델 메트릭: 스트리밍되는 메트릭의 시계열 데이터가 Log에 저장됩니다
• 터미널 로그: 커맨드 라인 출력이 저장되며 별도 탭에서 확인할 수 있습니다
• 시스템 메트릭: GPU 및 CPU 사용량, 메모리, 온도 등

​

더 알아보기

• YouTube 동영상 가이드