Azure OpenAI 파인튜닝

W&B를 사용해 Azure OpenAI 모델을 파인튜닝하는 방법입니다.

​

소개

Microsoft Azure에서 W&B를 사용해 GPT-3.5 또는 GPT-4 모델을 파인튜닝하면, 메트릭을 자동으로 수집하고 W&B의 실험 추적 및 평가 도구를 통해 체계적인 평가를 수행함으로써 모델 성능을 추적·분석·개선할 수 있습니다.

​

사전 준비 사항

• 공식 Azure 문서에 따라 Azure OpenAI 서비스를 설정합니다.
• W&B 계정을 준비하고 API 키를 설정합니다.

​

워크플로우 개요

​

1. 파인튜닝 설정

• Azure OpenAI 요구 사항에 따라 트레이닝 데이터를 준비합니다.
• Azure OpenAI에서 파인튜닝 작업을 구성합니다.
• W&B는 파인튜닝 과정을 자동으로 추적하며, 메트릭과 하이퍼파라미터를 기록합니다.

​

2. 실험 추적

파인튜닝 중에 W&B는 다음을 기록합니다:

• 트레이닝 및 검증 메트릭
• 모델 하이퍼파라미터
• 리소스 사용량
• 트레이닝 아티팩트

​

3. 모델 평가

파인튜닝 후 W&B Weave를 사용해 다음을 수행하세요:

• 모델 출력을 기준 데이터셋과 비교해 평가합니다
• 서로 다른 파인튜닝 run 간 성능을 비교합니다
• 특정 테스트 케이스에서의 모델 동작을 분석합니다
• 모델 선택을 위한 데이터 기반 의사결정을 내립니다

​

실제 사례

• 의료 노트 생성 데모를 살펴보며 이 인테그레이션이 다음을 어떻게 가능하게 하는지 확인해 보세요.
  • 파인튜닝 실험을 체계적으로 추적
  • 도메인 특화 메트릭을 활용한 모델 평가
• 노트북 파인튜닝 인터랙티브 데모를 직접 진행해 보세요.

​

추가 자료

• Azure OpenAI W&B 인테그레이션 가이드
• Azure OpenAI 파인튜닝 설명서