OpenRouter

자동 Weave 인테그레이션과 함께 여러 LLM을 위한 OpenRouter의 통합 인터페이스 사용

Openrouter.ai는 여러 LLM을 위한 통합 인터페이스로, OpenAI GPT-4, Anthropic Claude, Google Gemini와 같은 기반 모델뿐만 아니라 LLama-3, Mixtral 및 더 많은 오픈 소스 모델을 지원합니다. 일부 모델은 무료로도 제공됩니다.

OpenRouter는 REST API와 OpenAI SDK 호환성(문서)을 제공하며, Weave는 이를 자동으로 감지해 인테그레이션합니다(자세한 내용은 OpenRouter 빠른 시작을 참고하세요).

OpenAI SDK 코드를 OpenRouter로 전환하려면, API 키를 OpenRouter API 키로 바꾸고, base_url을 https://openrouter.ai/api/v1로 설정한 다음, 모델을 OpenRouter에서 제공하는 chat models 중 하나로 지정하세요. weave.init()을 호출할 때 트레이스에 사용할 프로젝트 이름을 지정하세요. 지정하지 않으면 기본 entity가 사용됩니다. 기본 entity를 찾거나 업데이트하려면 W&B Models 문서의 User Settings를 참고하세요.

import os
import openai
import weave

weave.init('openrouter-weave')

system_content = "You are a travel agent. Be descriptive and helpful."
user_content = "Tell me about San Francisco"

client = openai.OpenAI(
    api_key=os.environ.get("OPENROUTER_API_KEY"),
    base_url="https://openrouter.ai/api/v1",
)
chat_completion = client.chat.completions.create(
    extra_headers={
    "HTTP-Referer": $YOUR_SITE_URL, # 선택 사항, openrouter.ai 순위에 앱을 포함하려면 사용합니다.
    "X-Title": $YOUR_APP_NAME, # 선택 사항. openrouter.ai 순위에 표시됩니다.
    },
    model="meta-llama/llama-3.1-8b-instruct:free",
    messages=[
        {"role": "system", "content": system_content},
        {"role": "user", "content": user_content},
    ],
    temperature=0.7,
    max_tokens=1024,
)
response = chat_completion.choices[0].message.content
print("모델 응답:\n", response)

이것은 시작하기 위한 간단한 예제에 불과합니다. 보다 복잡한 사용 사례에서 Weave를 자신의 함수에 인테그레이션하는 방법에 대한 자세한 내용은 OpenAI 가이드를 참고하세요.