Together AI est une plateforme de création et de finetuning de modèles d’IA générative, axée sur les LLM open source, qui permet aux clients d’affiner et d’héberger leurs propres modèles.
La prise en charge complète du package Python together par Weave est actuellement en cours de développement
together par Weave soit actuellement en cours de développement, Together prend en charge la compatibilité du SDK OpenAI (documentation), que Weave détecte et intègre automatiquement.
Pour utiliser l’API Together, remplacez simplement la clé API par votre clé API Together, base_url par https://api.together.xyz/v1 et le modèle par l’un de leurs modèles de chat.
import os
import openai
import weave
weave.init('together-weave')
system_content = "You are a travel agent. Be descriptive and helpful."
user_content = "Tell me about San Francisco"
client = openai.OpenAI(
api_key=os.environ.get("TOGETHER_API_KEY"),
base_url="https://api.together.xyz/v1",
)
chat_completion = client.chat.completions.create(
model="mistralai/Mixtral-8x7B-Instruct-v0.1",
messages=[
{"role": "system", "content": system_content},
{"role": "user", "content": user_content},
],
temperature=0.7,
max_tokens=1024,
)
response = chat_completion.choices[0].message.content
print("Together response:\n", response)
