W&B Inference

Accédez à des modèles fondamentaux open source via W&B Weave et une API compatible avec OpenAI

W&B Inference vous donne accès à des modèles fondamentaux open source de premier plan via W&B Weave et une API compatible avec OpenAI. Vous pouvez :

• Créer des applications d’IA et des agents sans vous inscrire chez un fournisseur d’hébergement ni héberger vous-même un modèle
• Essayer les modèles pris en charge dans le W&B Weave Playground

Avec Weave, vous pouvez tracer, évaluer, surveiller et améliorer vos applications basées sur W&B Inference.

​

Démarrage rapide

Voici un exemple simple en Python :

import openai

client = openai.OpenAI(
    # L'URL de base personnalisée pointe vers W&B Inference
    base_url='https://api.inference.wandb.ai/v1',

    # Créez une clé API sur https://wandb.ai/settings
    api_key="<your-api-key>",

    # Facultatif : équipe et projet pour le suivi de l'utilisation
    project="<your-team>/<your-project>",
)

response = client.chat.completions.create(
    model="meta-llama/Llama-3.1-8B-Instruct",
    messages=[
        {"role": "system", "content": "You are a helpful assistant."},
        {"role": "user", "content": "Tell me a joke."}
    ],
)

print(response.choices[0].message.content)

​

Étapes suivantes

1. Consultez les modèles disponibles ainsi que les informations d’utilisation et les limites
2. Configurez votre compte à l’aide des prérequis
3. Utilisez le service via l’API ou l’UI
4. Essayez les exemples d’utilisation

​

Détails sur l’utilisation

Pour en savoir plus sur la tarification, les limites d’utilisation et les crédits, voir Informations sur l’utilisation et les limites.