Utiliser le Playground pour tester des prompts

Simplifiez l’itération sur les prompts et les réponses de LLM

Pendant une durée limitée, W&B Inference est inclus dans votre offre gratuite. W&B Inference vous donne accès à des modèles de fondation open source de premier plan via l’API et le Weave Playground.

• Documentation pour les développeurs
• Page produit

Évaluer les prompts et les réponses de LLM est complexe. Le Weave Playground est conçu pour simplifier l’itération sur les prompts et les réponses de LLM, et ainsi faciliter l’expérimentation avec différents modèles et prompts. Grâce à des fonctionnalités comme la modification des prompts, le réessai des messages et la comparaison de modèles, Playground vous aide à tester et à améliorer rapidement vos applications LLM. Playground prend actuellement en charge des modèles de fournisseurs tels qu’OpenAI, Anthropic et Google, ainsi que des fournisseurs personnalisés.

• Accès rapide : Ouvrez le ‘Playground’ depuis le menu latéral de Weave pour démarrer une nouvelle session, ou depuis la page Appel pour tester un projet existant.
• Contrôles des messages : Modifiez, réessayez ou supprimez des messages directement dans le chat.
• Messagerie flexible : Ajoutez de nouveaux messages comme entrées utilisateur ou système, puis envoyez-les au LLM.
• Paramètres personnalisables : Configurez votre fournisseur LLM préféré et ajustez les paramètres du modèle.
• Prise en charge de plusieurs LLM : Passez d’un modèle à l’autre, avec une gestion des clés API au niveau de l’équipe.
• Comparer les modèles : Comparez la manière dont différents modèles répondent aux prompts.
• Fournisseurs personnalisés : Testez des API endpoints compatibles OpenAI pour des modèles personnalisés.
• Modèles enregistrés : Créez et configurez un préréglage de modèle réutilisable pour votre flux de travail

Commencez avec le Playground pour optimiser vos interactions avec les LLM et rationaliser votre processus de prompt engineering ainsi que le développement d’applications LLM.

• Ajouter les identifiants et les informations du fournisseur
• Accéder au Playground
• Sélectionner un LLM
• Personnaliser les paramètres du Playground
• Contrôles des messages
• Comparer des LLM
• Fournisseurs personnalisés
• Modèles enregistrés

​

Ajouter les identifiants et informations du fournisseur

Avant de pouvoir utiliser Playground, vous devez ajouter les identifiants du fournisseur. Playground prend actuellement en charge des modèles de nombreux fournisseurs. Pour utiliser l’un des modèles disponibles, ajoutez les informations appropriées aux secrets de votre équipe dans les paramètres de W&B.

• Amazon Bedrock:
  • AWS_ACCESS_KEY_ID
  • AWS_SECRET_ACCESS_KEY
  • AWS_REGION_NAME
• Anthropic: ANTHROPIC_API_KEY
• Azure:
  • AZURE_API_KEY
  • AZURE_API_BASE
  • AZURE_API_VERSION
• Deepseek: DEEPSEEK_API_KEY
• Google: GEMINI_API_KEY
• Groq: GROQ_API_KEY
• Mistral: MISTRAL_API_KEY
• OpenAI: OPENAI_API_KEY
• X.AI: XAI_API_KEY

​

Accéder au Playground

Il existe deux façons d’accéder au Playground :

1. Ouvrir une nouvelle page Playground avec un prompt système simple : dans la barre latérale d’un projet Weave, sélectionnez Playground. Playground s’ouvre dans le même onglet.
2. Ouvrir Playground pour un Appel spécifique :
   1. Dans la barre latérale, sélectionnez l’onglet Traces. Une liste de traces s’affiche.
   2. Dans la liste des traces, cliquez sur le nom de l’Appel que vous souhaitez afficher. La page de détails de l’Appel s’ouvre.
   3. Cliquez sur Open chat in Playground. Playground s’ouvre dans un nouvel onglet.

​

Sélectionner un LLM

Vous pouvez changer de LLM à l’aide du menu déroulant Sélectionner un modèle dans l’en-tête du prompt (en haut du panneau principal du Playground). Les modèles disponibles auprès de différents fournisseurs sont répertoriés ci-dessous :

• Amazon Bedrock
• Anthropic
• Azure
• Deepseek
• Google
• Groq
• Mistral
• OpenAI
• X.AI

Les modèles disponibles dépendent des fournisseurs configurés pour votre équipe.

​

Personnaliser les paramètres du Playground

​

Ajuster les paramètres du LLM

Vous pouvez tester différentes valeurs de paramètres pour le modèle sélectionné. Pour ajuster les paramètres dans le playground, procédez comme suit :

1. Dans le en-tête du prompt (en haut du panneau principal), cliquez sur le bouton Chat settings () pour ouvrir le panneau Chat settings.
2. Dans le panneau Chat settings, ajustez les paramètres selon vos besoins. Vous pouvez également activer ou désactiver le suivi des appels Weave, et ajouter une fonction.
3. Les modifications sont appliquées automatiquement. Cliquez de nouveau sur Chat settings, ou sur le x dans l’angle supérieur droit, pour fermer le panneau. Le texte au survol du bouton Chat settings se met à jour pour afficher les paramètres que vous avez modifiés.

Si vous quittez la page, vos paramètres seront perdus. Pour enregistrer vos paramètres, enregistrez votre modèle. Si vous souhaitez annuler les paramètres modifiés et repartir de zéro, actualisez la page.

Le playground vous permet de générer plusieurs sorties pour une même entrée en définissant le nombre d’essais. La valeur par défaut est 1. Pour ajuster le nombre d’essais, ouvrez le panneau Chat settings et modifiez le paramètre Number of trials.

​

Ajouter une fonction

Vous pouvez tester comment différents modèles utilisent des fonctions en fonction des entrées reçues de l’utilisateur. Pour ajouter une fonction à tester dans Playground, dans le panneau Chat settings, cliquez sur + Add function. Suivez les instructions à l’écran pour définir la fonction et enregistrer vos modifications.

​

Options des messages

​

Zone de définition du prompt

La zone de définition du prompt vous permet de définir les instructions qui déterminent le comportement du modèle tout au long d’une interaction.

Utilisez cette zone pour fournir un contexte qui s’applique de façon uniforme avant tout échange de messages. Cela inclut la définition du rôle, les consignes de ton et de style, les contraintes de comportement et les exigences de sortie. Les modifications apportées ici s’appliquent à toutes les interactions suivantes, sauf si elles sont modifiées.

Elle comprend :

• Sélecteur de prompt : sélectionnez un prompt enregistré existant ou créez-en un nouveau.
• Sélecteur de rôle du message : spécifiez le rôle du message que vous définissez (rôle System, Assistant ou User).
• Texte du prompt : saisissez le texte d’instruction qui définit la façon dont le modèle doit répondre.
• Bouton Add message : vous permet d’inclure des messages supplémentaires dans le contexte du prompt avant l’exécution.

Ces messages sont envoyés ensemble au modèle et peuvent être utilisés pour :

• Ajouter des instructions système complémentaires.
• Fournir des exemples de messages de l’assistant pour orienter les réponses (par exemple avec le few-shot prompting).
• Prédéfinir des messages utilisateur afin de tester des scénarios spécifiques.

​

Panneau Messages

Le panneau Messages affiche la conversation générée pendant l’exécution.

Il inclut :

• Tous les messages prédéfinis inclus dans la configuration de l’invite.
• Les messages envoyés depuis le champ de saisie des messages.
• Les réponses renvoyées par le modèle.

Vous pouvez également utiliser Copy, Delete, Edit et Retry sur les messages dans le panneau.

​

Zone de composition des messages (champ de saisie)

Utilisez la zone de composition des messages pour envoyer de nouveaux messages au modèle.

Elle permet de sélectionner le rôle du message et de soumettre des messages à l’exécution. La plupart des interactions sont rédigées sous forme de messages User. Vous pouvez ajouter des messages System ou Assistant lorsque vous testez des modifications d’instructions.

​

Voir l’historique des messages

Pour voir l’historique des messages, cliquez sur le bouton Historique () dans la barre d’outils de droite du playground. Cela ouvre un panneau Historique affichant tous les messages envoyés pour le projet en cours.

Lorsque vous sélectionnez un élément dans l’historique, il se charge automatiquement dans un panneau de chat supplémentaire pour comparaison.

​

Comparer des LLM

Playground vous permet de comparer des LLM. Pour effectuer une comparaison, cliquez sur le bouton Add Chat () dans la barre d’outils de Playground, à droite. Une deuxième fenêtre de chat s’ouvre à côté du chat original. Dans cette deuxième fenêtre de chat, vous disposez des mêmes fonctionnalités que dans le chat original, comme choisir le modèle, ajuster les paramètres et ajouter des fonctions.

​

Fournisseurs personnalisés

​

Ajouter un fournisseur personnalisé

En plus des fournisseurs intégrés, vous pouvez utiliser le playground pour tester des endpoints d’API compatibles OpenAI pour des modèles personnalisés. Par exemple :

• D’anciennes versions de fournisseurs de modèles pris en charge
• Des modèles locaux

Pour ajouter un fournisseur personnalisé au playground, procédez comme suit :

1. Dans le en-tête du prompt (en haut du panneau principal), cliquez sur la liste déroulante Select a model.
2. Sélectionnez + Add AI provider.
3. Sélectionnez Custom Provider.
4. Dans la fenêtre modale, saisissez les informations du fournisseur :

• Provider name : un nom pour le fournisseur, comme openai ou ollama.
• clé API : la clé API du fournisseur, par exemple une clé API OpenAI.
• Base URL : l’endpoint de base du fournisseur, comme https://api.openai.com/v1/ ou une URL ngrok telle que https://e452-2600-1700-45f0-3e10-2d3f-796b-d6f2-8ba7.ngrok-free.app.
• Headers : (facultatif) une ou plusieurs paires clé-valeur d’en-têtes HTTP personnalisés.
• Models : un ou plusieurs modèles pour le fournisseur, comme deepseek-r1 ou qwq.
• Max tokens : (facultatif) pour chaque modèle, le nombre maximal de tokens que le modèle peut générer dans une réponse.

5. Une fois les informations du fournisseur saisies, cliquez sur Add provider.
6. Sélectionnez votre nouveau fournisseur et le ou les modèles disponibles dans la liste déroulante Select a model.

En raison des restrictions CORS, vous ne pouvez pas appeler directement des URL localhost ou 127.0.0.1 depuis le playground. Si vous exécutez un serveur de modèle local (comme Ollama), utilisez un service de tunneling comme ngrok pour l’exposer de manière sécurisée. Pour plus d’informations, voir Use ngrok with Ollama.

Vous pouvez maintenant tester le ou les modèles du fournisseur personnalisé à l’aide des fonctionnalités standard du playground. Vous pouvez également modifier ou supprimer le fournisseur personnalisé.

​

Modifier un fournisseur personnalisé

Pour modifier les informations d’un fournisseur personnalisé créé précédemment, procédez comme suit :

1. Dans l’en-tête du prompt, cliquez sur la liste déroulante Select a model. Sélectionnez ensuite +Configurer les fournisseurs.

• Vous pouvez également sélectionner Project dans le menu latéral, puis l’onglet Fournisseurs d’IA.

2. Dans le tableau Fournisseurs personnalisés, repérez le fournisseur personnalisé que vous souhaitez mettre à jour.
3. Dans la colonne Last Updated de l’entrée correspondant à votre fournisseur personnalisé, cliquez sur le bouton Modifier (l’icône en forme de crayon).
4. Dans la fenêtre modale, modifiez les informations du fournisseur.
5. Cliquez sur Enregistrer.

​

Supprimer un fournisseur personnalisé

Pour supprimer un fournisseur personnalisé créé précédemment, procédez comme suit :

1. Dans le en-tête du prompt, cliquez sur la liste déroulante Select a model. Sélectionnez ensuite +Configure providers.

• Vous pouvez également, dans le menu latéral, sélectionner Project, puis l’onglet Fournisseurs d’IA.

2. Dans le tableau Fournisseurs personnalisés, repérez le fournisseur personnalisé que vous souhaitez supprimer.
3. Dans la colonne Last Updated de l’entrée correspondant à votre fournisseur personnalisé, cliquez sur le bouton de suppression (l’icône de corbeille).
4. Dans la fenêtre modale, confirmez que vous souhaitez supprimer le fournisseur. Cette action est irréversible.
5. Cliquez sur Delete.

​

Utiliser un modèle local comme fournisseur personnalisé

Pour tester un modèle qui s’exécute en local dans le Playground, utilisez ngrok et Ollama pour créer une URL publique temporaire qui contourne les restrictions CORS.

Pour le mettre en place, procédez comme suit :

1. Installez ngrok pour votre système d’exploitation.

2. Démarrez votre modèle Ollama :

   ollama run <model>
   

3. Dans un autre terminal, créez un tunnel ngrok avec les en-têtes CORS requis :

   ngrok http 11434 --response-header-add "Access-Control-Allow-Origin: *" --host-header rewrite
   

4. Une fois ngrok lancé, une URL publique s’affiche, par exemple https://xxxx-xxxx.ngrok-free.app. Utilisez cette URL comme Base URL lorsque vous ajoutez un fournisseur personnalisé dans le Playground.

Le schéma suivant illustre le flux de données entre votre environnement local, le proxy ngrok et les services cloud de W&B :

​

Modèles enregistrés

​

Enregistrer un modèle

Vous pouvez créer et configurer un préréglage de modèle réutilisable pour votre flux de travail. Enregistrer un modèle vous permet de le charger rapidement avec vos réglages, paramètres et hooks de fonction préférés.

1. Dans l’en-tête du prompt (en haut du panneau principal), dans la liste déroulante Select a model, sélectionnez un fournisseur et un modèle.
2. Dans l’en-tête du prompt, cliquez sur le bouton Chat settings () pour ouvrir le panneau Chat settings.
3. Dans le panneau Chat settings :
   • Model Name (requis) : saisissez un nom pour votre modèle enregistré.
   • Ajustez les paramètres selon vos besoins. Vous pouvez aussi activer ou désactiver le suivi des appels Weave, et ajouter une fonction.
4. Cliquez sur Publish model. Le modèle est enregistré et accessible depuis Modèles enregistrés dans la liste déroulante Select a model. Vous pouvez maintenant utiliser et mettre à jour le modèle enregistré.

​

Utiliser un modèle enregistré

Basculez rapidement vers un modèle enregistré pour conserver une cohérence entre les expériences ou les sessions. Vous pouvez ainsi reprendre exactement là où vous vous étiez arrêté.

1. Dans le en-tête du prompt, dans le menu déroulant Select a model, sélectionnez Modèles enregistrés.
2. Dans la liste des modèles enregistrés, sélectionnez le modèle enregistré que vous souhaitez charger. Le modèle se charge et est prêt à être utilisé dans le Playground.

​

Mettre à jour un modèle enregistré

Modifiez un modèle enregistré existant pour affiner ses paramètres ou actualiser sa configuration. Ainsi, vos modèles enregistrés évoluent avec vos cas d’usage.

1. Dans l’en-tête du prompt, dans le menu déroulant Select a model, sélectionnez Modèles enregistrés.
2. Dans la liste des modèles enregistrés, sélectionnez le modèle enregistré que vous souhaitez mettre à jour.
3. Dans l’en-tête du prompt, cliquez sur le bouton Chat settings () pour ouvrir le panneau Chat settings.
4. Dans le panneau Chat settings, ajustez les paramètres selon vos besoins. Vous pouvez également activer ou désactiver le suivi des appels Weave, et ajouter une fonction.
5. Cliquez sur Mettre à jour le modèle. Cela met à jour le modèle et le rend accessible depuis Modèles enregistrés dans le menu déroulant Select a model. La version de votre modèle enregistré augmente automatiquement.