Informations sur l’utilisation et les limites

Découvrez la tarification, les limites d’utilisation et les restrictions de compte de W&B Serverless RL

​

Tarification

La tarification comporte trois composants : l’inférence, l’entraînement et le stockage. Pour consulter les tarifs de facturation détaillés, consultez notre page de tarification.

​

Inférence

La tarification des requêtes d’inférence RL sans serveur correspond à celle de W&B Inference. Voir les coûts spécifiques au modèle pour plus de détails. Pour en savoir plus sur l’achat de crédits, les niveaux de compte et les plafonds d’utilisation, consultez la documentation W&B Inference.

​

Entraînement

À chaque étape d’entraînement, Serverless RL collecte des lots de trajectoires comprenant les sorties de votre agent et les récompenses associées (calculées par votre fonction de récompense). Ces trajectoires, regroupées en lots, servent ensuite à mettre à jour les poids d’un adaptateur LoRA qui spécialise un modèle de base pour votre tâche. Les tâches d’entraînement qui mettent à jour ces LoRA s’exécutent sur des clusters GPU dédiés gérés par Serverless RL.

L’entraînement est gratuit pendant la phase de préversion publique.

​

Stockage des modèles

Serverless RL stocke les checkpoints de vos LoRA entraînés afin que vous puissiez les évaluer, les mettre en service avec Serve ou reprendre leur entraînement à tout moment. Le stockage est facturé mensuellement en fonction de la taille totale des checkpoints et de votre plan de tarification. Chaque plan inclut au moins 5 Go de stockage gratuit, ce qui suffit pour environ 30 LoRA. Nous vous recommandons de supprimer les LoRA les moins performants pour économiser de l’espace. Voir le ART SDK pour savoir comment procéder.

​

Limites

• Limites de concurrence d’Inférence : Par défaut, Serverless RL prend actuellement en charge jusqu’à 2 000 requêtes simultanées par utilisateur et 6 000 par projet. Si vous dépassez votre limite de débit, l’API Inférence renvoie une réponse 429 Concurrency limit reached for requests. Pour éviter cette erreur, réduisez le nombre de requêtes simultanées envoyées par votre tâche d’entraînement ou votre charge de travail de Production. Si vous avez besoin d’une limite de débit plus élevée, vous pouvez en demander une à [e-mail].

• Restrictions géographiques : Serverless RL est disponible uniquement dans les zones géographiques prises en charge. Pour plus d’informations, voir les Conditions d’utilisation.