W&B Inference でサーバー エラー（500、503）を解消するにはどうすればよいですか？

サーバー エラーは、W&B Inference サービスで一時的な問題が発生していることを示しています。

エラーのタイプ

500 - 内部サーバーエラー

メッセージ: “サーバーでリクエストの処理中にエラーが発生しました”

これはサーバー側で一時的に発生している内部エラーです。

503 - サービスの過負荷

Message: “推論エンジンは現在過負荷状態です。時間をおいて再度お試しください”

サービスへのトラフィックが増加しています。

サーバー エラーへの対処方法

1. 再試行する前に待機する

   • 500 エラー: 30〜60 秒待機する
   • 503 エラー: 60〜120 秒待機する

2. エクスポネンシャルバックオフを使用する

   import time
   import openai
   
   def call_with_retry(client, messages, model, max_retries=5):
       for attempt in range(max_retries):
           try:
               return client.chat.completions.create(
                   model=model,
                   messages=messages
               )
           except Exception as e:
               if "500" in str(e) or "503" in str(e):
                   if attempt < max_retries - 1:
                       wait_time = min(60, (2 ** attempt))
                       time.sleep(wait_time)
                   else:
                       raise
               else:
                   raise
   

3. 適切なタイムアウトを設定する

   • HTTP クライアントのタイムアウト値を長めに設定する
   • より適切に処理するため、非同期操作も検討する

サポートに連絡するタイミング

次の場合はサポートに連絡してください。

• エラーが10分以上続く
• 特定の時間帯に失敗が発生する傾向が見られる
• エラーメッセージに追加の詳細情報が含まれている

以下を提供してください。

• エラーメッセージとコード
• エラーが発生した時刻
• コードスニペット (APIキーは削除してください)
• W&B の entity 名とプロジェクト名

---

Inference