メインコンテンツへスキップ
Bring your own bucket (BYOB)、W&B Dedicated Cloud、または W&B Self-Managed を使用する場合、通常、チームでクラウドストレージプロバイダに直接料金を支払うことになります。このページでは、バケット内で容量を消費するもの、アプリまたは API で削除した後に W&B がオブジェクトをどのように削除するか、そして実際にどうなるかについて説明します。

​
バケット容量を消費するもの

W&B は、設定したオブジェクトストレージに複数の種類のデータを保存します。BYOB overview には、実験ファイルとメトリクス、artifact ファイル、メディアファイル、run ファイル、Parquet 形式でエクスポートされた履歴などの例が記載されています。これらの合計が、バケットのサイズとコストに影響します。

​
W&B がストレージからデータを削除する仕組み

W&B App または Public API で削除を行うと、まず W&B のメタデータが更新されます。プロダクトから ラン、アーティファクト、またはファイルを削除しても、表示されるバケット使用量がすぐに減るとは限りません。 オブジェクトストレージのクリーンアップはバックグラウンドで実行されるため、特に高負荷のインスタンスでは反映が遅れることがあります。

​
Artifacts

削除されたアーティファクトはソフト削除された後、アーティファクト のガベージコレクションによって処理されます。セルフマネージドのデプロイでは、GORILLA_ARTIFACT_GC_ENABLED を設定し、バージョン管理やソフト削除などのプロバイダの要件を満たす必要があります。アーティファクトを削除するおよび環境変数を設定するを参照してください。

​
ランデータとランファイル

ランまたはランに関連付けられたファイルが削除された後、基盤となる保存オブジェクトの完全な削除は、アーティファクト とは別に制御されます。専用クラウドおよびセルフマネージドのデプロイでは、GORILLA_DATA_RETENTION_PERIOD で、削除されたランデータがストレージから削除可能になるまで保持される期間を設定します。この設定で アーティファクト が削除されることはありません。 ランおよびファイルの削除とストレージとの関係については、環境変数を設定する、専用クラウド向けの データ保持ポリシー、および ランを削除する を参照してください。

​
バックグラウンド クリーンアップで想定されること

オブジェクトストレージを解放するガベージコレクションと関連ジョブは、ベストエフォートで実行されます。W&B は、UI または API でコンテンツを削除したあと、特定の時間内に対象のオブジェクトがバケットから消えることを保証しません。1 つのランあたりのファイル数が多いプロジェクト、たとえば 1 つのランで多数のメディアファイルをログしている場合は、ストレージ使用量が解放されるまでにより長い遅延が発生することがあります。 クラウドプロバイダ側でバケットを監視し、想定に比べてクリーンアップが滞っているように見える場合は、W&B Support または担当のアカウントチームにお問い合わせください。

​
バケット使用量を減らす

まずは、サポートされているプロダクトの機能で対応してください。 すぐに容量を回収する必要がある場合は、バケットにアクセスできるオペレーターが、クラウド ストレージ内の特定のオブジェクト キーを直接削除できます。次の点に注意してください。
  • 削除したオブジェクトは、W&B 経由でダウンロードできなくなります。
  • 削除するつもりのキーだけを削除してください。誤って削除すると、アプリがまだ参照しているデータにアクセスできなくなる可能性があります。
  • バケットでオブジェクトのバージョン管理またはプロバイダのソフト削除 (たとえば Google Cloud Storage) を使用している場合、クラウドのライフサイクル ルールに従って非カレント バージョンやソフト削除されたオブジェクトの有効期限が切れるまで、ストレージ料金が発生し続けることがあります。
W&B Multi-tenant Cloud での大まかな使用状況は、組織管理者が組織の設定からストレージ関連の使用状況を確認できます。詳しくは Billing settings を参照してください。

​
トラブルシューティング

Public API を使用した後に W&B App で削除が正しく反映されない場合は、W&B Python SDK を最新のリリースにアップグレードしてから、再試行してください。各 ラン のファイル数が非常に多い場合、インスタンス全体でバックグラウンド クリーンアップにかかる時間が長くなることがあります。 お使いのデプロイメントに合ったスクリプトによるクリーンアップ パターンについては、W&B Support または担当のアカウントチームにお問い合わせください。