参照アーティファクト を使用すると、W&B サーバーの外部に保存されたファイルを追跡して利用することができます。一般的な外部ストレージソリューションには、CoreWeave AI Object Storage、Amazon Simple Storage Service (Amazon S3) バケット、GCS バケット、Azure Blob、HTTP ファイルサーバー、NFS 共有などがあります。
参照アーティファクトは、参照ではないアーティファクトと同様に動作します。主な違いは、参照アーティファクトにはファイルのサイズや MD5 チェックサムなど、ファイルに関するメタデータのみが含まれる点です。ファイルそのものがあなたのシステムの外に出ることはありません。
参照アーティファクトも、参照ではないアーティファクトと同様に操作できます。W&B App では、ファイルブラウザを使って参照アーティファクトの内容を参照したり、完全な依存関係グラフを調査したり、アーティファクトのバージョン履歴を確認したりできます。ただし、データ自体がアーティファクト内に含まれていないため、UI は画像や音声などのリッチメディアをレンダリングできません。
外部ファイルを追跡しないアーティファクトをログすると、W&B はそのアーティファクトのファイルを W&B サーバーに保存します。これは、W&B Python SDK を使ってアーティファクトをログする場合のデフォルトの動作です。外部ファイルを追跡するアーティファクトをログすると、W&B はオブジェクトの ETag やサイズなど、そのオブジェクトに関するメタデータをログします。バケットでオブジェクトのバージョニングが有効になっている場合は、バージョン ID もログされます。
外部バケット内のアーティファクトをトラッキングする
wandb.init() で run を初期化します。wandb.Artifact() でアーティファクトオブジェクトを作成します。- アーティファクトオブジェクトの
wandb.Artifact.add_reference() メソッドで、バケットパスへの参照を指定します。
run.log_artifact() でアーティファクトのメタデータを記録します。
import wandb
# W&B の run を初期化する
with wandb.init(project="my-project") as run:
# アーティファクトオブジェクトを作成する
artifact = wandb.Artifact(name="name", type="type")
# バケットパスへの参照を追加する
artifact.add_reference(uri = "uri/to/your/bucket/path")
# アーティファクトのメタデータをログに記録する
run.log_artifact(artifact)
s3://my-bucket
|datasets/
|-- mnist/
|models/
|-- cnn/
datasets/mnist/ ディレクトリには画像のコレクションが格納されています。画像を含む datasets/mnist/ ディレクトリをデータセットのアーティファクトとして追跡するには、次のように指定します。
"mnist" など、アーティファクトの名前を指定します。- アーティファクトオブジェクトを構築するときに、
type パラメータを "dataset" に設定します（wandb.Artifact(type="dataset")）。
wandb.Artifact.add_reference() を呼び出すときに、datasets/mnist/ ディレクトリへのパスを Amazon S3 URI（s3://my-bucket/datasets/mnist/）として指定します。run.log_artifact() でアーティファクトをログに記録します。
次のコードサンプルは、参照アーティファクト mnist:latest を作成します。
import wandb
with wandb.init(project="my-project") as run:
artifact = wandb.Artifact(name="mnist", type="dataset")
artifact.add_reference(uri="s3://my-bucket/datasets/mnist")
run.log_artifact(artifact)
W&B Artifacts は、CoreWeave Storage や MinIO を含む任意の Amazon S3 互換インターフェイスをサポートします。以下で説明するスクリプトは、AWS_S3_ENDPOINT_URL 環境変数を CoreWeave Storage または MinIO サーバーを指すように設定すれば、どちらのプロバイダでもそのまま動作します。
デフォルトでは、W&B はオブジェクトのプレフィックスを追加する際に 10,000 個のオブジェクト数の上限を設けています。wandb.Artifact.add_reference() を呼び出すときに max_objects= を指定することで、この上限を調整できます。
外部バケットからアーティファクトをダウンロードする
import wandb
with wandb.init(project="my-project") as run:
artifact = run.use_artifact("mnist:latest", type="dataset")
artifact_dir = artifact.download()
ワークフローの一環としてファイルを上書きする場合は、ストレージバケットで「オブジェクトバージョニング」を有効にすることを W&B は推奨します。バージョニングが有効になっていれば、アーティファクトをダウンロードするときに、そのアーティファクトがログされた後でファイルが上書きされていても、W&B は常に正しいバージョンのファイルを取得できます。ユースケースに応じて、オブジェクトバージョニングを有効にする手順を参照してください：AWS、Google Cloud、Azure。 import boto3
import wandb
with wandb.init() as run:
# ここで学習を実行...
s3_client = boto3.client("s3")
s3_client.upload_file(file_name="my_model.h5", bucket="my-bucket", object_name="models/cnn/my_model.h5")
# モデルのアーティファクトをログする
model_artifact = wandb.Artifact("cnn", type="model")
model_artifact.add_reference("s3://my-bucket/models/cnn/")
run.log_artifact(model_artifact)
import wandb
with wandb.init() as run:
artifact = run.use_artifact(artifact_or_name = "cnn", type="model")
datadir = artifact.download()
Google Cloud または Azure で参照アーティファクトを追跡する方法をエンドツーエンドで解説したレポートについては、次を参照してください： AWS_REGION 環境変数をバケットのリージョンに合わせて設定する必要があります。
画像、音声、動画、ポイントクラウドなどのリッチメディアは、バケットの CORS 設定によっては App UI で正しくレンダリングされない場合があります。バケットの CORS 設定で app.wandb.ai を許可リストに追加すると、W&B App でそのようなリッチメディアを正しくレンダリングできるようになります。画像、音声、動画、ポイントクラウドなどのリッチメディアが App UI でレンダリングされない場合は、バケットの CORS ポリシーで app.wandb.ai が許可リストに含まれていることを確認してください。
ファイルシステム上のアーティファクトをトラッキングする
wandb.init() を使用して run を初期化します。wandb.Artifact() を使用してアーティファクトオブジェクトを作成します。- アーティファクトオブジェクトの
wandb.Artifact.add_reference() メソッドで、ファイルシステムパスへの参照を指定します。
run.log_artifact() でアーティファクトのメタデータをログに記録します。
マウントされたファイルシステム内のファイルを追跡するには、次のコードスニペットをコピーして貼り付けて使用してください。山かっこ（< >）で囲まれた値を適切な値に置き換えてください。
import wandb
# runを初期化する
with wandb.init(entity="<entity>", project="<project>") as run:
# アーティファクトオブジェクトを作成する
artifact = wandb.Artifact(name="<name>", type="<type>")
# ファイルシステムパスへの参照を追加する
artifact.add_reference("file:///path/to/dataset/")
# アーティファクトをログに記録する（メタデータのみ）
run.log_artifact(artifact)
file:// プレフィックスです。2 番目の部分は、ファイルシステムのルート / です。残りの部分は、追跡したいディレクトリまたはファイルへのパスです。
例として、次のような構造を持つファイルシステムが /mount にマウントされているとします。
mount
|datasets/
|-- mnist/
|models/
|-- cnn/
datasets/mnist/ ディレクトリをデータセット用アーティファクトとして追跡したいとします。その場合は、次のコードスニペットを使用できます。
import wandb
with wandb.init() as run:
artifact = wandb.Artifact("mnist", type="dataset")
artifact.add_reference("file:///mount/datasets/mnist/")
run.log_artifact(artifact)
/mount/datasets/mnist/ 以下に保存されているファイルを指す参照アーティファクト mnist:latest を作成します。
デフォルトでは、W&B はディレクトリへの参照を追加する際に 10,000 ファイルの上限を設けています。wandb.Artifact.add_reference() を呼び出すときに max_objects= を指定することで、この上限を変更できます。
models/cnn/my_model.h5 に保存されたモデルを追跡する場合は、次のコードスニペットを使用できます。
import wandb
with wandb.init() as run:
# ここで学習...
# モデルをディスクに書き込む
# アーティファクトオブジェクトを作成する
model_artifact = wandb.Artifact("cnn", type="model")
# モデルファイルパスへの参照を追加する
model_artifact.add_reference("file:///mount/cnn/my_model.h5")
# アーティファクトをW&Bに記録する
run.log_artifact(model_artifact)
外部ファイルシステムからアーティファクトをダウンロードする
wandb.init() で run を初期化します。- ダウンロードしたいアーティファクトを指定するために、
wandb.Run.use_artifact() メソッドを使用します。
- 参照先のファイルシステムからファイルをダウンロードするために、アーティファクトの
wandb.Artifact.download() メソッドを呼び出します。
with wandb.init() as run:
artifact = run.use_artifact("entity/project/mnist:latest", type="dataset")
artifact_dir = artifact.download()
/mount/datasets/mnist の内容を artifacts/mnist:v0/ ディレクトリにコピーします。
Artifact.download() は、アーティファクトを再構築できない場合にエラーを発生させます。たとえば、アーティファクトに上書きされたファイルへの参照が含まれている場合、もはやアーティファクトを再構築できないため、Artifact.download() はエラーを発生させます。
プラットフォーム
W&B Models
W&B Weave
W&B 推論
W&B 学習
リリースノート