概要

Weights & Biases Weave を使った開発のための実践的なガイドとサンプル

Weights & Biases Weave クックブック集へようこそ。ここでは、Weave でアプリケーションを構築するための実践的なサンプルとベストプラクティスを、ハンズオン形式のガイドとして提供します。

はじめに

トレースと評価の基本をカバーする実践的なハンズオン例を通じて、Weave の利用を開始しましょう。

Evaluations と Datasets

評価を作成する方法、データセットを扱う方法、そしてモデルを比較するためのリーダーボードを構築する方法を学びます。

Models とプロンプト

実際のユースケースを通じて、モデル管理、プロンプトエンジニアリング、および最適化手法を探究します。

高度なトピック

マルチエージェントシステム、コード生成、特化したパイプラインなど、複雑なユースケースを深く掘り下げます。

本番運用とモニタリング

モニタリング、フィードバック収集、安全性ガードレールのための本番運用向けパターンを実装します。

API とインテグレーション

サービス API を使用して Weave を外部システムと連携させる方法を学びます。

​

おすすめのクックブック

​

はじめに

• Hello Trace - Weave のトレーシングを始める
• Hello Eval - 評価の基本概念の紹介

​

評価とデータセット

• Leaderboard クイックスタート - モデル比較用のリーダーボードを構築する
• HuggingFace Datasets - HF データセットを使ってモデルを評価する
• CSV からインポート - CSV データを読み込み、操作する

​

モデルとプロンプト

• Models と Weave のインテグレーション - モデルインテグレーションの包括的なガイド
• Chain of Density - 高度なプロンプト設計手法
• DSPy Prompt Optimization - プログラムでプロンプトを最適化する
• NotDiamond Custom Routing - インテリジェントなモデルルーティングを実装する

​

高度なトピック

• Multi-Agent Structured Output - 複雑なマルチエージェントシステム
• Code Generation - コード生成パイプラインの構築
• OCR Pipeline - OCR を使った文書処理
• Audio Processing - Weave で音声データを扱う

​

本番運用と監視

• Online Monitoring - リアルタイムなシステム監視
• Production Feedback - ユーザーフィードバックの収集と分析
• Scorers as Guardrails - セーフティ対策の実装
• Custom Model Costs - コストの追跡と最適化
• PII Protection - 個人情報 (PII) を安全に取り扱う

​

API とインテグレーション

• Service API の利用 - API を直接利用するインテグレーションパターン