はじめに
トレースと評価の基本をカバーする実践的なハンズオン例を通じて、Weave の利用を開始しましょう。
Evaluations と Datasets
評価を作成する方法、データセットを扱う方法、そしてモデルを比較するためのリーダーボードを構築する方法を学びます。
Models とプロンプト
実際のユースケースを通じて、モデル管理、プロンプトエンジニアリング、および最適化手法を探究します。
高度なトピック
マルチエージェントシステム、コード生成、特化したパイプラインなど、複雑なユースケースを深く掘り下げます。
本番運用とモニタリング
モニタリング、フィードバック収集、安全性ガードレールのための本番運用向けパターンを実装します。
API とインテグレーション
サービス API を使用して Weave を外部システムと連携させる方法を学びます。
おすすめのクックブック
はじめに
- Hello Trace - Weave のトレーシングを始める
- Hello Eval - 評価の基本概念の紹介
評価とデータセット
- Leaderboard クイックスタート - モデル比較用のリーダーボードを構築する
- HuggingFace Datasets - HF データセットを使ってモデルを評価する
- CSV からインポート - CSV データを読み込み、操作する
モデルとプロンプト
- Models と Weave のインテグレーション - モデルインテグレーションの包括的なガイド
- Chain of Density - 高度なプロンプト設計手法
- DSPy Prompt Optimization - プログラムでプロンプトを最適化する
- NotDiamond Custom Routing - インテリジェントなモデルルーティングを実装する
高度なトピック
- Multi-Agent Structured Output - 複雑なマルチエージェントシステム
- Code Generation - コード生成パイプラインの構築
- OCR Pipeline - OCR を使った文書処理
- Audio Processing - Weave で音声データを扱う
本番運用と監視
- Online Monitoring - リアルタイムなシステム監視
- Production Feedback - ユーザーフィードバックの収集と分析
- Scorers as Guardrails - セーフティ対策の実装
- Custom Model Costs - コストの追跡と最適化
- PII Protection - 個人情報 (PII) を安全に取り扱う
API とインテグレーション
- Service API の利用 - API を直接利用するインテグレーションパターン