クラス: EvaluationLogger

TypeScript SDK リファレンス

weave / EvaluationLogger

EvaluationLogger を使用すると、予測とスコアをインクリメンタルにログできます。

事前にデータセットやバッチ処理を用意する必要がある従来の Evaluation クラスとは異なり、 EvaluationLogger を使うと、予測が発生したそのタイミングでログし、柔軟にスコアリングできます。

Example

const ev = new EvaluationLogger({name: 'my-eval', dataset: 'my-dataset'});

for (const example of streamingData) {
  const output = await myModel.predict(example);
  const pred = ev.logPrediction(example, output);

  if (shouldScore(output)) {
    pred.logScore("accuracy", calculateAccuracy(output));
  }
  pred.finish();
}

await ev.logSummary();

​

目次

​

コンストラクタ

• constructor

​

メソッド

• logPrediction
• logPredictionAsync
• logSummary

​

コンストラクター

​

コンストラクター

• new EvaluationLogger(options): EvaluationLogger

​

パラメータ

名前	型
options	EvaluationLoggerOptions

​

戻り値

EvaluationLogger

​

定義場所

evaluationLogger.ts:554

​

メソッド

​

logPrediction

▸ logPrediction(inputs, output): ScoreLogger

入力と出力を含む予測をログします（同期バージョン）。 子の predict 呼び出しを伴う predict_and_score 呼び出しを作成します。 スコアを追加するための ScoreLogger をすぐに返します。

このメソッドは ScoreLogger を同期的に返します。
ScoreLogger 上での操作（logScore、finish）はキューに積まれ、初期化が完了した時点で実行されます。

​

パラメータ

名前	型
inputs	Record<string, any>
output	any

​

戻り値

ScoreLogger

使用例

// ファイア・アンド・フォーゲット方式
const scoreLogger = evalLogger.logPrediction({input: 'test'}, 'output');
scoreLogger.logScore('accuracy', 0.95);
scoreLogger.finish();
await evalLogger.logSummary(); // すべての完了を待機

​

定義元

evaluationLogger.ts:641

---

​

logPredictionAsync

▸ logPredictionAsync(inputs, output): Promise<ScoreLogger>

予測とその入力および出力をログに記録します（非同期版）。 logPrediction() と同様ですが、予測呼び出しが完全に初期化された時点で解決される Promise を返します。

処理を進める前に初期化完了を待機する必要がある場合に使用してください。

​

パラメータ

名前	型
inputs	Record<string, any>
output	any

​

戻り値

Promise<ScoreLogger>

例

// Awaitableスタイル
const scoreLogger = await evalLogger.logPredictionAsync({input: 'test'}, 'output');
await scoreLogger.logScore('accuracy', 0.95);
await scoreLogger.finish();

​

定義場所

evaluationLogger.ts:666

---

​

logSummary

▸ logSummary(summary?): Promise<void>

サマリーをログし、評価を完了します。 summarize 呼び出しを作成し、evaluate 呼び出しを終了します。

このメソッドは await せずに（fire-and-forget で）呼び出すこともできますが、 内部的には保留中のすべての処理が完了するまで待機します。

​

パラメータ

名前	型
summary?	Record<string, any>

​

戻り値

Promise<void>

​

定義元

evaluationLogger.ts:767