Classe : EvaluationLogger

Référence du SDK TypeScript

weave / EvaluationLogger

EvaluationLogger permet la journalisation incrémentielle des prédictions et des scores.

Contrairement à la classe Evaluation traditionnelle, qui nécessite un jeu de données défini à l’avance et un traitement par lots, EvaluationLogger vous permet d’enregistrer les prédictions au fur et à mesure, avec une attribution flexible des scores.

Exemple

const ev = new EvaluationLogger({name: 'my-eval', dataset: 'my-dataset'});

for (const example of streamingData) {
  const output = await myModel.predict(example);
  const pred = ev.logPrediction(example, output);

  if (shouldScore(output)) {
    pred.logScore("accuracy", calculateAccuracy(output));
  }
  pred.finish();
}

await ev.logSummary();

​

Table des matières

​

Constructeurs

• constructeur

​

Méthodes

• logPrediction
• logPredictionAsync
• logSummary

​

Constructeurs

​

constructor

• new EvaluationLogger(options): EvaluationLogger

​

Paramètres

Nom	Type
options	EvaluationLoggerOptions

​

Renvoie

EvaluationLogger

​

Défini dans

evaluationLogger.ts:554

​

Méthodes

​

logPrediction

▸ logPrediction(inputs, output): ScoreLogger

Journalise une prédiction avec son entrée et sa sortie (version synchrone). Crée un appel predict_and_score (avec un appel enfant predict). Renvoie immédiatement un ScoreLogger pour ajouter des scores.

Cette méthode renvoie le ScoreLogger de façon synchrone. Les opérations sur le ScoreLogger (logScore, finish) seront placées dans la file d’attente et exécutées une fois l’initialisation terminée.

​

Paramètres

Nom	Type
inputs	Record<string, any>
output	any

​

Renvoie

ScoreLogger

Exemple

// Style « fire-and-forget »
const scoreLogger = evalLogger.logPrediction({input: 'test'}, 'output');
scoreLogger.logScore('accuracy', 0.95);
scoreLogger.finish();
await evalLogger.logSummary(); // Attend la fin de toutes les opérations

​

Défini dans

evaluationLogger.ts:641

---

​

logPredictionAsync

▸ logPredictionAsync(inputs, output): Promise<ScoreLogger>

Journalise une prédiction avec son entrée et sa sortie (version asynchrone). Comme logPrediction(), mais renvoie une Promise qui se résout lorsque l’appel de prédiction est entièrement initialisé.

Utilisez cette méthode si vous devez attendre l’initialisation avant de continuer.

​

Paramètres

Nom	Type
inputs	Record<string, any>
output	any

​

Renvoie

Promise<ScoreLogger>

Exemple

// Style awaitable
const scoreLogger = await evalLogger.logPredictionAsync({input: 'test'}, 'output');
await scoreLogger.logScore('accuracy', 0.95);
await scoreLogger.finish();

​

Défini dans

evaluationLogger.ts:666

---

​

logSummary

▸ logSummary(summary?): Promise<void>

Journalise un summary et finalise l’évaluation. Crée un appel summarize et termine l’appel evaluate.

Cette méthode peut être appelée sans await (fire-and-forget), mais en interne elle attendra que toutes les opérations en attente soient terminées.

​

Paramètres

Nom	Type
summary?	Record<string, any>

​

Renvoie

Promise<void>

​

Défini dans

evaluationLogger.ts:767