Eval 結果クエリ

1 つ以上の評価について、グループ化された評価結果行を取得します。

POST /v2/{entity}/{project}/eval_results/query

Eval 結果クエリ

cURL

curl --request POST \
  --url https://api.example.com/v2/{entity}/{project}/eval_results/query \
  --header 'Authorization: Basic <encoded-value>' \
  --header 'Content-Type: application/json' \
  --data '
{
  "evaluation_call_ids": [
    "<string>"
  ],
  "evaluation_run_ids": [
    "<string>"
  ],
  "require_intersection": false,
  "include_raw_data_rows": false,
  "resolve_row_refs": false,
  "include_rows": true,
  "include_summary": false,
  "summary_require_intersection": true,
  "limit": 123,
  "offset": 0
}
'

200

{
  "rows": [
    {
      "row_digest": "<string>",
      "raw_data_row": null,
      "evaluations": [
        {
          "evaluation_call_id": "<string>",
          "trials": [
            {
              "predict_and_score_call_id": "<string>",
              "predict_call_id": "<string>",
              "model_output": null,
              "scores": {},
              "model_latency_seconds": 123,
              "total_tokens": 123,
              "scorer_call_ids": {}
            }
          ]
        }
      ]
    }
  ],
  "total_rows": 123,
  "summary": {
    "row_count": 0,
    "evaluations": [
      {
        "evaluation_call_id": "<string>",
        "trial_count": 0,
        "scorer_stats": [
          {
            "scorer_key": "<string>",
            "path": "<string>",
            "value_type": "binary",
            "trial_count": 0,
            "numeric_count": 0,
            "numeric_mean": 123,
            "pass_true_count": 0,
            "pass_known_count": 0,
            "pass_rate": 123,
            "pass_signal_coverage": 123
          }
        ],
        "evaluation_ref": "<string>",
        "model_ref": "<string>",
        "display_name": "<string>",
        "trace_id": "<string>",
        "started_at": "<string>"
      }
    ]
  },
  "warnings": [
    "<string>"
  ]
}

承認

Authorization · string · header · 必須

Basic authentication header of the form Basic <encoded-value>, where <encoded-value> is the base64-encoded string username:password.

パスパラメータ

entity · string · 必須

project · string · 必須

ボディ

application/json

evaluation_call_ids · string[] | null

含める評価ルート Call ID。

evaluation_run_ids · string[] | null

Evaluation Runs API の評価 Call ID のエイリアス。

require_intersection · boolean · デフォルト: false

true の場合、要求されたすべての評価に存在する行のみを含めます。

include_raw_data_rows · boolean · デフォルト: false

true の場合、各結果行の raw_data_row を設定します。インライン行は dict 値として返され、データセット参照行は、resolve_row_refs も true の場合を除き、ref 文字列として返されます。

resolve_row_refs · boolean · デフォルト: false

true の場合（include_raw_data_rows=True が必要）、表のルックアップによってデータセット行の参照文字列を実際の行データに解決します。false の場合、データセット行 ref はそのまま返されます。

include_rows · boolean · デフォルト: true

true の場合、グループ化された行/試行データを rows に含め、要求された行レベル view の total_rows を計算します。

include_summary · boolean · デフォルト: false

true の場合、集約された Scorer/評価の summary データを summary に含めます。

summary_require_intersection · boolean | null

summary セクションに対するオプションの積集合動作です。null の場合は、require_intersection の値が使用されます。

limit · integer | null

グループ化と積集合の後に適用されるオプションの行レベルのページ サイズ。

offset · integer · デフォルト: 0

グループ化と積集合の後に適用されるオプションの行レベルのページ オフセット。

レスポンス

200

application/json

正常なレスポンス

rows · EvalResultsRow · object[] · 必須

Show child attributes

total_rows · integer · 必須

summary · EvalResultsSummaryRes · object

Show child attributes

warnings · string[]

致命的ではない警告（例: データセット行 ref の解決失敗）。