Five shared offline metrics

Heatmap

  • At or above the threshold
  • Under the threshold

Hover or focus a cell.

Broken runs that mix a bad retriever and an unguarded prompt appear in both broken views. Medical, real estate, and HR broken cells are report averages.

IndustryHit rateMRRRecallPresenceRefusal
Customer support
1.000
0.108
1.000
0.955
0.056
0.955
1.000
0.108
1.000
1.000
0.452
0.643
1.000
0.524
0.643
Legal and compliance
1.000
0.000
1.000
1.000
0.000
1.000
1.000
0.000
1.000
1.000
0.200
0.800
1.000
0.200
0.000
Healthcare documents
1.000
0.000
1.000
1.000
0.000
1.000
1.000
0.000
1.000
1.000
0.3061
0.7347
1.000
0.9796
0.7347
Tutoring
1.000
0.000
1.000
0.986
0.000
0.986
1.000
0.000
1.000
1.000
0.000
1.000
1.000
0.450
0.550
Financial diligence
1.000
0.000
0.000
1.000
0.000
0.000
1.000
0.000
0.000
1.000
0.000
0.000
1.000
0.714
0.714
Insurance claims
1.000
0.000
1.000
1.000
0.000
1.000
1.000
0.000
1.000
1.000
0.238
0.762
1.000
0.333
0.667
Product support
1.000
0.000
0.000
0.9419
0.000
0.000
1.000
0.000
0.000
1.000
0.000
0.000
1.000
0.000
0.000
Listings and leases
1.000
0.000
1.000
0.000
1.000
0.000
1.000
0.245
0.857
1.000
0.245
0.857
HR policy
1.000
0.000
1.000
0.960
0.000
0.960
1.000
0.000
1.000
1.000
0.340
0.840
1.000
0.820
0.840
SaaS docs
1.000
0.100
0.100
1.000
0.0611
0.0611
1.000
0.100
0.100
1.000
0.0909
0.0909
1.000
0.6818
0.6818

Faithfulness, answer relevancy, context precision, context recall: needs API key — not measured.