Scout Evals
Nous prenons 60 jours de vos traces IA en production, bâtissons un vrai jeu d'évaluations et le remettons avec un harnais fonctionnel — pour enfin mesurer si votre IA s'améliore ou se dégrade en silence.
What you get
After 1-2 weeks: a curated eval set built from your last 60 days of production traces — gold examples, regression cases, calibrated against a small human-rated set — plus a working harness that runs candidates against it and produces a diff report. You can keep building on it; we can keep building on it with you; it's not locked to us.
What makes it different
Most teams know they should have evals; almost none do, because building the first one is hard, time-consuming, and feels unrewarded. Scout Evals does the hard first pass so the team starts from something real instead of staring at a blank Inspect AI config.
What it can do for you
Reveal whether your AI is actually getting better or quietly drifting (most teams discover the latter). Make prompt and model changes reviewable. Give you a number for 'is this change safe to ship.' Catch regressions before they hit production.
- 1-2 week engagement, fixed scope
- Eval set: gold + regression + calibration
- Working harness on Inspect AI, OpenAI Evals, or Promptfoo
- Promotion-gate template you can wire into your CI
- Drift-detection baseline to compare against weekly
- Calibration audit on LLM-as-judge
- All artifacts yours; no platform lock-in
- Optional handoff training for your team
Who it's for
Teams shipping AI to production who can't currently answer 'is this change better or worse.' Teams who tried to build evals themselves and stalled. Teams who suspect their AI is degrading but lack the data to prove it.
How we ship it
1-2 weeks. Week 1: trace ingestion, triage, eval-set construction, calibration. Week 2 (if needed): harness setup, CI integration, drift-baseline run.
Les questions qu'on nous pose vraiment
Que vous faut-il exactement de notre côté pour bâtir le jeu d'évaluation?
Vos 60 derniers jours de traces de production IA — les vraies conversations ou exécutions que votre système a produites. C'est la matière première ; sans traces de production, il n'y a rien d'honnête à bâtir, et nous vous le dirons plutôt que de fabriquer un jeu synthétique qui ne mesure rien.
Nos traces contiennent des données clients. Comment est-ce géré?
L'accès est limité et convenu avant l'ingestion, et le jeu d'évaluation est bâti pour votre environnement, pas le nôtre : exemples de référence, cas de régression et jeu de calibration noté par des humains. Chaque artefact — le jeu d'évaluation, le harnais, les bases de référence — vous appartient, sans verrouillage de plateforme.
Combien de temps ça prend, et avec quoi repart-on?
1 à 2 semaines. La semaine 1 couvre l'ingestion des traces, le tri, la construction du jeu d'évaluation et la calibration ; la semaine 2, au besoin, installe le harnais — sur Inspect AI, OpenAI Evals ou Promptfoo — plus l'intégration CI et une base de détection de dérive. Vous repartez avec un système fonctionnel qui répond à « ce changement est-il sûr à livrer ».
Notre équipe peut-elle l'entretenir sans vous ensuite?
Oui — c'est la conception. Le harnais tourne sur de l'outillage ouvert, le gabarit de barrière de promotion se branche dans votre propre CI, et une formation de transfert optionnelle rend votre équipe à l'aise pour l'étendre. Nous pouvons continuer à bâtir avec vous si vous le souhaitez, mais rien dans l'installation ne l'exige.
Souvent associé à
Produits liés
Un mandat d'une semaine qui cartographie votre maturité IA — ce qui est dans votre substrat de données, ce qui manque, quelles capacités IA déployer aujourd'hui et lesquelles exigent un travail fondamental d'abord.
Un outil pour développeurs quasi gratuit : téléversez une charte de personnalité, collez une clé API, exécutez contre notre bibliothèque de sondes, voyez où votre personnalité tient et où elle dérive — avant la livraison.