Capture de cas d'évaluation
Quand une conversation est exceptionnellement bonne ou mauvaise, un simple signalement la sauvegarde dans votre jeu de tests — pour que les grandes réponses deviennent le standard et que les échecs ne puissent jamais revenir en douce.
Pensez à un entraîneur qui découpe les vidéos de match : le beau jeu est sauvegardé pour que l'équipe le répète, l'échappé est sauvegardé pour qu'il ne se reproduise jamais. La capture de cas d'évaluation, c'est le bouton de découpage pour les conversations de votre IA — les plus intéressantes cessent de défiler dans l'oubli et se mettent à améliorer le système.
Le problème, en mots simples
Chaque semaine, votre système produit quelques conversations dont il faudrait apprendre : une réponse si bonne que vous voudriez que chaque version future l'égale, et un échec si instructif que vous ne voulez plus jamais le revoir. Et chaque semaine, les deux défilent et disparaissent. Puis quelqu'un change un prompt ou un modèle est mis à jour, et l'échec corrigé en mars revient discrètement en août — parce que rien n'a jamais été consigné qui aurait pu l'attraper. L'équipe répète « on devrait écrire des évaluations un jour », et un jour reste un jour.
Ce que nous mettons en place
Nous ajoutons une étape de capture au travail que vos réviseurs font déjà. En triant les conversations, ils signalent les intéressantes — un seul geste, dans le flux, pas une corvée à part. Chaque cas signalé passe par une étape rapide d'étiquetage : or (un exemple à préserver — les versions futures doivent faire au moins aussi bien), régression (un échec à prévenir — les versions futures ne doivent plus jamais faire ça), ou ambigu (à garder, mérite discussion). Les cas étiquetés atterrissent dans le jeu d'évaluation (votre banque de cas tests contre laquelle le système est mesuré) avec attribution, pour savoir qui a capturé quoi et pourquoi. Puis le banc de tests est relancé sur le jeu agrandi — chaque capture devient immédiatement une maille du filet de sécurité, et son effet sur les scores est mesurable.
Comment ça fonctionne, étape par étape
- Une conversation se démarque
Exceptionnellement bonne, ratée de façon marquante, ou étrange d'une manière instructive — un réviseur la remarque pendant le triage normal.
- Le réviseur la signale
Un seul geste, dans le flux de triage. Pas d'outil séparé, pas de « je le noterai plus tard ».
- Elle reçoit une étiquette rapide
Or à préserver, régression à prévenir, ou ambigu pour discussion — une courte étape d'étiquetage, pas un projet de recherche.
- Elle rejoint le jeu de tests
Avec attribution : qui l'a capturée et pourquoi. Le jeu de tests grandit à partir de votre vrai trafic, pas de scénarios inventés.
- Le banc de tests est relancé
Chaque changement futur est maintenant testé contre ce cas aussi. L'échec de mars ne peut plus revenir en douce en août.
Ce qui change pour vous
Avant : les leçons vivaient dans les mémoires, le jeu de tests avait été écrit une fois puis figé, et les vieux bogues réapparaissaient dès que quelque chose changeait en amont. Après : le jeu de tests grandit un peu chaque semaine à partir de vraies conversations, les cas en or fixent la barre et les cas de régression gardent le plancher, et la dette du « on écrira des évaluations plus tard » cesse de s'accumuler. Ce qu'il ne fera pas : il ne signalera pas les cas tout seul — la capture dépend de réviseurs qui remarquent, alors les conversations que personne ne révise sont des conversations que personne ne capture.