Alertes de dérive
Une vérification automatique et régulière qui remarque quand votre IA se met à se comporter autrement qu'avant — et vous avertit avant que vos clients le fassent.
Pensez à un détecteur de fumée pour votre système d'IA. Il n'éteint pas les incendies, mais il sonne tôt — quand le modèle derrière votre assistant est discrètement mis à jour, quand vos documents vieillissent, ou quand une petite retouche de prompt change les réponses — pour que vous l'appreniez par une alerte, pas par un client fâché.
Le problème, en mots simples
Voici la vérité inconfortable sur les systèmes d'IA : ils changent même quand vous ne changez rien. La compagnie derrière le modèle peut le mettre à jour sous le même nom, et des réponses autrefois nettes deviennent plus longues, plus prudentes, ou juste différentes. Votre documentation vieillit tranquillement. Quelqu'un copie-colle une retouche de prompt dans un flux de travail mais pas dans l'autre. Rien de tout ça n'apparaît comme une erreur — rien ne plante, aucun voyant rouge ne clignote. Le système dérive, un peu chaque semaine, jusqu'au jour où un client fait remarquer que l'assistant se trompe avec assurance depuis un mois, et personne ne peut dire quand ça a commencé.
Ce que nous mettons en place
Nous mettons en place une comparaison planifiée entre le comportement de votre système en production aujourd'hui et son comportement au moment où vous l'avez testé et approuvé. Le point de référence est votre jeu d'évaluation (une collection de questions tests dont les réponses ont déjà été vérifiées et approuvées). Selon un horaire, le système rejoue un échantillon de travail et compare des mesures simples et honnêtes : à quelle fréquence l'IA refuse de répondre, la longueur de ses réponses, le ton, la fréquence des citations de sources, et son score sur les questions tests. Quand une mesure dépasse le seuil que vous avez choisi — et ce seuil s'ajuste pour chaque flux de travail — une alerte part, avec une cause probable en pièce jointe : une mise à jour du modèle, un document modifié, un prompt retouché.
Comment ça fonctionne, étape par étape
- Une référence est enregistrée
Quand votre système est testé et approuvé, son comportement — taux de refus, longueur des réponses, ton, taux de citation, scores aux tests — est sauvegardé comme point de comparaison.
- La vérification roule selon un horaire
À intervalles réguliers, le système rejoue un échantillon de travail et mesure les mêmes choses. Personne n'a besoin d'y penser.
- Aujourd'hui est comparé à la référence
Les petites fluctuations sont normales et ignorées. Ce qui compte, ce sont les vrais changements — au-delà du seuil fixé pour ce flux de travail.
- Une alerte part, avec un suspect
L'alerte ne dit pas seulement que quelque chose a changé. Elle nomme une cause probable : le modèle a été mis à jour, un document a vieilli, un prompt a été modifié.
- Vous ajustez la sensibilité
Chaque flux de travail a ses propres seuils : un assistant marketing bavard et un agent de facturation strict sont jugés selon leurs propres standards.
Ce qui change pour vous
Avant : vous appreniez la dérive quand un client se plaignait, puis passiez des jours à chercher quand le changement était survenu et pourquoi. Après : vous recevez une alerte peu après le changement, avec une cause probable déjà jointe, et vous pouvez réagir pendant que le problème est encore petit. La dérive cesse d'être un mystère et devient un point d'entretien, comme le bip d'une pile faible. Ce qu'il ne fera pas : il ne corrigera pas la dérive à votre place — il détecte et explique, et une personne décide encore quoi changer.