Analyse de cause racine
Déterminer quelle partie du système a réellement causé un lot de mauvaises conversations — la recherche, le raisonnement, les outils, les documents ou les règles — pour que le correctif aille là où le problème vit.
Si votre pneu se dégonfle sans arrêt, le rapiécer encore n'est pas la solution — trouver le clou dans votre entrée de cour, oui. L'analyse de cause racine, c'est ça, pour les conversations d'IA : au lieu de réécrire le prompt une troisième fois, elle détermine quelle partie du système a vraiment failli, et envoie le correctif là.
Le problème, en mots simples
Une grappe de mauvaises conversations apparaît et l'équipe fait ce que les équipes font : elle retouche le prompt. Parfois ça marche. Souvent, le prompt n'a jamais été le problème — la recherche a sorti les mauvais documents, ou les documents eux-mêmes étaient périmés, ou l'IA a bien raisonné mais a appelé le mauvais outil, ou une règle de sécurité a bloqué une réponse qu'elle aurait dû permettre. Traitez chaque échec comme un problème de prompt et vous livrerez trois fois le même correctif de prompt pendant que la vraie cause reste intouchée — et la grappe revient aussitôt.
Ce que nous mettons en place
Nous prenons un échantillon de fils d'une mauvaise grappe et nous les rejouons avec la trace complète (le registre de ce que le système a fait à chaque étape : ce qu'il a cherché, ce qu'il a trouvé, comment il a raisonné, ce qu'il a appelé). La trace ouverte, chaque échec est classé dans une de cinq causes : récupération — la recherche a retourné les mauvais documents ; raisonnement — bons documents, mauvaise conclusion ; outil — bonne conclusion, mauvaise action posée ; connaissance — le document source lui-même était faux ou périmé ; ou politique — la réponse était bonne mais une règle l'a bloquée à tort. La grappe est ensuite acheminée à l'équipe qui possède cette cause, et la fermeture est suivie par catégorie, pour que vous voyiez avec le temps quelle partie de votre système génère le plus de trouble.
Comment ça fonctionne, étape par étape
- Une mauvaise grappe est choisie
Un groupe d'échecs reliés, souvent tiré directement du regroupement de fils défaillants, devient le cas à résoudre.
- Un échantillon est rejoué avec les traces
Pour chaque fil échantillonné, le registre complet est ouvert : ce qui a été cherché, trouvé, raisonné et fait.
- Chaque échec est diagnostiqué
Il reçoit une de cinq causes : récupération, raisonnement, outil, connaissance ou politique — chacune pointant vers une partie différente du système.
- Le correctif est acheminé à son responsable
Un problème de récupération va à l'équipe de recherche, un document périmé à son auteur, un refus injustifié à qui possède les règles.
- La fermeture est suivie par catégorie
Les grappes corrigées sont surveillées pour la récidive, et les catégories de cause sont comptées dans le temps — montrant où le système est le plus faible.
Ce qui change pour vous
Avant : les correctifs chassaient les symptômes — les prompts se réécrivaient à l'instinct, certaines grappes s'amélioraient sans que personne sache pourquoi, d'autres revenaient un mois plus tard. Après : chaque grappe porte un diagnostic, le correctif atterrit dans la partie du système qui a vraiment failli, et la récidive baisse parce que le clou est sorti de l'entrée de cour. Ce qu'il ne fera pas : il ne diagnostiquera pas une plainte isolée — il lui faut une grappe d'échecs reliés et leurs traces pour valoir l'effort.