Distillation de compétence

L'asymétrie que nous tentons de combler

Un agent éduqué — votre propre environnement de travail avec accès au code, des serveurs MCP branchés, un historique de correctifs et l'obstination de continuer à itérer jusqu'à ce qu'un workflow tourne — réussit des tâches qu'un agent isolé avec les mêmes instructions rate. La raison n'est pas le prompt. C'est tout ce que l'agent éduqué porte de tacite : conventions du projet, où regarder, quels outils essayer en premier, à quoi ressemble vraiment « ça marche », comment récupérer quand un appel échoue. Écrire un document de compétence directement à partir de cette tête est de l'espoir. La distillation de compétence est la discipline qui rend l'implicite explicite, avec un test qui prouve que l'artefact est complet.

La boucle mentor-apprenti

Deux rôles, pas deux modèles. Le mentor est l'agent éduqué — il porte le contexte et sait à quoi ressemble le succès. L'apprenti est un agent frais et isolé, sans mémoire préalable. Le mentor rédige le document de compétence, le remet à l'apprenti, et l'apprenti tente la tâche sur les matériaux fournis. Le mentor évalue ensuite la sortie de l'apprenti par rapport au résultat attendu. Si l'apprenti a manqué, le mentor diagnostique ce qui était tacite — l'étape non dite, l'exemple manquant, l'hypothèse sur un outil — met à jour l'artefact, et relance l'apprenti. La boucle s'arrête lorsque l'apprenti réussit sans aucune intervention du mentor au-delà de l'artefact lui-même.

• Le mentor rédige le document depuis le contexte tacite
• Un apprenti frais exécute la tâche avec seulement le document
• Le mentor évalue contre le résultat attendu
• Le mentor révise le document ; l'apprenti relance
• La convergence est l'apprenti qui réussit sans aide

Itération sous garde de régression

Un seul cas d'usage ne suffit pas. Un document qui converge sur le cas A casse souvent sur le cas B parce que les révisions ont surajusté à A. À mesure que de nouveaux cas arrivent — naturellement depuis le travail, ou construits délibérément pour sonder une faiblesse — ils deviennent des cas de test contre le document actuel. Chaque nouveau cas entre dans une suite de régression : toute révision future doit passer A, B et tous les cas antérieurs avant de compter comme une amélioration. La suite est le jeu d'évaluation appliqué aux documents de compétence au lieu des sorties de modèle ; la discipline est la même.

• Chaque cas accepté entre dans la suite de régression
• Les révisions doivent passer toute la suite, pas seulement le nouveau cas
• Les correctifs surajustés sont détectés par les échecs de régression
• La croissance de la suite suit la couverture réelle du document

Ce qui rend un document de compétence robuste

Nommer les modes d'échec tacites que le mentor sentirait normalement (« cet outil retourne 5xx environ 1 fois sur 20 — réessayer avec ce backoff, ne pas escalader ») ; énumérer les surfaces d'outils avec des exemples réalistes plutôt que des spécifications abstraites ; inclure les chemins de récupération pour les échecs qui arrivent vraiment, pas ceux du manuel ; intégrer des étapes de vérification pour que l'apprenti puisse confirmer le succès par lui-même ; et prouver la complétude par une exécution propre de l'apprenti plutôt que par une revue du mentor. L'artefact est bon quand il peut être remis à un coéquipier, à un nouveau fournisseur ou à un modèle différent et fonctionner quand même.

Questions ouvertes que nous étudions

Quand l'évaluation du mentor diverge-t-elle de celle d'un utilisateur en aval — la convergence de la boucle garantit-elle un succès dans le monde réel, ou seulement un succès face au modèle mental du mentor ? Quel est l'écart entre « l'apprenti a exécuté ce cas » et « l'apprenti peut exécuter un cas frère que le mentor n'avait pas anticipé » ? Comment détecter qu'un document a surajusté à la suite de régression elle-même plutôt qu'à la compétence sous-jacente ? Et quel est le bon substrat pour les documents — Markdown, un schéma structuré, un runbook exécutable, un petit programme — sachant que l'apprenti les lira avec un modèle dont les préférences évoluent dans le temps ?

Où cela s'insère avec les autres axes

La personnalité synthétique, c'est ce qu'est l'agent. La mémoire agent, c'est comment il s'adapte à l'utilisateur qu'il sert. La connaissance en boucle fermée, c'est comment le système dans son ensemble s'améliore depuis les traces de production. La distillation de compétence se situe à côté de la connaissance en boucle fermée : c'est le chemin par lequel le savoir-faire de l'équipe — les choses que l'agent éduqué fait silencieusement bien — devient transférable aux agents frais, aux futurs coéquipiers et à tout modèle qui devra faire ce travail demain. Sans cela, chaque onboarding recommence à zéro.