Portes de qualité des données
Des points de contrôle sur le trajet de vos données qui arrêtent les mauvais enregistrements avant qu'ils se répandent — les problèmes sont attrapés à la porte, pas sur le tableau de bord d'un dirigeant.
Pensez au contrôle de qualité sur une chaîne de montage. On inspecte les pièces à la réception, encore après l'assemblage, et une dernière fois avant l'expédition — parce qu'un défaut attrapé tôt est une petite réparation, et le même défaut trouvé par un client est une très mauvaise journée. Les portes de qualité, ce sont ces postes d'inspection, pour des données.
Le problème, en mots simples
Les chiffres trimestriels semblent bizarres. Un dirigeant le remarque avant l'équipe de données. La pression monte : trois personnes lâchent ce qu'elles faisaient et creusent à reculons dans le pipeline — tableau de bord, table, tâche, source — jusqu'à trouver, une semaine plus tard : un système source a commencé à envoyer des valeurs vides dans un champ il y a un mois, et chaque calcul en aval les a absorbées en silence. Le bogue a pris une minute à corriger. Le trouver a pris une semaine. Et les chiffres ont été faux devant la direction tout ce temps-là.
Ce que nous mettons en place
Nous installons des points de contrôle à trois endroits du pipeline, avec des outils de validation établis (Great Expectations, Soda, les tests dbt ou Monte Carlo). À la porte — quand les données arrivent — des contrôles vérifient la forme et la part de valeurs manquantes. En cours de route — pendant la transformation — des contrôles vérifient les règles d'affaires : des totaux qui doivent balancer, des dates qui ne peuvent pas être dans le futur, des montants qui ne peuvent pas être négatifs. À la sortie — avant la publication vers les tableaux de bord et les agents — des contrôles vérifient la fraîcheur et le nombre de lignes, pour attraper le jour où un flux livre en silence la moitié de son volume habituel. Quand un contrôle échoue, le flot s'arrête là, et le propriétaire de la source fautive est avisé avec les mauvais enregistrements joints.
Comment ça fonctionne, étape par étape
- Vérifier la forme à la porte
Les données qui arrivent sont testées pour la bonne structure et un taux normal de valeurs manquantes. Mauvaise forme ? Ça s'arrête ici.
- Vérifier le bon sens en cours de route
Les règles d'affaires s'exécutent pendant la transformation : des sommes qui doivent balancer, des valeurs dans des fourchettes plausibles, des dates qui ont du sens.
- Vérifier le pouls avant de publier
Fraîcheur et volume sont vérifiés en dernier — des données périmées ou étrangement minces n'atteignent jamais les tableaux de bord.
- Arrêter la chaîne en cas d'échec
Un contrôle échoué bloque le mauvais lot avant l'aval. Les bonnes données d'hier restent en place ; le déluge de chiffres faux n'a pas lieu.
- Aviser le propriétaire avec les preuves
L'équipe propriétaire de la source fautive reçoit l'alerte, avec les enregistrements exacts qui ont échoué — la réparation commence tout de suite, avec le contexte.
Ce qui change pour vous
Avant : les mauvaises données se découvrent en aval, par les mauvaises personnes, au pire moment — et le nettoyage relève de l'enquête. Après : elles sont attrapées à une porte, attribuées à une source et corrigées par l'équipe qui en est responsable — souvent avant que quiconque en aval s'en aperçoive. Votre équipe de données cesse de porter le blâme pour les problèmes des autres en amont. Ce qu'il ne fera pas : il n'attrape que ce qu'une règle teste. Une valeur fausse mais plausible — un prix d'apparence normale mais simplement incorrect — passera, à moins que quelqu'un écrive la règle qui l'attraperait.