Cartographie du lignage
Un arbre généalogique pour vos données — d'où vient chaque table et chaque colonne, et tout ce qu'elles alimentent — pour que « si je change ceci, qu'est-ce qui brise ? » prenne une requête au lieu d'une semaine.
Comme la traçabilité sur un emballage alimentaire : de cette ferme, par ce moulin, jusqu'à ce pain. Le lignage, c'est cette trace pour vos données — chaque chiffre d'un tableau de bord peut être remonté, transformation par transformation, jusqu'à sa source, et suivi vers l'avant jusqu'à tout ce qui s'en apercevrait s'il changeait.
Le problème, en mots simples
Quelqu'un veut renommer une colonne, ou retirer une vieille table, et pose la question fatale : « est-ce que quelqu'un l'utilise encore ? » La réponse honnête, c'est que personne ne le sait. Alors soit le changement se fait bravement — et trois semaines plus tard, un rapport dans un autre service brise en silence — soit il ne se fait pas du tout, et l'entrepôt continue d'accumuler des tables que personne n'ose toucher. Pendant ce temps, un vérificateur demande d'où vient un chiffre réglementaire, et la réponse prend une semaine d'archéologie.
Ce que nous mettons en place
Nous faisons rapporter à chaque outil du pipeline ce qu'il lit et ce qu'il écrit. Des émetteurs utilisant un standard ouvert (OpenLineage) s'attachent à chaque moteur — l'outil de transformation (dbt), les moteurs de traitement (Spark, Flink), l'orchestrateur (Airflow) — et chaque exécution rapporte quelles colonnes elle a lues et lesquelles elle a écrites. Ces rapports alimentent un système de lignage (Marquez, DataHub, Atlan ou OpenMetadata) qui assemble l'arbre généalogique complet, jusqu'à la colonne près. Ce graphe est interrogeable, et il se connecte aux permissions du catalogue de données — alors « qui peut voir ce qui dérive de cette colonne sensible ? » devient une seule question, pas un projet de recherche.
Comment ça fonctionne, étape par étape
- Chaque moteur rapporte ses gestes
Chaque exécution du pipeline consigne ce qu'elle a lu et écrit, dans un format ouvert commun, automatiquement — personne n'entretient un diagramme à la main.
- Les rapports bâtissent l'arbre
Le système de lignage tisse les rapports en un seul graphe : de la source à la table, à la colonne, au tableau de bord.
- L'interroger avant de changer quoi que ce soit
Une requête d'analyse d'impact liste tout ce qui est en aval d'une colonne — chaque table, tableau de bord et consommateur qui sentirait le changement.
- Remonter tout chiffre à sa source
D'un chiffre de tableau de bord jusqu'aux enregistrements bruts, transformation par transformation. Les audits suivent la trace au lieu d'interviewer des gens.
- Le croiser avec les permissions
Parce que le graphe se connecte au catalogue, les données sensibles se suivent à travers leurs dérivés — qui peut voir ce qui vient de quoi.
Ce qui change pour vous
Avant : les changements de schéma se font bravement ou pas du tout, et les audits relèvent de l'archéologie. Après : tout changement commence par une requête qui liste exactement ce qui sera touché, retirer une table commence par la liste de ses vrais consommateurs, et « d'où vient ce chiffre ? » a une réponse visuelle. Ce qu'il ne fera pas : il ne peut tracer que ce qui passe par des outils instrumentés. Le chiffrier que quelqu'un entretient à la main sur son portable reste invisible au graphe — jusqu'à ce que son processus rejoigne le pipeline.