Pourquoi la lignée des données est-elle importante et pourquoi est-elle si difficile ?
Le changement comporte des risques. C'est l'un des principes fondamentaux du développement logiciel que la plupart d'entre nous apprenons dès le début de notre carrière. Pourtant, malgré ces leçons de vie maintes fois répétées, le risque semble toujours présent. Notre incapacité à prévoir l'impact du changement, même minime, conduit souvent à des conséquences négatives. Ce problème est exacerbé par la complexité croissante des systèmes informatiques interconnectés. Il devient de plus en plus difficile de prédire comment même de petites modifications affecteront les systèmes en amont ou en aval. Lignée de données Elle y parvient, mais le faire bien est extrêmement difficile.
Pourquoi la traçabilité des données est-elle importante ?
Dans l'ancien monde, les données étaient cloisonnées et peu interconnectées. Aujourd'hui, elles circulent dans de multiples directions entre de nombreux systèmes. Nombre de ces systèmes partagent des données avec des organisations externes, ce qui signifie que l'information se propage ensuite vers leurs systèmes internes. Par conséquent, il est plus facile que jamais d'ignorer l'impact d'une simple modification sur plusieurs autres systèmes.
Par exemple, imaginons que votre entreprise propose une application mobile permettant aux clients de demander rapidement et facilement de nouvelles interventions. Auparavant, vos clients pouvaient préciser les variantes de produits dont ils disposaient. Votre équipe de conception a déterminé que, puisque ces informations sont déjà présentes dans votre base de données CRM, il n'est plus nécessaire de les recueillir auprès des utilisateurs de votre application mobile.
Votre tâche consistait à simplifier l'application ; vous avez donc supprimé ce champ de saisie et l'avez remplacé par une requête permettant d'extraire les informations produit du client depuis votre CRM. En théorie, l'ordre de travail généré devrait contenir toutes les informations nécessaires à vos techniciens sur le terrain pour réaliser leur intervention.
Malheureusement, un problème est survenu : certaines fiches produits clients de votre système CRM contiennent des valeurs nulles. Votre application mobile recherchait ces informations, mais elle a transmis des résultats invalides à votre système de gestion des tickets. Vos techniciens de terrain ne savent donc plus comment préparer leur prochaine intervention.
Cela semble relativement simple. qualité des données Ce problème aurait pu être anticipé avec un examen plus approfondi des données CRM. Toutefois, si les valeurs nulles dans la base de données CRM n'ont été introduites que plus tard, même une analyse plus poussée pourrait ne pas le résoudre. Par exemple, si vous intégrez les données clients d'une entreprise récemment acquise à votre système CRM, il se peut que vous ne disposiez pas des informations produits associées à ces nouveaux enregistrements.
Parfois, ces problèmes sont plus difficiles à prévoir et peuvent ne pas être immédiatement apparents. Imaginez ce qui se passe lorsque votre équipe marketing décide de redéfinir ses critères de segmentation client. Un nouveau champ de données est ajouté pour spécifier la catégorie de client, ce qui renseigne automatiquement toutes les valeurs client, et l'ancien champ est jugé obsolète.
À l'insu du service marketing, la direction de l'entreprise consultait encore des données obsolètes. Les tableaux de bord qu'elle utilisait reposaient sur des données issues de champs obsolètes. De nouveaux clients étaient ajoutés quotidiennement, mais personne ne saisissait de valeur dans ces champs. Par conséquent, les équipes dirigeantes interprétaient des données faussées. Du jour au lendemain, les indicateurs clés de performance (KPI) suivis par la haute direction étaient très différents de ceux du reste de l'organisation. Pire encore, personne ne s'était aperçu du problème avant des semaines, voire des mois.
Imaginons maintenant un scénario similaire, mais au lieu d'alimenter un tableau de bord de direction, le système source fournit des données à un algorithme d'IA qui génère des recommandations clients sur votre site e-commerce. Lorsqu'une IA est entraînée sur des données erronées, ou si ces données subissent des modifications importantes, l'efficacité de la technologie peut s'en trouver fortement compromise. Dans ce cas précis, cela fausse votre système de recommandations clients.
Relever les défis liés à la traçabilité des données
Outils de lignage de données proposer une approche systématique pour comprendre l'impact des changements en fournissant une feuille de route complète des impacts potentiels en amont et en aval.
Cela équivaut à une réduction des risques et à une maîtrise des coûts. Si nous pouvons anticiper l'impact des modifications sur les autres systèmes, nous pouvons éviter les problèmes évoqués précédemment. Il en résulte une réduction des efforts inutiles, une mise sur le marché plus rapide et des coûts moindres. Nous savons tous que les problèmes identifiés en amont du processus de développement sont résolus plus rapidement et à moindre coût. La traçabilité des données constitue un chaînon essentiel qui manquait jusqu'alors, et les problèmes peuvent être identifiés avant même d'atteindre le service d'assurance qualité.
Il y a également des avantages à gouvernance des données et la conformité. Lorsque l'Union européenne a adopté le Règlement général sur la protection des données (RGPD) en 2016, elle a imposé de nouvelles exigences aux systèmes contenant des données personnelles. Si un client vous demande de supprimer ses données, vous êtes légalement tenu de vous conformer à sa demande. Mais quelles sont les conséquences de ce changement en amont et en aval ? Risque-t-il de perturber le fonctionnement de votre système ? Ou certaines données personnelles du client resteront-elles stockées ailleurs dans votre système, vous exposant ainsi à une infraction ?
La traçabilité des données permet de résoudre ces problèmes en automatisant la détection des impacts en amont et en aval. Elle offre une auditabilité claire qui aide à déterminer l'origine des modifications et la façon dont les données ont atteint leur état actuel.
Traçabilité des données au niveau des colonnes Cette tâche est particulièrement complexe car elle nécessite l'analyse des requêtes SQL pour identifier précisément les modifications apportées et leur nature, ce qui implique l'exploitation des journaux de base de données. Or, la multitude d'éditeurs de bases de données, chacun utilisant son propre dialecte SQL, rend l'analyse de ces informations particulièrement difficile pour différentes bases de données. De plus, les outils de traçabilité des données doivent évoluer au fil du temps pour s'adapter à ces changements de dialecte SQL.
La traçabilité des données au niveau des colonnes prendra une importance croissante à mesure que les systèmes interconnectés étendront leur portée et que le flux d'informations s'accélérera. Aujourd'hui, c'est un outil précieux qui permet de gagner du temps, de l'énergie et de l'argent. Bientôt, la traçabilité des données deviendra indispensable.
Conclusion
Merci d'avoir lu notre article. Nous espérons qu'il vous aura permis de mieux comprendre l'importance et la complexité de la traçabilité des données. Pour en savoir plus, nous vous invitons à consulter [lien manquant]. Gudu SQLFlow pour plus d'informations.
En tant que l'un des meilleurs outils de lignage de données Disponible sur le marché aujourd'hui, Gudu SQLFlow peut non seulement analyser les fichiers de script SQL, obtenir la lignée des données et effectuer un affichage visuel, mais également permettre aux utilisateurs de fournir la lignée des données au format CSV et d'effectuer un affichage visuel. (Publié par Ryan le 23 juillet 2022)