Techniques, meilleures pratiques et outils de lignage de données

Qu'est-ce que lignée de données? Quels sont les techniques de lignage de données, bonnes pratiques et outils ? Dans cet article, nous répondrons à ces questions une par une.

La lignée de données documente le passage des données à travers les systèmes informatiques d'une entreprise, montrant comment elles circulent entre eux et les transforment pour différents usages. Elle utilise métadonnées (données sur les données) pour permettre aux utilisateurs finaux et aux professionnels de la gestion des données de suivre l'historique des actifs de données et d'obtenir des informations sur leur importance commerciale ou leurs attributs techniques.

Par exemple, les enregistrements de lignée de données peuvent aider scientifiques des données, autre analystes de données, et les utilisateurs professionnels comprennent les données qu'ils utilisent et s'assurent qu'elles répondent à leurs besoins d'information. La traçabilité des données joue également un rôle important dans gouvernance des données, maître gestion des donnéeset les programmes de conformité. Ces initiatives simplifient notamment deux procédures clés de gouvernance des données : l'analyse des causes profondes des qualité des données problèmes et impact des modifications des ensembles de données.

Techniques, meilleures pratiques et outils de lignage de données

Les informations sur la lignée des données sont principalement collectées à partir des systèmes d'exploitation (lors du traitement des données) et à partir de entrepôts de données et lacs de données – où sont stockés les jeux de données destinés aux applications de BI et d'analyse. Outre une documentation détaillée, des diagrammes de flux de données et des schémas peuvent être créés pour fournir une vue visuelle de la traçabilité des données associée aux processus métier. Pour simplifier l'accès des utilisateurs finaux aux informations de traçabilité, celles-ci sont souvent intégrées dans un catalogue de données, qui répertorie les actifs de données et les métadonnées qui leur sont associées.

Pourquoi la lignée des données est-elle importante ?

Les informations sur la traçabilité des données sont essentielles à la gestion et à l'analyse des données. Les détails de la traçabilité aident les entreprises à gérer et à utiliser efficacement les données. Sans accès à ces informations, il sera difficile pour les entreprises d'exploiter pleinement la valeur commerciale potentielle des données.

Voici les avantages offerts par la lignée de données:

Analyses plus précises et plus utiles. En permettant aux équipes d'analyse et aux utilisateurs métier de connaître l'origine et la signification des données, la traçabilité des données améliore leur capacité à trouver plus rapidement les données nécessaires à la BI et à la data science. Cela permet d'obtenir de meilleurs résultats analytiques et d'accroître la probabilité que les analyses de données fournissent des informations pertinentes pour orienter les décisions commerciales.

Meilleure gouvernance des données. La traçabilité des données permet également de suivre les données et d'exécuter d'autres étapes clés du processus de gouvernance. Elle aide les responsables et les membres de l'équipe de gouvernance des données à garantir la validité, la propreté et la cohérence des données, ainsi que leur protection, leur gestion et leur utilisation appropriées.

Renforcement de la sécurité des données et de la protection de la confidentialité. Les entreprises peuvent utiliser les informations de traçabilité des données pour identifier les données sensibles nécessitant une sécurité particulièrement renforcée. Elles peuvent également servir à définir différents niveaux d'accès utilisateur en fonction des politiques de sécurité et de confidentialité des données, et à évaluer les risques potentiels liés aux données dans le cadre d'une stratégie de gestion des risques d'entreprise.

Améliorez la conformité réglementaire. La traçabilité des données offre de meilleures protections de sécurité, ce qui peut aider les entreprises à se conformer aux lois sur la confidentialité des données et autres réglementations. Une traçabilité des données bien documentée facilite également la réalisation d'audits de conformité internes et la création de rapports de conformité.

Simplifier la gestion des données. Outre l'amélioration de la qualité des données, la traçabilité des données facilite diverses autres tâches de gestion des données. Parmi les exemples, on peut citer la gestion des migrations de données, le démantèlement des silos de données, ainsi que la détection et la correction des lacunes dans les ensembles de données.

Lignée des données, classification des données et provenance des données

La lignée des données est également étroitement liée aux deux processus de gestion des données que sont la classification et la provenance des données. Voyons ce que sont ces processus et en quoi ils diffèrent de la lignée des données et s'y rapportent.

• Classification des données. Cela implique de classer les données en différentes catégories selon leurs caractéristiques, principalement à des fins de sécurité et de conformité. La classification permet de classer les données selon leur sensibilité, par exemple : informations personnelles, exclusives, confidentielles ou publiques. Cela permet de distinguer les ensembles de données nécessitant des niveaux de sécurité et des contrôles d'accès plus stricts de ceux qui n'en nécessitent pas. Le lignage des données fournit des informations sur un ensemble de données qui aident à le classer.
• Provenance des données. On la considère parfois comme synonyme de lignage des données, tandis que la provenance des données est perçue comme une approche plus précise de la provenance des données, incluant leur système source et leur mode de génération. Dans ce cas, lignage et provenance des données peuvent fonctionner ensemble, cette dernière fournissant une documentation de haut niveau sur l'origine des données et leur signification.

Lignée et gouvernance des données

L'essence même de la gouvernance des données réside dans la création de politiques de données d'entreprise et dans l'assurance de leur respect par les individus. Ces politiques peuvent s'étendre à l'intention et inclure des directives concernant la protection, la vérification et l'utilisation des données. Les responsables de la gouvernance des données et gestionnaires de données doit recueillir les besoins en données des utilisateurs professionnels et travailler avec les membres du comité de gouvernance des données décisionnel pour convenir de définitions communes des données, spécifier les mesures de qualité des données et développer des politiques et des procédures connexes.

Cependant, il existe un fossé entre la définition des politiques de gouvernance des données et leur déploiement, et combler ce fossé constitue un défi majeur. C'est là qu'intervient la traçabilité des données. Elle documente les sources et les flux de données, permettant aux équipes de gouvernance de surveiller la circulation des données dans le système, ainsi que leur modification et leur utilisation. Les informations de traçabilité les aident à garantir la mise en place de contrôles de sécurité et d'accès aux données appropriés, et à stocker, maintenir et utiliser les données conformément aux politiques de gouvernance.

La traçabilité des données peut également simplifier certaines tâches liées à la gouvernance. Par exemple, sans moyen de déterminer où les erreurs de données ont été introduites dans le système, il peut être difficile pour les gestionnaires de données et les analystes de la qualité des données de les identifier et de les corriger. Cela a des conséquences : si les failles de données ne sont pas détectées, les entreprises peuvent se retrouver avec des résultats d'analyse incohérents ou inexacts, ce qui peut entraîner de mauvaises décisions.

Dans l'analyse des causes profondes des erreurs de données, les enregistrements de traçabilité offrent une visibilité sur la séquence des étapes de traitement d'un ensemble de données. Les entreprises peuvent vérifier le niveau de qualité à chaque étape afin d'identifier les sources d'erreurs. En remontant à partir du moment où l'erreur a été découverte, les gestionnaires de données peuvent vérifier si les données répondent aux attentes initiales ou si elles contenaient des erreurs à ce moment-là. En identifiant précisément l'étape où les données sont conformes à l'entrée, mais défectueuses à la sortie, les équipes impliquées dans un programme de gouvernance des données peuvent éliminer la cause profonde des erreurs, et non pas simplement corriger les données erronées.

La lignée des données est également utile lors de la réalisation d'une analyse d'impact pour comprendre les problèmes causés par les changements de format et de structure des données sources, un problème courant dans l'environnement de données de plus en plus dynamique d'aujourd'hui.

Toute modification des données peut avoir des conséquences imprévues. En travaillant dès la création ou la collecte des données, les gestionnaires de données peuvent s'appuyer sur la documentation de traçabilité des données pour suivre leurs dépendances et identifier les étapes de traitement affectées par les modifications. Ces étapes peuvent ensuite être repensées pour s'adapter aux changements et garantir la cohérence des données entre les systèmes.

Techniques clés de lignée de données

Les entreprises peuvent utiliser diverses techniques pour collecter et enregistrer les informations de traçabilité des données. Ces techniques ne sont pas nécessairement exclusives, et les entreprises peuvent utiliser plusieurs technologies de traçabilité, selon les exigences de leurs applications et la nature de leur environnement de données. Les méthodes disponibles incluent :

Techniques, meilleures pratiques et outils de lignage de données

Techniques clés de traçabilité des données – 1. Balisage des données. L'examen des métadonnées permet d'appliquer des étiquettes aux jeux de données pour les décrire et les caractériser à des fins de traçabilité. Le balisage peut être effectué manuellement par les gestionnaires de données, les autres membres de l'équipe de gouvernance des données et les utilisateurs finaux, ou automatiquement par logiciel. Par exemple : outils de lignage de données et les capacités de lignage intégrées aux logiciels de gouvernance des données incluent souvent des algorithmes automatisés, que les utilisateurs peuvent exécuter pour étiqueter les ensembles de données.

Techniques clés de lignage de données – 2. Lignage basé sur des modèles. Cette approche recherche des modèles dans plusieurs ensembles de données, tels que des éléments de données, des lignes et des colonnes similaires. Leur présence indique que les ensembles de données sont liés les uns aux autres et peuvent faire partie d'un flux de données, tandis que les différences de valeurs ou d'attributs de données indiquent que les données ont été transformées lors de leur transfert d'un système à un autre. Transformations de données et les flux de données peuvent ensuite être enregistrés dans le cadre d'un enregistrement de lignée de données.

Techniques clés de lignage des données – 3. Lignage basé sur l'analyse. Dans ce cas, les outils de lignage des données analysent la logique de transformation des données, les fichiers journaux d'exécution, les workflows d'intégration de données et d'autres codes de traitement de données pour identifier et extraire les informations de lignage. L'analyse offre une approche de bout en bout pour le suivi du lignage des données dans différents systèmes et peut être plus précise que le lignage basé sur les schémas, mais aussi plus complexe.

Techniques clés de traçabilité des données – 4. Une autre approche, entièrement manuelle, consiste à interroger les utilisateurs métier, les analystes BI, les data scientists, les gestionnaires de données, les développeurs d'intégration de données et d'autres collaborateurs afin de comprendre comment les données circulent dans le système, sont utilisées et modifiées. Les informations recueillies peuvent servir à cartographier les flux et les transformations de données, et servir éventuellement de point de départ à la planification de la traçabilité des données avant le déploiement de techniques plus automatisées.

Meilleures pratiques en matière de lignée de données

Voici quelques bonnes pratiques pour vous aider à maintenir le processus de lignage des données sur la bonne voie et à garantir qu'il fournit des informations précises et utiles sur votre ensemble de données :

• Impliquez les dirigeants et les utilisateurs dès le départ. Un programme de gouvernance des données nécessite le soutien et l'implication de la direction pour réussir, tout comme la traçabilité des données. L'obtention du soutien de la haute direction est une condition préalable à l'approbation et au financement. Les dirigeants et les employés doivent également être impliqués afin de garantir que les équipes de gestion des données comprennent parfaitement l'utilisation des données dans les processus métier et de vérifier la pertinence et la validité des informations de traçabilité des données.
• Documentez le lignage des données métier et techniques. Le lignage métier s'intéresse particulièrement à la provenance des données, à leur circulation et à leur contexte métier. Le lignage technologique fournit des détails sur les transformations, les intégrations et les pipelines de données, ainsi qu'une combinaison de vues de lignage au niveau des tables, des colonnes et des requêtes. La collecte de ces deux informations fournit des informations utiles aux utilisateurs métier et aux équipes d'analyse, d'une part, et aux architectes de données, modélisateurs de données, analystes de la qualité des données et autres professionnels de l'informatique, d'autre part.
• Corrélez la traçabilité des données aux besoins métier et informatiques réels. La traçabilité des données ne doit pas être un exercice théorique. Pour générer les bénéfices escomptés, elle doit contribuer à améliorer les décisions et les stratégies métier, ainsi qu'à une gouvernance et une qualité des données plus efficaces et à d'autres avantages en matière de gestion des données. Dans le cas contraire, il s'agira probablement d'un investissement gaspillé.
• Déployer une approche de traçabilité des données à l'échelle de l'entreprise. Se concentrer sur le processus de traçabilité de certains ensembles de données n'est pas aussi utile qu'il pourrait l'être. Pour être vraiment rentable, il faut un effort global impliquant toutes les données de l'entreprise, avec un référentiel de métadonnées unique pour soutenir le traçabilité.
• Créez un catalogue de données contenant des informations de traçabilité intégrées. Trouver et comprendre des données pertinentes représente souvent un défi majeur pour les utilisateurs de BI et d'analytique. En créant un catalogue de données, les équipes de gestion des données peuvent leur fournir un inventaire des données disponibles, incluant également des informations de traçabilité.

Que rechercher dans un outil de lignage de données ?

La collecte manuelle des métadonnées et la documentation de la lignée des données nécessitent un investissement important. ressources. Elle est également sujette aux erreurs et peut engendrer de graves problèmes, d'autant plus que les entreprises s'appuient de plus en plus sur l'analyse de données pour piloter leurs opérations. Par conséquent, pour une meilleure gouvernance des données, il est conseillé de rechercher des outils permettant de gérer les représentations de lignage des données et de les cartographier automatiquement dans toute l'entreprise.

Si vous décidez d'aller de l'avant avec le processus d'évaluation technique en vue d'un éventuel achat, vous devez rechercher des outils de lignée de données capables de :

• Accéder localement à une large gamme de sources de données et de produits de données, étudier les métadonnées qu'ils contiennent et les collecter pour la gouvernance des données, de plus en plus grâce à l'utilisation d'algorithmes d'intelligence artificielle et d'apprentissage automatique ;
• Regrouper les métadonnées capturées dans un référentiel centralisé ;
• Déduire les types de données et faire correspondre les utilisations courantes des données de référence aux éléments de données de différents systèmes ;
• Fournir aux utilisateurs finaux une présentation simplifiée des métadonnées agrégées et soutenir la collaboration pour valider les descriptions des métadonnées ;
• Une cartographie de bout en bout de la manière dont les données circulent dans les systèmes d’une organisation ;
• Générer une représentation visuelle de la lignée des données ;
• Fournit une API permettant aux développeurs de créer des applications capables d’interroger les enregistrements de lignée ;
• Créez des index inversés qui mappent les noms des éléments de données à leurs utilisations à différentes étapes du traitement ;
• Fournir des capacités de recherche pour suivre rapidement le flux de données d'un point source de données vers une cible en aval ;
• Permet aux utilisateurs de surveiller le flux de données vers l'avant et vers l'arrière.

Conclusion

Merci d'avoir lu notre article et nous espérons qu'il vous aidera à mieux comprendre les techniques, les bonnes pratiques et les outils de traçabilité des données. Pour en savoir plus sur les techniques et les outils de traçabilité des données, nous vous conseillons de consulter notre site. Gudu SQLFlow pour plus d'informations.

En tant que l'un des meilleurs outils de lignée de données disponibles sur le marché aujourd'hui, Gudu SQLFlow peut non seulement analyser les fichiers de script SQL, obtenir la lignée des données et effectuer un affichage visuel, mais également permettre aux utilisateurs de fournir la lignée des données au format CSV et d'effectuer un affichage visuel. (Publié par Ryan le 8 août 2022)