Les 5 meilleurs outils de lignage de données open source à considérer en 2022

L'essence de gouvernance des données a pour objectif d'aider les entreprises à élaborer des politiques de données et à garantir leur respect par les utilisateurs. Ces politiques couvrent un ensemble de processus liés aux données, notamment des directives relatives à la protection, à la vérification et à l'utilisation des données. Intendants des données doit solliciter les besoins en données des utilisateurs professionnels et travailler avec les membres du conseil de gouvernance des données pour convenir de définitions de données communes, spécifier qualité des données indicateurs, articuler les politiques pertinentes et développer des méthodes pour mesurer la conformité.

Meilleurs outils de lignage de données open source

Cependant, établir un lien entre la définition des politiques de gouvernance des données et leur mise en œuvre constitue souvent un défi de taille. Ces stratégies visent à contrôler et à surveiller la qualité des données dans l'ensemble des flux de travail de l'entreprise. Or, les gestionnaires de données, investis de responsabilités clés en matière de gestion de la qualité des données, manquent souvent de formation ou de qualifications. C'est là que le problème se pose. outil de lignée de données arrive. Dans cet article, nous allons présenter 5 meilleurs outils de lignage de données open source que l'on peut trouver sur le marché de 2022.

Meilleurs outils de lignage de données open source – 1. Tokern

Présentation de Tokern :

Tokern est conçu pour le cloud entrepôts de données et lacs de données, et adopte une approche dédiée pour vous permettre d'obtenir une traçabilité des données au niveau des colonnes à partir de bases de données et d'entrepôts de données hébergés sur Google BigQuery, AWS Redshift et Snowflake. De plus, ressources Des solutions telles que SparkSQL, AWS Athena et Presto sont en cours de développement. Tokenn offre des capacités d'intégration considérables, car il fonctionne parfaitement avec la plupart des catalogues de données open source et des frameworks ETL.

Fonctionnalités de Tokern Data Lineage :

Le jeton a été publié il y a quelque temps et prend en compte les derniers modèles d'ingénierie et de conception des données. Par exemple, en plus de créer lignée de données À partir de DBCAT (répertoire de données), Tokern permet également de générer un lignage de données à partir de l'historique des requêtes ou de scripts ETL, ce qui le rend idéal pour l'intégration d'outils BI et ETL. Tokenn stocke le catalogue de données et le lignage dans une base de données PostgreSQL. Les utilisateurs peuvent accéder à cette base de données pour des analyses plus approfondies via SQL, ou l'intégrer à d'autres moteurs de visualisation et d'analyse.

Le moteur de visualisation Kedro-Viz et la bibliothèque d'analyse de graphes de réseau NetworkX sont à l'origine des excellentes capacités de visualisation et d'analyse de Tokenn. Ces bibliothèques vous permettent de suivre, de visualiser et d'analyser les données de lignage au niveau des colonnes. Vous pouvez également interagir avec les données de lignage grâce au SDK ou à l'API de Token.

Outre ses capacités de traçabilité de données de pointe, Tokern utilise PIICatcher pour détecter les informations personnelles identifiables (IPI) et les informations de santé personnelles (IPH). Cet outil intégré combine des expressions régulières avec plusieurs bibliothèques NLP standard pour la détection des PII, telles que Spacy et Stanford NER.

Meilleurs outils de lignage de données open source – 2. Egeria

Présentation d'Egeria :

Décrite comme la première norme de métadonnées open source au monde, Egeria permet d'intégrer de manière transparente des outils d'ingénierie des données pour une vue fiable et cohérente des métadonnées. Outre le catalogage et la recherche de métadonnées, la norme permet aux utilisateurs de créer des solutions plus avancées pour le traçage de la lignée des données, le contrôle de la qualité des données, l'identification des informations personnelles identifiables, et bien plus encore.

De nombreuses architectures d'ingénierie des données impliquent un important échange évitable entre les différents outils de données. Egeria s'éloigne de ce modèle et adopte un modèle en étoile, où tout passe par Egeria. Ainsi, les utilisateurs n'ont besoin que d'un seul outil pour communiquer.

Fonctionnalités d'Egeria Data Lineage :

La traçabilité des données dans Egeria utilise des normes ouvertes reconnues pour capturer et stocker une traçabilité des données appelée OpenLineage. OpenLineage vous offre également une meilleure visibilité sur vos données en fournissant un arbre généalogique horizontal et vertical des données de suivi.

Egeria écoute les événements Kafka émis par le système source afin de collecter les informations de lignage des données. Après avoir obtenu ces informations, Egeria demande aux gestionnaires de lignage de faire correspondre et de lier les graphiques de lignage qu'Egeria ne peut pas gérer. Le lignage est ensuite utilisable commercialement.

Les fonctionnalités de traçabilité des données d'Egeria sont parfaitement adaptées aux capacités de découverte et de gestion des données, de provenance des métadonnées, etc. Ces fonctionnalités, combinées à la conception et à l'architecture de traçabilité d'Egeria, en font un outil de gouvernance et de traçabilité des données performant et bien pensé.

Meilleurs outils de lignée de données open source – 3. Pachyderm

Présentation du pachyderme :

Comme Tokenn que nous venons de mentionner, Pachyderm est un autre outil spécialisé de lignage de données. Plutôt que de se concentrer sur les entrepôts de données cloud, il vise à permettre aux développeurs de créer des pipelines de machine learning indépendamment du langage et du framework.

Pachyderm a mis en œuvre un système de contrôle de version, tel que lakeFS ou Git, pour maintenir la lignée des objets de données. Les modifications apportées à ces objets (par exemple, les commits) sont capturées et stockées par Pachyderm afin de maintenir une piste d'audit complète et immuable des événements. Les pistes d'audit vous permettent de disposer d'une carte de lignée des données pour la visualisation et l'analyse, et de reproduire les données et le code à tout moment à des fins de débogage ou de conformité.

Caractéristiques de la lignée de données Pachyderm :

Pour assurer un suivi transparent de la lignée et du versionnage des données, Pachyderm utilise un référentiel central qui exploite des magasins d'objets tels qu'AWS S3 dans un système de fichiers personnalisé appelé PFS (Pachyderm File System). PFS permet à votre magasin d'objets (tel que S3) de devenir la seule véritable source de vos données avec leur historique complet.

Pachyderm assure également l'invariance de votre source de données, ce qui lui permet d'attribuer des identifiants globaux aux événements de lignage et aux objets de données. Pachyderm vous permet de traiter les diagrammes de lignage de données immuables comme des DAG dans l'interface utilisateur. Ces deux fonctionnalités sont utiles lorsque vous travaillez avec des pipelines ML et que vous souhaitez retracer les résultats jusqu'à leurs entrées.

Pachyderm s'intègre aux bases de données, entrepôts de données et lacs de données les plus répandus. De plus, vous pouvez importer des données de n'importe quelle base de données dans Pachyderm grâce à un outil d'ingestion SQL. Cependant, Pachyderm présente des limites en tant qu'outil de traçabilité de données polyvalent. C'est pourquoi la plupart de ses clients professionnels l'utilisent pour gérer les charges de travail MLOps, ETL de données non structurées et NLP.

Meilleurs outils de lignage de données open source – 4. OpenLineage

Présentation d'OpenLineage :

OpenLineage a été fondé par DataKin, l'entreprise chargée de reprendre le développement de Marquez, après son ouverture par WeWork. DataKin a confié le projet OpenLineage à la Fondation Linux en tant que projet sandbox mi-2021. Fortement inspiré par l'omniprésent OpenTelemetry dans le domaine de l'observabilité des données, OpenLineage vise à établir une norme ouverte pour la collecte et l'analyse de lignage de données.

Fonctionnalités d'OpenLineage :

L'intégration est au cœur de la conception et de la mission d'OpenLineage. Il s'intègre au framework ETL, au moteur d'orchestration des données, au répertoire de métadonnées, au moteur de qualité des données et aux outils de traçabilité des données. OpenLineage utilise JSONSchema comme définition d'API et prend en charge divers langages et frameworks. Egeria est l'un des outils de données les plus populaires, dont la couche de métadonnées principale repose sur OpenLineage.

Marquez, de WeWork, est également au cœur de l'architecture d'OpenLineage. Marquez fournit l'interface utilisateur et le référentiel de métadonnées, tandis que l'API de collecte de métadonnées provient d'OpenLineage. OpenLineage est également accessible via les API GraphQL et REST.

OpenLineage est un choix attrayant car il peut être facilement utilisé avec la plupart des piles d'ingénierie de données existantes et vous offre une large gamme de fonctionnalités intéressantes et précieuses afin que vous puissiez collecter, suivre et analyser de manière exhaustive la lignée des données.

Meilleurs outils de traçabilité de données open source – 5. TrueDat

Présentation de TrueDat :

Solution complète de gouvernance des données, TrueDat vous permet de catégoriser, de rechercher et de suivre vos données en détail. Grâce à ses fonctionnalités de traçabilité, TrueDat vous permet également de visualiser l'intégralité du cycle de vie de vos données, vous offrant ainsi un aperçu de leur évolution au fil du temps.

TrueDat a été créé par BlueTab (une société IBM) en 2017 et est en développement actif depuis lors, avec sa dernière version, V4.39, publiée en mars 2022.

Fonctionnalités de la lignée de données TrueDat :

TrueDat vous permet d'utiliser le traçage des données pour analyser l'impact des modifications apportées à la base de données et mieux comprendre la logique métier de vos rapports. Il vous permet de suivre le traçage d'un objet de données avec une visibilité instantanée. Pour une analyse avancée, vous pouvez également appliquer des filtres aux objets de traçage afin d'examiner des parties spécifiques du diagramme de traçage. Outre la représentation graphique affichée dans l'interface utilisateur, vous pouvez télécharger les informations de traçage des données collectées dans un fichier CSV. Grâce à ses excellentes fonctionnalités de gouvernance et de traçage des données, TrueDat est un véritable atout pour résoudre vos problèmes de traçage des données.

Conclusion

Merci d'avoir lu notre article et nous espérons qu'il pourra vous aider à trouver le meilleurs outils de lignée de données open sourceSi vous souhaitez en savoir plus sur la lignée des données, nous vous conseillons de visiter Gudu SQLFlow pour plus d'informations.

En tant que l'un des meilleurs outils de lignage de données Disponible sur le marché aujourd'hui, Gudu SQLFlow peut non seulement analyser les fichiers de script SQL, mais aussi obtenir lignée de données, et effectuer un affichage visuel, mais permettent également aux utilisateurs de fournir une lignée de données au format CSV et d'effectuer un affichage visuel. (Publié par Ryan le 14 juillet 2022)