{"id":5110,"date":"2022-07-14T07:53:44","date_gmt":"2022-07-14T15:53:44","guid":{"rendered":"https:\/\/www.gudusoft.com\/?p=5110"},"modified":"2022-07-15T05:12:40","modified_gmt":"2022-07-15T13:12:40","slug":"best-open-source-data-lineage-tools","status":"publish","type":"post","link":"https:\/\/www.gudusoft.com\/fr\/meilleurs-outils-de-lignage-de-donnees-open-source\/","title":{"rendered":"Les 5 meilleurs outils de lignage de donn\u00e9es open source \u00e0 consid\u00e9rer en 2022"},"content":{"rendered":"

Les 5 meilleurs outils de lignage de donn\u00e9es open source \u00e0 consid\u00e9rer en 2022<\/h2>\n

L'essence de gouvernance des donn\u00e9es<\/strong><\/a> a pour objectif d'aider les entreprises \u00e0 \u00e9laborer des politiques de donn\u00e9es et \u00e0 garantir leur respect par les utilisateurs. Ces politiques couvrent un ensemble de processus li\u00e9s aux donn\u00e9es, notamment des directives relatives \u00e0 la protection, \u00e0 la v\u00e9rification et \u00e0 l'utilisation des donn\u00e9es. Intendants des donn\u00e9es<\/strong><\/a> doit solliciter les besoins en donn\u00e9es des utilisateurs professionnels et travailler avec les membres du conseil de gouvernance des donn\u00e9es pour convenir de d\u00e9finitions de donn\u00e9es communes, sp\u00e9cifier qualit\u00e9 des donn\u00e9es<\/strong><\/a> indicateurs, articuler les politiques pertinentes et d\u00e9velopper des m\u00e9thodes pour mesurer la conformit\u00e9.<\/p>\n

\"Meilleurs

Meilleurs outils de lignage de donn\u00e9es open source<\/p><\/div>\n

Cependant, \u00e9tablir un lien entre la d\u00e9finition des politiques de gouvernance des donn\u00e9es et leur mise en \u0153uvre constitue souvent un d\u00e9fi de taille. Ces strat\u00e9gies visent \u00e0 contr\u00f4ler et \u00e0 surveiller la qualit\u00e9 des donn\u00e9es dans l'ensemble des flux de travail de l'entreprise. Or, les gestionnaires de donn\u00e9es, investis de responsabilit\u00e9s cl\u00e9s en mati\u00e8re de gestion de la qualit\u00e9 des donn\u00e9es, manquent souvent de formation ou de qualifications. C'est l\u00e0 que le probl\u00e8me se pose. outil de lign\u00e9e de donn\u00e9es<\/strong><\/a> arrive. Dans cet article, nous allons pr\u00e9senter 5 meilleurs outils de lignage de donn\u00e9es open source<\/strong> que l'on peut trouver sur le march\u00e9 de 2022.<\/p>\n

Meilleurs outils de lignage de donn\u00e9es open source \u2013 1. Tokern<\/h3>\n

Pr\u00e9sentation de Tokern\u00a0:<\/strong><\/p>\n

Tokern est con\u00e7u pour le cloud entrep\u00f4ts de donn\u00e9es<\/a><\/strong> et lacs de donn\u00e9es<\/a><\/strong>, and takes a dedicated approach to enabling you to obtain column-level data lineage from databases and data warehouses hosted on Google BigQuery, AWS Redshift, and Snowflake. In addition, more resources such as SparkSQL, AWS Athena, and Presto are in development. Tokenn has considerable integration capabilities because it works well with most of the open source data catalogs and ETL frameworks.<\/p>\n

Fonctionnalit\u00e9s de Tokern Data Lineage\u00a0: <\/strong><\/p>\n

Le jeton a \u00e9t\u00e9 publi\u00e9 il y a quelque temps et prend en compte les derniers mod\u00e8les d'ing\u00e9nierie et de conception des donn\u00e9es. Par exemple, en plus de cr\u00e9er lign\u00e9e de donn\u00e9es<\/strong><\/a> \u00c0 partir de DBCAT (r\u00e9pertoire de donn\u00e9es), Tokern permet \u00e9galement de g\u00e9n\u00e9rer un lignage de donn\u00e9es \u00e0 partir de l'historique des requ\u00eates ou de scripts ETL, ce qui le rend id\u00e9al pour l'int\u00e9gration d'outils BI et ETL. Tokenn stocke le catalogue de donn\u00e9es et le lignage dans une base de donn\u00e9es PostgreSQL. Les utilisateurs peuvent acc\u00e9der \u00e0 cette base de donn\u00e9es pour des analyses plus approfondies via SQL, ou l'int\u00e9grer \u00e0 d'autres moteurs de visualisation et d'analyse.<\/p>\n

Le moteur de visualisation Kedro-Viz et la biblioth\u00e8que d'analyse de graphes de r\u00e9seau NetworkX sont \u00e0 l'origine des excellentes capacit\u00e9s de visualisation et d'analyse de Tokenn. Ces biblioth\u00e8ques vous permettent de suivre, de visualiser et d'analyser les donn\u00e9es de lignage au niveau des colonnes. Vous pouvez \u00e9galement interagir avec les donn\u00e9es de lignage gr\u00e2ce au SDK ou \u00e0 l'API de Token.<\/p>\n

Outre ses capacit\u00e9s de tra\u00e7abilit\u00e9 de donn\u00e9es de pointe, Tokern utilise PIICatcher pour d\u00e9tecter les informations personnelles identifiables (IPI) et les informations de sant\u00e9 personnelles (IPH). Cet outil int\u00e9gr\u00e9 combine des expressions r\u00e9guli\u00e8res avec plusieurs biblioth\u00e8ques NLP standard pour la d\u00e9tection des PII, telles que Spacy et Stanford NER.<\/p>\n

Meilleurs outils de lignage de donn\u00e9es open source \u2013 2. Egeria<\/h3>\n

Pr\u00e9sentation d'Egeria :<\/strong><\/p>\n

D\u00e9crite comme la premi\u00e8re norme de m\u00e9tadonn\u00e9es open source au monde, Egeria permet d'int\u00e9grer de mani\u00e8re transparente des outils d'ing\u00e9nierie des donn\u00e9es pour une vue fiable et coh\u00e9rente des m\u00e9tadonn\u00e9es. Outre le catalogage et la recherche de m\u00e9tadonn\u00e9es, la norme permet aux utilisateurs de cr\u00e9er des solutions plus avanc\u00e9es pour le tra\u00e7age de la lign\u00e9e des donn\u00e9es, le contr\u00f4le de la qualit\u00e9 des donn\u00e9es, l'identification des informations personnelles identifiables, et bien plus encore.<\/p>\n

De nombreuses architectures d'ing\u00e9nierie des donn\u00e9es impliquent un important \u00e9change \u00e9vitable entre les diff\u00e9rents outils de donn\u00e9es. Egeria s'\u00e9loigne de ce mod\u00e8le et adopte un mod\u00e8le en \u00e9toile, o\u00f9 tout passe par Egeria. Ainsi, les utilisateurs n'ont besoin que d'un seul outil pour communiquer.<\/p>\n

Fonctionnalit\u00e9s d'Egeria Data Lineage\u00a0:<\/strong><\/p>\n

La tra\u00e7abilit\u00e9 des donn\u00e9es dans Egeria utilise des normes ouvertes reconnues pour capturer et stocker une tra\u00e7abilit\u00e9 des donn\u00e9es appel\u00e9e OpenLineage. OpenLineage vous offre \u00e9galement une meilleure visibilit\u00e9 sur vos donn\u00e9es en fournissant un arbre g\u00e9n\u00e9alogique horizontal et vertical des donn\u00e9es de suivi.<\/p>\n

Egeria \u00e9coute les \u00e9v\u00e9nements Kafka \u00e9mis par le syst\u00e8me source afin de collecter les informations de lignage des donn\u00e9es. Apr\u00e8s avoir obtenu ces informations, Egeria demande aux gestionnaires de lignage de faire correspondre et de lier les graphiques de lignage qu'Egeria ne peut pas g\u00e9rer. Le lignage est ensuite utilisable commercialement.<\/p>\n

Les fonctionnalit\u00e9s de tra\u00e7abilit\u00e9 des donn\u00e9es d'Egeria sont parfaitement adapt\u00e9es aux capacit\u00e9s de d\u00e9couverte et de gestion des donn\u00e9es, de provenance des m\u00e9tadonn\u00e9es, etc. Ces fonctionnalit\u00e9s, combin\u00e9es \u00e0 la conception et \u00e0 l'architecture de tra\u00e7abilit\u00e9 d'Egeria, en font un outil de gouvernance et de tra\u00e7abilit\u00e9 des donn\u00e9es performant et bien pens\u00e9.<\/p>\n

Meilleurs outils de lign\u00e9e de donn\u00e9es open source \u2013 3. Pachyderm<\/h3>\n

Pr\u00e9sentation du pachyderme :<\/strong><\/p>\n

Comme Tokenn que nous venons de mentionner, Pachyderm est un autre outil sp\u00e9cialis\u00e9 de lignage de donn\u00e9es. Plut\u00f4t que de se concentrer sur les entrep\u00f4ts de donn\u00e9es cloud, il vise \u00e0 permettre aux d\u00e9veloppeurs de cr\u00e9er des pipelines de machine learning ind\u00e9pendamment du langage et du framework.<\/p>\n

Pachyderm a mis en \u0153uvre un syst\u00e8me de contr\u00f4le de version, tel que lakeFS ou Git, pour maintenir la lign\u00e9e des objets de donn\u00e9es. Les modifications apport\u00e9es \u00e0 ces objets (par exemple, les commits) sont captur\u00e9es et stock\u00e9es par Pachyderm afin de maintenir une piste d'audit compl\u00e8te et immuable des \u00e9v\u00e9nements. Les pistes d'audit vous permettent de disposer d'une carte de lign\u00e9e des donn\u00e9es pour la visualisation et l'analyse, et de reproduire les donn\u00e9es et le code \u00e0 tout moment \u00e0 des fins de d\u00e9bogage ou de conformit\u00e9.<\/p>\n

Caract\u00e9ristiques de la lign\u00e9e de donn\u00e9es Pachyderm :<\/strong><\/p>\n

Pour assurer un suivi transparent de la lign\u00e9e et du versionnage des donn\u00e9es, Pachyderm utilise un r\u00e9f\u00e9rentiel central qui exploite des magasins d'objets tels qu'AWS S3 dans un syst\u00e8me de fichiers personnalis\u00e9 appel\u00e9 PFS (Pachyderm File System). PFS permet \u00e0 votre magasin d'objets (tel que S3) de devenir la seule v\u00e9ritable source de vos donn\u00e9es avec leur historique complet.<\/p>\n

Pachyderm assure \u00e9galement l'invariance de votre source de donn\u00e9es, ce qui lui permet d'attribuer des identifiants globaux aux \u00e9v\u00e9nements de lignage et aux objets de donn\u00e9es. Pachyderm vous permet de traiter les diagrammes de lignage de donn\u00e9es immuables comme des DAG dans l'interface utilisateur. Ces deux fonctionnalit\u00e9s sont utiles lorsque vous travaillez avec des pipelines ML et que vous souhaitez retracer les r\u00e9sultats jusqu'\u00e0 leurs entr\u00e9es.<\/p>\n

Pachyderm s'int\u00e8gre aux bases de donn\u00e9es, entrep\u00f4ts de donn\u00e9es et lacs de donn\u00e9es les plus r\u00e9pandus. De plus, vous pouvez importer des donn\u00e9es de n'importe quelle base de donn\u00e9es dans Pachyderm gr\u00e2ce \u00e0 un outil d'ingestion SQL. Cependant, Pachyderm pr\u00e9sente des limites en tant qu'outil de tra\u00e7abilit\u00e9 de donn\u00e9es polyvalent. C'est pourquoi la plupart de ses clients professionnels l'utilisent pour g\u00e9rer les charges de travail MLOps, ETL de donn\u00e9es non structur\u00e9es et NLP.<\/p>\n

Meilleurs outils de lignage de donn\u00e9es open source \u2013 4. OpenLineage<\/strong><\/h3>\n

Pr\u00e9sentation d'OpenLineage\u00a0:<\/strong><\/p>\n

OpenLineage a \u00e9t\u00e9 fond\u00e9 par DataKin, l'entreprise charg\u00e9e de reprendre le d\u00e9veloppement de Marquez, apr\u00e8s son ouverture par WeWork. DataKin a confi\u00e9 le projet OpenLineage \u00e0 la Fondation Linux en tant que projet sandbox mi-2021. Fortement inspir\u00e9 par l'omnipr\u00e9sent OpenTelemetry dans le domaine de l'observabilit\u00e9 des donn\u00e9es, OpenLineage vise \u00e0 \u00e9tablir une norme ouverte pour la collecte et l'analyse de lignage de donn\u00e9es.<\/p>\n

Fonctionnalit\u00e9s d'OpenLineage\u00a0:<\/strong><\/p>\n

L'int\u00e9gration est au c\u0153ur de la conception et de la mission d'OpenLineage. Il s'int\u00e8gre au framework ETL, au moteur d'orchestration des donn\u00e9es, au r\u00e9pertoire de m\u00e9tadonn\u00e9es, au moteur de qualit\u00e9 des donn\u00e9es et aux outils de tra\u00e7abilit\u00e9 des donn\u00e9es. OpenLineage utilise JSONSchema comme d\u00e9finition d'API et prend en charge divers langages et frameworks. Egeria est l'un des outils de donn\u00e9es les plus populaires, dont la couche de m\u00e9tadonn\u00e9es principale repose sur OpenLineage.<\/p>\n

Marquez, de WeWork, est \u00e9galement au c\u0153ur de l'architecture d'OpenLineage. Marquez fournit l'interface utilisateur et le r\u00e9f\u00e9rentiel de m\u00e9tadonn\u00e9es, tandis que l'API de collecte de m\u00e9tadonn\u00e9es provient d'OpenLineage. OpenLineage est \u00e9galement accessible via les API GraphQL et REST.<\/p>\n

OpenLineage est un choix attrayant car il peut \u00eatre facilement utilis\u00e9 avec la plupart des piles d'ing\u00e9nierie de donn\u00e9es existantes et vous offre une large gamme de fonctionnalit\u00e9s int\u00e9ressantes et pr\u00e9cieuses afin que vous puissiez collecter, suivre et analyser de mani\u00e8re exhaustive la lign\u00e9e des donn\u00e9es.<\/p>\n

Meilleurs outils de tra\u00e7abilit\u00e9 de donn\u00e9es open source \u2013 5. TrueDat<\/h3>\n

Pr\u00e9sentation de TrueDat\u00a0:<\/strong><\/p>\n

Solution compl\u00e8te de gouvernance des donn\u00e9es, TrueDat vous permet de cat\u00e9goriser, de rechercher et de suivre vos donn\u00e9es en d\u00e9tail. Gr\u00e2ce \u00e0 ses fonctionnalit\u00e9s de tra\u00e7abilit\u00e9, TrueDat vous permet \u00e9galement de visualiser l'int\u00e9gralit\u00e9 du cycle de vie de vos donn\u00e9es, vous offrant ainsi un aper\u00e7u de leur \u00e9volution au fil du temps.<\/p>\n

TrueDat a \u00e9t\u00e9 cr\u00e9\u00e9 par BlueTab (une soci\u00e9t\u00e9 IBM) en 2017 et est en d\u00e9veloppement actif depuis lors, avec sa derni\u00e8re version, V4.39, publi\u00e9e en mars 2022.<\/p>\n

Fonctionnalit\u00e9s de la lign\u00e9e de donn\u00e9es TrueDat\u00a0:<\/strong><\/p>\n

TrueDat vous permet d'utiliser le tra\u00e7age des donn\u00e9es pour analyser l'impact des modifications apport\u00e9es \u00e0 la base de donn\u00e9es et mieux comprendre la logique m\u00e9tier de vos rapports. Il vous permet de suivre le tra\u00e7age d'un objet de donn\u00e9es avec une visibilit\u00e9 instantan\u00e9e. Pour une analyse avanc\u00e9e, vous pouvez \u00e9galement appliquer des filtres aux objets de tra\u00e7age afin d'examiner des parties sp\u00e9cifiques du diagramme de tra\u00e7age. Outre la repr\u00e9sentation graphique affich\u00e9e dans l'interface utilisateur, vous pouvez t\u00e9l\u00e9charger les informations de tra\u00e7age des donn\u00e9es collect\u00e9es dans un fichier CSV. Gr\u00e2ce \u00e0 ses excellentes fonctionnalit\u00e9s de gouvernance et de tra\u00e7age des donn\u00e9es, TrueDat est un v\u00e9ritable atout pour r\u00e9soudre vos probl\u00e8mes de tra\u00e7age des donn\u00e9es.<\/p>\n

Conclusion<\/h3>\n

Merci d'avoir lu notre article et nous esp\u00e9rons qu'il pourra vous aider \u00e0 trouver le meilleurs outils de lign\u00e9e de donn\u00e9es open source<\/strong>Si vous souhaitez en savoir plus sur la lign\u00e9e des donn\u00e9es, nous vous conseillons de visiter Gudu SQLFlow<\/strong><\/a> pour plus d'informations.<\/p>\n

En tant que l'un des\u00a0meilleurs outils de lignage de donn\u00e9es<\/strong>\u00a0Disponible sur le march\u00e9 aujourd'hui, Gudu SQLFlow peut non seulement analyser les fichiers de script SQL, mais aussi obtenir\u00a0lign\u00e9e de donn\u00e9es<\/strong>, et effectuer un affichage visuel, mais permettent \u00e9galement aux utilisateurs de fournir une lign\u00e9e de donn\u00e9es au format CSV et d'effectuer un affichage visuel.\u00a0(Publi\u00e9 par Ryan le 14 juillet 2022)<\/strong><\/p>\n<\/div><\/div><\/div>