{"id":5110,"date":"2022-07-14T07:53:44","date_gmt":"2022-07-14T15:53:44","guid":{"rendered":"https:\/\/www.gudusoft.com\/?p=5110"},"modified":"2022-07-15T05:12:40","modified_gmt":"2022-07-15T13:12:40","slug":"best-open-source-data-lineage-tools","status":"publish","type":"post","link":"https:\/\/www.gudusoft.com\/de\/beste-open-source-datenherkunftstools\/","title":{"rendered":"Die 5 besten Open-Source-Data-Lineage-Tools, die Sie 2022 in Betracht ziehen sollten"},"content":{"rendered":"

Die 5 besten Open-Source-Data-Lineage-Tools, die Sie 2022 in Betracht ziehen sollten<\/h2>\n

Die Essenz von Datenverwaltung<\/strong><\/a> Ziel ist es, Unternehmen bei der Erstellung von Datenrichtlinien zu unterst\u00fctzen und deren Einhaltung sicherzustellen. Diese Richtlinien decken eine Reihe datenbezogener Prozesse ab, darunter Richtlinien f\u00fcr Datenschutz, Verifizierung und Nutzung. Datenverwalter<\/strong><\/a> m\u00fcssen die Datenanforderungen von Gesch\u00e4ftsbenutzern einholen und mit den Mitgliedern des Data Governance Council zusammenarbeiten, um gemeinsame Datendefinitionen zu vereinbaren, festzulegen Datenqualit\u00e4t<\/strong><\/a> Messgr\u00f6\u00dfen, formulieren Sie relevante Richtlinien und entwickeln Sie Methoden zur Messung der Einhaltung.<\/p>\n

\"Die

Die besten Open-Source-Tools zur Datenherkunft<\/p><\/div>\n

Die Definition von Data-Governance-Richtlinien und deren Umsetzung ist jedoch oft eine gro\u00dfe Herausforderung. Ziel dieser Strategien ist die Kontrolle und \u00dcberwachung der Datenqualit\u00e4t in allen Gesch\u00e4ftsabl\u00e4ufen. Datenverwalter mit zentralen Aufgaben im Datenqualit\u00e4tsmanagement sind jedoch oft nicht ausreichend geschult oder qualifiziert. Hier kommt die Datenherkunftstool<\/strong><\/a> kommt ins Spiel. In diesem Artikel stellen wir vor Die 5 besten Open-Source-Tools zur Datenherkunft<\/strong> die im Jahr 2022 auf dem Markt zu finden sind.<\/p>\n

Beste Open Source Data Lineage Tools \u2013 1. Tokern<\/h3>\n

Tokenn-\u00dcbersicht:<\/strong><\/p>\n

Tokern ist f\u00fcr die Cloud konzipiert Data Warehouses<\/a><\/strong> Und Datenseen<\/a><\/strong>, and takes a dedicated approach to enabling you to obtain column-level data lineage from databases and data warehouses hosted on Google BigQuery, AWS Redshift, and Snowflake. In addition, more resources such as SparkSQL, AWS Athena, and Presto are in development. Tokenn has considerable integration capabilities because it works well with most of the open source data catalogs and ETL frameworks.<\/p>\n

Funktionen der Tokern-Datenherkunft: <\/strong><\/p>\n

Token wurde vor einiger Zeit ver\u00f6ffentlicht und ber\u00fccksichtigt die neuesten Datentechnik- und Designmuster. Ein Beispiel daf\u00fcr ist, dass neben dem Bau Datenherkunft<\/strong><\/a> Tokenn erm\u00f6glicht Ihnen au\u00dferdem die Erstellung von Datenherkunftsverzeichnissen aus Abfrageverlauf oder ETL-Skripten. Dies eignet sich ideal f\u00fcr die Integration von BI- und ETL-Tools. Tokenn speichert den Datenkatalog und die Datenherkunft in einer PostgreSQL-Datenbank. Benutzer k\u00f6nnen auf diese Datenbank f\u00fcr weitere Analysen per SQL zugreifen oder die Daten in andere Visualisierungs- und Analyse-Engines einspeisen.<\/p>\n

Die Visualisierungs-Engine Kedro-Viz und die Netzwerkgraphen-Analysebibliothek NetworkX bilden die Grundlage f\u00fcr die hervorragenden Visualisierungs- und Analysefunktionen von Tokenn. Diese Bibliotheken unterst\u00fctzen Sie bei der Verfolgung, Visualisierung und Analyse von Herkunftsdaten auf Spaltenebene. Sie k\u00f6nnen au\u00dferdem \u00fcber das SDK oder die API von Token mit Herkunftsdaten interagieren.<\/p>\n

Zus\u00e4tzlich zu seinen hochmodernen Datenherkunftsfunktionen nutzt Tokern PIICatcher zur Erkennung von PII (pers\u00f6nlich identifizierbaren Informationen) und PHI (pers\u00f6nlichen Gesundheitsinformationen). Das integrierte Tool kombiniert regul\u00e4re Ausdr\u00fccke mit mehreren Standard-NLP-Bibliotheken zur PII-Erkennung, wie beispielsweise Spacy und Stanford NER.<\/p>\n

Beste Open Source Data Lineage Tools \u2013 2. Egeria<\/h3>\n

Egeria-\u00dcbersicht:<\/strong><\/p>\n

Egeria gilt als weltweit erster Open-Source-Metadatenstandard und erm\u00f6glicht die nahtlose Integration von Data-Engineering-Tools f\u00fcr eine zuverl\u00e4ssige und konsistente Metadatenansicht. Neben der Katalogisierung und Suche von Metadaten erm\u00f6glicht der Standard Nutzern auch die Entwicklung fortschrittlicherer L\u00f6sungen zur Datenherkunftsverfolgung, Datenqualit\u00e4tspr\u00fcfung, PII-Identifizierung und vielem mehr.<\/p>\n

Viele Datentechnik-Architekturen erfordern viel unn\u00f6tige Kommunikation zwischen verschiedenen Datentools. Egeria setzt hier auf ein Speichen-Rad-Modell, bei dem alles \u00fcber Egeria l\u00e4uft. So ben\u00f6tigen Benutzer nur noch ein Tool f\u00fcr die Kommunikation.<\/p>\n

Funktionen der Egeria-Datenherkunft:<\/strong><\/p>\n

Die Datenherkunft in Egeria nutzt bekannte offene Standards zur Erfassung und Speicherung einer Datenherkunft namens OpenLineage. OpenLineage bietet Ihnen zudem einen besseren Einblick in Ihre Daten, indem es einen horizontalen und vertikalen Stammbaum der Tracking-Daten bereitstellt.<\/p>\n

Egeria \u00fcberwacht Kafka-Ereignisse, die vom Quellsystem ausgegeben werden, um Informationen zur Datenherkunft zu erfassen. Nach Erhalt der Datenherkunftsinformationen weist Egeria die Herkunftsmanager an, Herkunftsdiagramme abzugleichen und zu verkn\u00fcpfen, die Egeria nicht erstellen kann. Anschlie\u00dfend ist die Herkunft f\u00fcr die kommerzielle Nutzung freigegeben.<\/p>\n

Die Datenherkunftsfunktionen von Egeria sind optimal auf die Funktionen zur Datenermittlung und -verwaltung, zur Metadatenherkunft usw. abgestimmt. Diese Funktionen sowie das Design und die Architektur von Egeria machen es zu einem \u00fcberzeugenden und durchdachten Tool f\u00fcr Datenverwaltung und Datenherkunft.<\/p>\n

Beste Open-Source-Datenherkunftstools \u2013 3. Pachyderm<\/h3>\n

Dickh\u00e4uter-\u00dcbersicht:<\/strong><\/p>\n

Wie das gerade erw\u00e4hnte Tokenn ist auch Pachyderm ein spezialisiertes Tool zur Datenherkunft. Anstatt sich auf Cloud-Data Warehouses zu konzentrieren, erm\u00f6glicht es Entwicklern den sprach- und frameworkunabh\u00e4ngigen Aufbau von Machine-Learning-Pipelines.<\/p>\n

Pachyderm implementiert ein Versionskontrollsystem wie lakeFS oder Git, um die Herkunft von Datenobjekten zu sichern. \u00c4nderungen an diesen Objekten (z. B. Commit) werden von Pachyderm erfasst und gespeichert, um ein vollst\u00e4ndiges und unver\u00e4nderliches Audit-Protokoll der Ereignisse zu gew\u00e4hrleisten. Audit-Protokolle erm\u00f6glichen Ihnen eine Datenherkunftskarte zur Ansicht und Analyse und erm\u00f6glichen Ihnen die jederzeitige Reproduktion von Daten und Code zu Debugging- oder Compliance-Zwecken.<\/p>\n

Merkmale der Pachyderm-Datenherkunft:<\/strong><\/p>\n

Um eine nahtlose Datenherkunftsverfolgung und -versionierung zu gew\u00e4hrleisten, verwendet Pachyderm ein zentrales Repository, das Objektspeicher wie AWS S3 in einem benutzerdefinierten Dateisystem namens PFS (Pachyderm File System) nutzt. PFS macht Ihren Objektspeicher (z. B. S3) zur einzigen echten Quelle Ihrer Daten mit vollst\u00e4ndigem Verlauf.<\/p>\n

Pachyderm erzwingt au\u00dferdem Invarianz in Ihrer Datenquelle, wodurch es globale IDs f\u00fcr Herkunftsereignisse und Datenobjekte zuweisen kann. Pachyderm erm\u00f6glicht es Ihnen, unver\u00e4nderliche Datenherkunftsdiagramme in der Benutzeroberfl\u00e4che als DAGs zu behandeln. Beide Funktionen sind n\u00fctzlich, wenn Sie mit ML-Pipes arbeiten und die Ergebnisse auf ihre Eingaben zur\u00fcckf\u00fchren m\u00f6chten.<\/p>\n

Pachyderm l\u00e4sst sich in die g\u00e4ngigsten Datenbanken, Data Warehouses und Data Lakes integrieren. Dar\u00fcber hinaus k\u00f6nnen Sie Daten aus jeder Datenbank mithilfe eines SQL-basierten Ingestion-Tools in Pachyderm importieren. Als universelles Data-Lineage-Tool weist Pachyderm jedoch Einschr\u00e4nkungen auf, weshalb die meisten Unternehmenskunden es f\u00fcr MLOps, ETL f\u00fcr unstrukturierte Daten und NLP-Workloads nutzen.<\/p>\n

Beste Open-Source-Data-Lineage-Tools \u2013 4. OpenLineage<\/strong><\/h3>\n

OpenLineage-\u00dcbersicht:<\/strong><\/p>\n

OpenLineage wurde von DataKin gegr\u00fcndet, dem Unternehmen, das Marquez\u2018 Entwicklung \u00fcbernahm, nachdem WeWork sie ge\u00f6ffnet hatte. DataKin \u00fcbergab das OpenLineage-Projekt Mitte 2021 als Sandbox-Projekt an die Linux Foundation. Inspiriert von der allgegenw\u00e4rtigen OpenTelemetry im Bereich der Datenbeobachtung zielt OpenLineage darauf ab, einen offenen Standard f\u00fcr die Erfassung und Analyse von Datenherk\u00fcnften zu etablieren.<\/p>\n

OpenLineage-Funktionen:<\/strong><\/p>\n

Integration ist ein zentraler Bestandteil von OpenLineages Design und Mission. Es integriert sich in das ETL-Framework, die Datenorchestrierungs-Engine, das Metadatenverzeichnis, die Datenqualit\u00e4ts-Engine und die Data-Lineage-Tools. OpenLineage verwendet JSONSchema als API-Definition und unterst\u00fctzt verschiedene Sprachen und Frameworks. Egeria ist eines der beliebtesten Datentools, dessen zentrale Metadatenebene auf OpenLineage basiert.<\/p>\n

Marquez von WeWork bildet auch das Herzst\u00fcck der OpenLineage-Architektur, da Marquez die Benutzeroberfl\u00e4che und das Metadaten-Repository bereitstellt und die API zur Metadatenerfassung von OpenLineage stammt. OpenLineage steht Ihnen auch \u00fcber GraphQL- und REST-APIs zur Verf\u00fcgung.<\/p>\n

OpenLineage ist eine attraktive Wahl, da es problemlos mit den meisten vorhandenen Datentechnik-Stacks verwendet werden kann und Ihnen eine breite Palette spannender und wertvoller Funktionen bietet, sodass Sie die Datenherkunft umfassend erfassen, verfolgen und analysieren k\u00f6nnen.<\/p>\n

Beste Open-Source-Datenherkunftstools \u2013 5. TrueDat<\/h3>\n

TrueDat-\u00dcbersicht:<\/strong><\/p>\n

Als umfassende Data-Governance-L\u00f6sung erm\u00f6glicht Ihnen TrueDat die detaillierte Kategorisierung, Suche und Nachverfolgung Ihrer Daten. Dank der Data-Lineage-Funktionen k\u00f6nnen Sie mit TrueDat au\u00dferdem den gesamten Lebenszyklus Ihrer Daten visualisieren und erhalten so Einblick in deren Entwicklung im Laufe der Zeit.<\/p>\n

TrueDat wurde 2017 von BlueTab (einem IBM-Unternehmen) entwickelt und befindet sich seitdem in der aktiven Entwicklung. Die neueste Version V4.39 wurde im M\u00e4rz 2022 ver\u00f6ffentlicht.<\/p>\n

TrueDat Data Lineage-Funktionen:<\/strong><\/p>\n

Mit TrueDat k\u00f6nnen Sie die Auswirkungen von Datenbank\u00e4nderungen anhand der Datenherkunft analysieren und Ihre Gesch\u00e4ftslogik im Reporting besser verstehen. Sie k\u00f6nnen die Herkunft eines Datenobjekts zeitpunktgenau verfolgen. F\u00fcr erweiterte Analysen k\u00f6nnen Sie Filter auf Herkunftsobjekte anwenden, um bestimmte Teile des Herkunftsdiagramms zu untersuchen. Zus\u00e4tzlich zur grafischen Darstellung in der Benutzeroberfl\u00e4che k\u00f6nnen Sie die gesammelten Datenherkunftsinformationen in eine CSV-Datei herunterladen. Da TrueDat hervorragende Data-Governance- und Herkunftsfunktionen bietet, ist es ein echter Kandidat zur L\u00f6sung Ihrer Datenherkunftsprobleme.<\/p>\n

Abschluss<\/h3>\n

Vielen Dank f\u00fcr das Lesen unseres Artikels und wir hoffen, dass er Ihnen dabei helfen kann, die die besten Open-Source-Datenherkunftstools<\/strong>Wenn Sie mehr \u00fcber die Datenherkunft erfahren m\u00f6chten, empfehlen wir Ihnen, Gudu SQLFlow<\/strong><\/a> f\u00fcr weitere Informationen.<\/p>\n

Als einer der\u00a0die besten Datenherkunftstools<\/strong>\u00a0Gudu SQLFlow ist heute auf dem Markt erh\u00e4ltlich und kann nicht nur SQL-Skriptdateien analysieren,\u00a0Datenherkunft<\/strong>, und f\u00fchren Sie eine visuelle Anzeige durch, erm\u00f6glichen Sie Benutzern aber auch, die Datenherkunft im CSV-Format bereitzustellen und eine visuelle Anzeige durchzuf\u00fchren.\u00a0(Ver\u00f6ffentlicht von Ryan am 14. Juli 2022)<\/strong><\/p>\n<\/div><\/div><\/div>