Data-Lineage-Techniken, Best Practices und Tools | Gudu SQLFlow

Techniken, Best Practices und Tools zur Datenherkunftsanalyse

Was ist DatenherkunftWas sind die DatenherkunftstechnikenWelche Best Practices und Tools gibt es? In diesem Artikel werden wir diese Fragen nacheinander beantworten.

Die Datenherkunft dokumentiert den Weg von Daten durch die IT-Systeme eines Unternehmens und zeigt, wie Daten zwischen ihnen fließen und dabei für unterschiedliche Zwecke transformiert werden. Metadaten (Daten über Daten), um Endbenutzern und Datenmanagement-Experten zu ermöglichen, die Historie von Datenbeständen nachzuverfolgen und Informationen über deren geschäftliche Bedeutung oder technische Eigenschaften zu erhalten.

Beispielsweise können Datenherkunftsnachweise dabei helfen Datenwissenschaftler, andere DatenanalystenGeschäftsanwender verstehen die von ihnen verwendeten Daten und stellen sicher, dass diese für ihre Informationsbedürfnisse relevant sind. Die Datenherkunft spielt ebenfalls eine wichtige Rolle. DatenverwaltungMeister Datenmanagementund Compliance-Programmen. Unter anderem vereinfacht es im Rahmen dieser Initiativen zwei wichtige Verfahren der Daten-Governance: die Analyse der Ursachen von Datenqualität Probleme und die Auswirkungen von Datensatzänderungen.

Informationen zur Datenherkunft werden primär von Betriebssystemen (bei der Datenverarbeitung) und von anderen Systemen erfasst. Data Warehouses Und Datenseen – wo Datensätze für BI- und Analyseanwendungen gespeichert werden. Zusätzlich zur detaillierten Dokumentation können Datenflussdiagramme und Diagramme erstellt werden, um die Datenherkunft in Bezug auf Geschäftsprozesse visuell darzustellen. Um den Zugriff von Endbenutzern auf Herkunftsinformationen zu vereinfachen, werden diese häufig in eine Datenbank integriert. Datenkatalog, das Datenbestände und die zugehörigen Metadaten auflistet.

Warum ist die Datenherkunft wichtig?

Informationen zur Datenherkunft sind für Datenmanagement und -analyse unerlässlich. Herkunftsdetails helfen Unternehmen, Daten effektiv zu verwalten und zu nutzen. Ohne Zugriff auf diese Details können Unternehmen das volle Potenzial ihrer Daten nur schwer ausschöpfen.

Im Folgenden sind die Vorteile, die die Datenherkunft bietet:

Genauere und aussagekräftigere Analysen. Indem die Datenherkunft Analyseteams und Anwendern verdeutlicht, woher Daten stammen und was sie bedeuten, verbessert sie deren Fähigkeit, die für Business Intelligence und Data Science benötigten Daten schneller zu finden. Dies führt zu besseren Analyseergebnissen und erhöht die Wahrscheinlichkeit, dass Datenanalysen relevante Informationen für fundierte Geschäftsentscheidungen liefern.

Verbesserte Daten-Governance. Die Datenherkunft hilft zudem, Daten nachzuverfolgen und andere wichtige Aspekte des Governance-Prozesses zu erfüllen. Sie unterstützt Daten-Governance-Manager und Teammitglieder dabei, sicherzustellen, dass Daten gültig, sauber und konsistent sind und ordnungsgemäß geschützt, verwaltet und genutzt werden.

Verbesserte Datensicherheit und Datenschutz. Unternehmen können mithilfe von Datenherkunftsinformationen sensible Daten identifizieren, die besonders hohen Schutz erfordern. Diese Informationen können auch genutzt werden, um unterschiedliche Zugriffsebenen für Benutzer gemäß Sicherheits- und Datenschutzrichtlinien festzulegen und potenzielle Datenrisiken im Rahmen einer unternehmensweiten Risikomanagementstrategie zu bewerten.

Verbesserung der Einhaltung gesetzlicher Bestimmungen. Die Nachverfolgung der Datenherkunft bietet einen besseren Schutz der Datensicherheit und hilft Unternehmen, Datenschutzgesetze und andere Vorschriften einzuhalten. Eine gut dokumentierte Datenherkunft erleichtert zudem interne Compliance-Audits und die Erstellung von Compliance-Berichten.

Vereinfachen Sie die Datenverwaltung. Neben der Verbesserung der Datenqualität erleichtert die Datenherkunftsanalyse eine Vielzahl weiterer Aufgaben im Datenmanagement. Dazu gehören beispielsweise die Verwaltung von Datenmigrationen, der Abbau von Datensilos sowie das Erkennen und Schließen von Datenlücken.

Datenherkunft, Datenklassifizierung und Datenprovenienz

Die Datenherkunft steht in engem Zusammenhang mit den beiden Datenmanagementprozessen Datenklassifizierung und Datenprovenienz. Sehen wir uns an, was diese Prozesse sind und wie sie sich von der Datenherkunft unterscheiden und mit ihr zusammenhängen.

• Datenklassifizierung. Dabei werden Daten anhand ihrer Eigenschaften verschiedenen Kategorien zugeordnet, hauptsächlich aus Sicherheits- und Compliance-Gründen. Die Klassifizierung dient dazu, Daten nach ihrer Sensibilität einzuordnen, beispielsweise als personenbezogene, geschützte, vertrauliche oder öffentliche Informationen. So lassen sich Datensätze, die ein höheres Sicherheitsniveau und strengere Zugriffskontrollen erfordern, von anderen unterscheiden. Die Datenherkunft liefert Informationen über einen Datensatz, die dessen Klassifizierung erleichtern.
• Datenherkunft. Manchmal wird es synonym mit Datenherkunft verwendet, wobei Datenprovenienz als enger gefasster Fokus auf die Herkunft von Daten, einschließlich ihres Quellsystems und ihrer Entstehung, verstanden wird. In diesem Fall können Datenherkunft und Datenprovenienz zusammenwirken, wobei die Datenprovenienz eine übergeordnete Dokumentation darüber liefert, woher die Daten stammen und was sie bedeuten.

Datenherkunft und Daten-Governance

Das Wesen der Daten-Governance besteht darin, unternehmensweite Datenrichtlinien zu erstellen und deren Einhaltung sicherzustellen. Solche Richtlinien können sich auf die Intention erstrecken und Anweisungen zum Datenschutz, zur Datenprüfung und zur Datennutzung enthalten. Daten-Governance-Manager und Datenverwalter muss den Datenbedarf der Geschäftsanwender ermitteln und mit den Mitgliedern des entscheidungsbefugten Datengovernance-Ausschusses zusammenarbeiten, um gemeinsame Datendefinitionen zu vereinbaren, Datenqualitätsmetriken festzulegen und Richtlinien und zugehörige Verfahren zu entwickeln.

Es besteht jedoch eine Lücke zwischen der Definition von Richtlinien für die Daten-Governance und deren Umsetzung, und die Überbrückung dieser Lücke stellt eine große Herausforderung dar. Hier setzt die Datenherkunft an. Sie dokumentiert Datenquellen und -flüsse und ermöglicht es Governance-Teams, zu überwachen, wie Daten durch das System fließen und wie sie verändert und verwendet werden. Die Herkunftsinformationen helfen ihnen, angemessene Datensicherheit und Zugriffskontrollen zu gewährleisten und Daten gemäß den Governance-Richtlinien zu speichern, zu pflegen und zu nutzen.

Die Nachverfolgung der Datenherkunft kann auch bestimmte Aufgaben im Bereich Governance vereinfachen. Ohne eine Möglichkeit, die Ursache von Datenfehlern im System zu ermitteln, ist es beispielsweise für Datenverantwortliche und Datenqualitätsanalysten schwierig, diese zu identifizieren und zu beheben. Dies hat Konsequenzen: Werden Datenfehler nicht entdeckt, können Unternehmen mit inkonsistenten oder ungenauen Analyseergebnissen und damit mit Fehlentscheidungen konfrontiert werden.

Bei der Ursachenanalyse von Datenfehlern ermöglichen Herkunftsnachweise die Nachverfolgung der Verarbeitungsstufen eines Datensatzes. Unternehmen können die Qualität in jeder Phase überprüfen, um Fehlerquellen zu identifizieren. Indem sie vom Zeitpunkt der ersten Fehlerentdeckung rückwärts arbeiten, können Datenverantwortliche prüfen, ob die Daten den ursprünglichen Erwartungen entsprachen oder zum Zeitpunkt der Entdeckung Fehler enthielten. Durch die genaue Bestimmung der Stufe, an der die Daten bei der Eingabe konform, bei der Ausgabe jedoch fehlerhaft sind, können die Mitarbeiter eines Daten-Governance-Programms die eigentliche Fehlerursache beseitigen und nicht nur fehlerhafte Daten korrigieren.

Die Kenntnis der Datenherkunft ist auch bei der Durchführung von Wirkungsanalysen hilfreich, um Probleme zu erkennen, die durch Änderungen im Quelldatenformat und in der Struktur entstehen – ein häufiges Problem in der heutigen, zunehmend dynamischen Datenumgebung.

Wenn sich Daten ändern, kann dies unbeabsichtigte Folgen für nachfolgende Prozesse haben. Indem Datenverantwortliche von der Datenerstellung oder -erfassung ausgehen, können sie mithilfe der Datenherkunftsdokumentation Datenabhängigkeiten nachverfolgen und die von Änderungen betroffenen Verarbeitungsstufen identifizieren. Diese Stufen können dann so angepasst werden, dass sie die Änderungen berücksichtigen und die Datenkonsistenz systemübergreifend gewährleisten.

Wichtige Techniken zur Datenherkunftsanalyse

Unternehmen können verschiedene Techniken nutzen, um Informationen zur Datenherkunft zu erfassen und zu protokollieren. Diese schließen sich nicht zwangsläufig gegenseitig aus, und Unternehmen können je nach Anwendungsanforderungen und Art ihrer Datenumgebung mehrere Technologien zur Herkunftsbestimmung einsetzen. Zu den verfügbaren Methoden gehören:

Wichtige Techniken zur Datenherkunftsanalyse – 1. Datenkennzeichnung. Durch die Analyse von Metadaten können Datensätzen Kennzeichnungen zugewiesen werden, um sie für die Datenherkunftsanalyse zu beschreiben und zu charakterisieren. Die Kennzeichnung kann manuell durch Datenverantwortliche, andere Mitglieder des Daten-Governance-Teams und Endnutzer oder automatisch durch Software erfolgen. Beispielsweise enthalten Tools und Funktionen zur Datenherkunftsanalyse, die in Daten-Governance-Software integriert sind, häufig automatisierte Algorithmen, die Nutzer zur Kennzeichnung von Datensätzen ausführen können.

Wichtige Techniken zur Datenherkunftsanalyse – 2. Musterbasierte Herkunftsanalyse. Dieser Ansatz sucht in mehreren Datensätzen nach Mustern, wie z. B. ähnlichen Datenelementen, Zeilen und Spalten. Deren Vorhandensein deutet darauf hin, dass die Datensätze miteinander in Beziehung stehen und möglicherweise Teil eines Datenflusses sind. Unterschiede in den Datenwerten oder Attributen hingegen weisen darauf hin, dass die Daten beim Übertragen von einem System in ein anderes transformiert wurden. Datentransformationen und Datenflüsse können dann als Teil eines Datenherkunftsnachweises aufgezeichnet werden.

Wichtige Techniken zur Datenherkunftsanalyse – 3. Parsebasierte Datenherkunftsanalyse. Hierbei analysieren Tools zur Datenherkunftsanalyse die Logik der Datentransformation, Laufzeitprotokolldateien, Datenintegrations-Workflows und anderen Datenverarbeitungscode, um Herkunftsinformationen zu identifizieren und zu extrahieren. Das Parsen bietet einen durchgängigen Ansatz zur Nachverfolgung der Datenherkunft in verschiedenen Systemen und kann genauer als die schemabasierte Datenherkunftsanalyse sein, ist aber auch komplexer.

Wichtige Techniken zur Datenherkunftsanalyse – 4. Ein weiterer Ansatz ist rein manuell: Befragen Sie Anwender, BI-Analysten, Data Scientists, Datenverantwortliche, Entwickler für Datenintegration und weitere Mitarbeiter, um zu verstehen, wie Daten durch das System fließen, verwendet und verändert werden. Die gesammelten Informationen können genutzt werden, um Datenflüsse und -transformationen abzubilden – beispielsweise als Ausgangspunkt für die Planung der Datenherkunftsanalyse, bevor automatisierte Verfahren eingesetzt werden.

Best Practices für die Datenherkunft

Hier sind einige bewährte Vorgehensweisen, die Ihnen helfen, den Datenherkunftsprozess auf Kurs zu halten und sicherzustellen, dass er genaue und nützliche Informationen über Ihren Datensatz liefert:

• Binden Sie Führungskräfte und Anwender von Anfang an ein. Ein erfolgreiches Daten-Governance-Programm benötigt die Unterstützung und das Engagement der Geschäftsleitung, und das Gleiche gilt für die Datenherkunft. Die Unterstützung des Top-Managements ist Voraussetzung für Genehmigung und Finanzierung. Auch Führungskräfte und Mitarbeiter sollten eingebunden werden, um sicherzustellen, dass die Datenmanagement-Teams die Datennutzung in den Geschäftsprozessen vollständig verstehen und die Relevanz und Gültigkeit der Datenherkunftsinformationen überprüfen.
• Dokumentieren Sie die geschäftliche und technische Datenherkunft. Die geschäftliche Datenherkunft analysiert detailliert, woher Daten stammen, wie sie fließen und in welchem Geschäftskontext sie stehen. Die technische Datenherkunft liefert Informationen zu Datentransformationen, Integrationen und Pipelines sowie eine Kombination aus Tabellen-, Spalten- und Abfrageebenen. Die Zusammenführung dieser beiden Informationsarten ist sowohl für Geschäftsanwender und Analyseteams als auch für Datenarchitekten, Datenmodellierer, Datenqualitätsanalysten und andere IT-Fachkräfte von großem Nutzen.
• Verknüpfen Sie die Datenherkunft mit den tatsächlichen Geschäfts- und IT-Anforderungen. Datenherkunft sollte keine rein theoretische Übung sein. Um die erwarteten Vorteile zu erzielen, muss sie zu besseren Geschäftsentscheidungen und -strategien sowie zu einer effektiveren Daten-Governance, verbesserter Datenqualität und weiteren Vorteilen im Datenmanagement beitragen. Andernfalls handelt es sich wahrscheinlich um eine Fehlinvestition.
• Implementieren Sie einen unternehmensweiten Ansatz für die Datenherkunft. Die Fokussierung auf den Datenherkunftsprozess für bestimmte Datensätze ist nicht so zielführend wie möglich. Um wirklich einen Mehrwert zu erzielen, sollte ein umfassender Ansatz verfolgt werden, der alle Unternehmensdaten einbezieht und von einem zentralen Metadaten-Repository unterstützt wird.
• Erstellen Sie einen Datenkatalog mit eingebetteten Datenherkunftsinformationen. Das Auffinden und Verstehen relevanter Daten stellt für BI- und Analytics-Anwender oft eine große Herausforderung dar. Durch den Aufbau eines Datenkatalogs erhalten Datenmanagement-Teams ein Inventar der verfügbaren Datenbestände inklusive Herkunftsinformationen.

Worauf sollte man bei einem Datenherkunftsanalyse-Tool achten?

Das manuelle Sammeln von Metadaten und das Dokumentieren der Datenherkunft erfordern einen erheblichen Investitionsaufwand. RessourcenEs ist zudem fehleranfällig und kann erhebliche Probleme verursachen, insbesondere da Unternehmen zunehmend auf Datenanalysen zur Steuerung ihrer Geschäftsprozesse angewiesen sind. Um die Daten-Governance zu verbessern, sollten daher Tools eingesetzt werden, mit denen sich Datenherkunftsdarstellungen verwalten und unternehmensweit automatisch abbilden lassen.

Wenn Sie sich entscheiden, den technischen Evaluierungsprozess für einen möglichen Kauf fortzusetzen, sollten Sie nach Datenherkunfts-Tools suchen, die Folgendes können:

• Lokal auf eine breite Palette von Datenquellen und Datenprodukten zugreifen, die darin enthaltenen Metadaten untersuchen und diese für die Daten-Governance sammeln, zunehmend unter Verwendung von Algorithmen der künstlichen Intelligenz und des maschinellen Lernens;
• Die erfassten Metadaten werden in einem zentralen Repository zusammengeführt;
• Datentypen ableiten und gängige Verwendungszwecke von Referenzdaten Datenelementen aus verschiedenen Systemen zuordnen;
• Den Endnutzern eine vereinfachte Darstellung aggregierter Metadaten bieten und die Zusammenarbeit bei der Validierung von Metadatenbeschreibungen unterstützen;
• Eine vollständige Abbildung des Datenflusses durch die Systeme einer Organisation;
• Erstellen Sie eine visuelle Darstellung der Datenherkunft;
• Bietet eine API, damit Entwickler Anwendungen erstellen können, die Abstammungsdatensätze abfragen können;
• Erstellen Sie invertierte Indizes, die Datenelementnamen ihren Verwendungen in verschiedenen Verarbeitungsstadien zuordnen;
• Bieten Sie Suchfunktionen, um den Datenfluss von einem Datenquellpunkt zu einem nachgelagerten Ziel schnell nachzuverfolgen;
• Ermöglicht es Benutzern, den Vorwärts- und Rückwärtsdatenfluss zu überwachen.

Abschluss

Vielen Dank, dass Sie unseren Artikel gelesen haben. Wir hoffen, er hat Ihnen geholfen, Datenherkunftstechniken, Best Practices und Tools besser zu verstehen. Wenn Sie mehr über Datenherkunftstechniken und -tools erfahren möchten, empfehlen wir Ihnen folgende Website: Gudu SQLFlow für weitere Informationen.

Als einer der die besten Datenherkunftstools Gudu SQLFlow ist heute auf dem Markt erhältlich und kann nicht nur SQL-Skriptdateien analysieren, die Datenherkunft ermitteln und eine visuelle Anzeige durchführen, sondern ermöglicht Benutzern auch, die Datenherkunft im CSV-Format bereitzustellen und eine visuelle Anzeige durchzuführen. (Veröffentlicht von Ryan am 8. August 2022)