{"id":5700,"date":"2022-08-29T06:08:31","date_gmt":"2022-08-29T14:08:31","guid":{"rendered":"https:\/\/www.gudusoft.com\/?p=5700"},"modified":"2022-08-29T06:09:46","modified_gmt":"2022-08-29T14:09:46","slug":"everything-you-need-to-know-about-data-lineage","status":"publish","type":"post","link":"https:\/\/www.gudusoft.com\/de\/alles-was-sie-uber-die-datenherkunft-wissen-mussen\/","title":{"rendered":"Alles, was Sie \u00fcber die Datenherkunft wissen m\u00fcssen"},"content":{"rendered":"

Alles, was Sie \u00fcber die Datenherkunft wissen m\u00fcssen<\/h2>\n

Was ist Datenherkunft<\/strong><\/a>Was sind die Merkmale der Datenherkunft? Wof\u00fcr werden Datenherkunftsinformationen verwendet? Welche Methoden gibt es zur Datenherkunftserfassung? Wenn Sie Antworten auf diese Fragen suchen, sind Sie hier richtig. In diesem Artikel gehen wir detailliert auf Folgendes ein: alles, was Sie \u00fcber die Datenherkunft wissen m\u00fcssen<\/strong>.<\/p>\n

\"Alles,

Alles, was Sie \u00fcber die Datenherkunft wissen m\u00fcssen<\/p><\/div>\n

Alles, was Sie \u00fcber Datenherkunft wissen m\u00fcssen \u2013 Was ist Datenherkunft?<\/strong><\/p>\n

Im gesamten Prozess der Datengenerierung, -verarbeitung, -integration, -zirkulation und -vernichtung entsteht auf nat\u00fcrliche Weise eine Beziehung zwischen Daten. Diese Beziehung zwischen Daten wird durch die Nutzung einer \u00e4hnlichen Beziehung in der menschlichen Gesellschaft ausgedr\u00fcckt, die als Datenherkunftsbeziehung bezeichnet wird. Die Datenherkunft ist eine der Komponenten von Metadaten<\/strong><\/a>.<\/p>\n

Damit l\u00e4sst sich der Herkunftspfad der Tabelle und der Felder von der Datenquelle zur aktuellen Tabelle analysieren. Au\u00dferdem l\u00e4sst sich feststellen, ob die Beziehung zwischen den Herkunftsfeldern erf\u00fcllt ist, wie die Datenkonsistenz aussieht und wie rational das Tabellendesign ist. Au\u00dferdem l\u00e4sst sich damit die Auswirkung von \u00c4nderungen an Upstream-Daten auf Downstream-Daten analysieren und die Ursache von Upstream-Problemen ermitteln, wenn \u00c4nderungen an Downstream-Daten auftreten.<\/p>\n

Alles, was Sie \u00fcber Data Lineage wissen m\u00fcssen \u2013 Die Merkmale der Data Lineage<\/strong><\/p>\n

    \n
  1. Zuordnung: Im Allgemeinen geh\u00f6ren bestimmte Daten einer bestimmten Organisation oder Einzelperson und die Daten verf\u00fcgen \u00fcber eine Zuordnung.<\/li>\n
  2. Mehrere Quellen: Dieselben Daten k\u00f6nnen aus mehreren Quellen stammen. Ein Datenelement kann durch die Verarbeitung mehrerer Daten generiert werden, und dieser Verarbeitungsprozess kann mehrfach sein.<\/li>\n
  3. R\u00fcckverfolgbarkeit: Die Datenherkunftsbeziehung spiegelt den Lebenszyklus der Daten wider und bildet den gesamten Prozess der Daten von der Erstellung bis zur L\u00f6schung ab, einschlie\u00dflich R\u00fcckverfolgbarkeit.<\/li>\n
  4. Hierarchisch: Die Datenherkunftsbeziehungen sind hierarchisch. Die Beschreibungsinformationen der Daten, wie Klassifizierung, Induktion und Zusammenfassung der Daten, bilden neue Daten, und die Beschreibungsinformationen unterschiedlichen Grades bilden die Ebene der Daten.<\/li>\n<\/ol>\n

    Alles, was Sie \u00fcber Data Lineage wissen m\u00fcssen \u2013 Die Verwendung von Data Lineage<\/strong><\/p>\n

      \n
    1. Datenr\u00fcckverfolgbarkeit: Die Datenherkunft spiegelt die Details der Daten wider und hilft uns, die Datenquelle und den Datenverarbeitungsprozess zu verfolgen. Bei Datenabweichungen ist es notwendig, die Ursache der Abweichung zu ermitteln und das Risiko angemessen zu kontrollieren. Insbesondere mit der Entwicklung von Unternehmen gibt es viele Datenquellen und unterschiedliche Qualit\u00e4tsstufen, was sich unweigerlich auf die Datenergebnisse auswirkt. Daher ist die M\u00f6glichkeit der Datenr\u00fcckverfolgbarkeit sehr wertvoll.<\/li>\n
    2. Auswirkungsanalyse: Mit zunehmender Anzahl von Datenanwendungen wird die Datenflusskette immer l\u00e4nger. Bei \u00c4nderungen im Kerngesch\u00e4ft einer Quelle m\u00fcssen nachgelagerte Analyseanwendungen synchronisiert werden. Ohne Auswirkungsanalyse kommt es zu anormalen Zugriffen auf jeden Datendienst. Dies ist oft eine Kernanforderung des Entwicklungssektors, um Auswirkungsbewertungen zu erm\u00f6glichen.<\/li>\n
    3. Der Datenwert: Die Messung des Datenwerts ist ein komplexes Problem. Um den Wert von Daten zu bewerten, ben\u00f6tigt man eine Grundlage. Die Datenherkunft liefert Referenzdaten in verschiedenen Aspekten, um die Bewertung zu erleichtern. Datenzielgruppe<\/strong>: Je mehr Datennachfrager, desto gr\u00f6\u00dfer der Datenwert.
      \nAktualisierungsumfang<\/strong>: Je gr\u00f6\u00dfer die Menge der aktualisierten Daten, desto h\u00f6her ist der Wert der Daten.
      \nAktualisierungsh\u00e4ufigkeit<\/strong>: Je h\u00e4ufiger die Aktualisierung, desto wertvoller sind die Daten.<\/li>\n
    4. Qualit\u00e4tsbewertung: Dies ist die Anforderung von Datenanalyse<\/strong><\/a> Anwendungen, und es ist notwendig, die Qualit\u00e4t der Endergebnisdaten zu kontrollieren. Wenn Datenprobleme gefunden werden, ist es notwendig, die Datenquelle weiter zu verfolgen, die Ursachen der Qualit\u00e4tsprobleme zu analysieren und diese anschlie\u00dfend zu beheben. Aus dem Datenherkunftsdiagramm l\u00e4sst sich der Datenverarbeitungsprozess leicht ableiten und anschlie\u00dfend die m\u00f6glichen Qualit\u00e4tsprobleme analysieren.<\/li>\n
    5. Der Lebenszyklus: Durch die Datenherkunft l\u00e4sst sich der gesamte Lebenszyklus der Daten intuitiv erfassen. Bei weniger wertvollen Daten kann eine Tiering-, Archivierungs- oder sogar Vernichtungsverfahren in Betracht gezogen werden.<\/li>\n
    6. Compliance-Anforderungen: Dies ist oft die Anforderung des oberen Managements. F\u00fcr die Einhaltung gesetzlicher Vorschriften sind alle Punkte und Quellen des Datenflusses die wichtigsten Punkte, die reguliert werden m\u00fcssen. Daher ist ein umfassendes Verst\u00e4ndnis der Beziehungen zwischen Daten erforderlich.<\/li>\n
    7. Sicherheitskontrolle: Dies ist oft eine Sicherheitsanforderung, um zu verstehen, wie die Daten verwendet werden und wer die Zielgruppe ist. All dies ist aus der Datenherkunft ersichtlich. Sie bilden auch die Grundlage f\u00fcr das Berechtigungsmanagement (Autorisierung auf Tabellen- und Feldebene) und gew\u00e4hrleisten so die Datensicherheit auf h\u00f6herer Ebene. In Kombination mit den Sicherheitskennungen in den Metadaten (z. B. welche Daten desensibilisiert werden m\u00fcssen usw.) k\u00f6nnen das Sicherheitsmanagement und die Sicherheitskontrolle der gesamten Dom\u00e4ne durchgef\u00fchrt werden.<\/li>\n
    8. Architekturdesign: Data Lineage erm\u00f6glicht es, Daten aus der Perspektive der Datenverarbeitung zu verstehen. In manchen Szenarien ist dies durchaus sinnvoll. Wenn beispielsweise ein bestimmtes altes Projekt beendet wird und ein neues Projekt die Nachfolge antreten muss, ist die Organisation ohne eine Datenfluss-Mapping-Tabelle sehr zeitaufw\u00e4ndig und es ist schwierig, die Integrit\u00e4t und Korrektheit der Migration sicherzustellen.<\/li>\n
    9. Datenbest\u00e4nde: Die Unternehmensleitung kann den gesamten Datenfluss anhand der Datenherkunft nachvollziehen. Dies ist f\u00fcr die Formulierung der Datenbestandsstrategie des Unternehmens von gro\u00dfem Nutzen.<\/li>\n
    10. F&E-Anforderungen: F\u00fcr das F&E-Personal ist es bei Vorhandensein einer Datenherkunft praktisch, die Datenverarbeitungslogik zu finden und zu verstehen sowie Probleme zu beheben.<\/li>\n<\/ol>\n

      Alles, was Sie \u00fcber Data Lineage wissen m\u00fcssen \u2013 Die Methoden der Data Lineage-Erfassung<\/strong><\/p>\n

        \n
      1. Automatisches Parsen: Automatisches Parsen ist derzeit die g\u00e4ngigste Erfassungsmethode. Die spezifische Methode besteht darin, SQL-Anweisungen, gespeicherte Prozeduren, ETL-Prozeduren und andere Dateien zu analysieren. Aufgrund der Komplexit\u00e4t des Codes und der Anwendungsumgebung sowie aus anderen Gr\u00fcnden kann die automatische Analyse nach Erfahrungen internationaler Hersteller 70\u2013951 TP2T Unternehmensdaten abdecken, 1001 TP2T sind derzeit jedoch nicht erreichbar.<\/li>\n
      2. Systemverfolgung: Das hei\u00dft, w\u00e4hrend des Datenverarbeitungsflusses ist das Datenverarbeitungsprogramm f\u00fcr die \u00dcbermittlung von Datenherkunftsinformationen verantwortlich. F\u00fcgen Sie beispielsweise im Anmerkungsbereich eine Beschreibung der Herkunft usw. hinzu. Der Vorteil dieses Ansatzes besteht darin, dass die Erfassung pr\u00e4zise, zeitnah und detailliert unterst\u00fctzt wird. Der Nachteil ist jedoch, dass er aufdringlich ist. Wenn das Unternehmen jedoch eine einheitliche Verarbeitungsplattform einsetzt, ist diese Methode dringend zu empfehlen.<\/li>\n
      3. Maschinelles Lernen: Diese Methode berechnet die \u00c4hnlichkeit von Daten basierend auf den Abh\u00e4ngigkeiten zwischen Datens\u00e4tzen. Der Vorteil dieser Methode besteht darin, dass keine Abh\u00e4ngigkeit von Tools und Unternehmen besteht. Der Nachteil besteht darin, dass die Genauigkeitsrate manuell best\u00e4tigt werden muss.<\/li>\n
      4. Manuelle Erfassung: Die letzte Methode ist die \u201euniverselle\u201c Methode, bei der die Datenherkunft manuell von der Forschungs- und Entwicklungsabteilung organisiert wird.<\/li>\n<\/ol>\n

        Alles, was Sie \u00fcber Data Lineage wissen m\u00fcssen \u2013 Die Anwendung von Data Lineage<\/strong><\/p>\n

        Basierend auf der M\u00f6glichkeit der Datenherkunft werden h\u00e4ufig die folgenden Anwendungen verwendet:<\/p>\n

          \n
        1. Durch Angabe einer Tabelle\/eines Felds k\u00f6nnen Sie dessen Vorw\u00e4rts-Mehrebenenobjekt verfolgen.<\/li>\n
        2. Durch Angabe der Tabelle\/des Feldes wird dessen r\u00fcckw\u00e4rtiges mehrstufiges Objekt zugeordnet.<\/li>\n
        3. Sie sind nicht auf ein einzelnes Objekt beschr\u00e4nkt, sondern k\u00f6nnen den gesamten Datenfluss in gr\u00f6\u00dferem Ma\u00dfstab (z. B. innerhalb eines Projekts usw.) verstehen. Dies ist sinnvoll f\u00fcr die Analyse von Hot Objects, die Datenbereinigung usw.<\/li>\n
        4. Das hei\u00dft, ausgehend von der Perspektive des \u201eBetriebs\u201c werden die Vorw\u00e4rts- und R\u00fcckw\u00e4rtsvorg\u00e4nge analysiert. Dies ist f\u00fcr die Fehlerbehebung, Qualit\u00e4tsanalyse und mehr sinnvoll.<\/li>\n
        5. Neben unserem \u00fcblichen Verst\u00e4ndnis von Herkunft gibt es eine allgemeinere Herkunft. Es gibt nicht nur eine Beziehung auf Datenebene zwischen Objekten, sondern auch eine Beziehung auf Referenzebene, d. h. die damit verbundene Verwendung zwischen Objekten, einschlie\u00dflich, aber nicht beschr\u00e4nkt auf Tabellen, Ansichten, Modelle, Berichte, Jobs usw. Dies ist f\u00fcr die Bewertung des Datenwerts, das Datenbestandsmanagement usw. von Bedeutung.<\/li>\n
        6. Bei der herk\u00f6mmlichen Datenexploration wird diese h\u00e4ufig entsprechend der Datenhierarchiedefinition durchgef\u00fchrt. Wenn eine Datenherkunft vorliegt, wird eine andere Explorationsmethode bereitgestellt, n\u00e4mlich eine schrittweise Exploration entsprechend der Datenverarbeitungslogik.<\/li>\n<\/ol>\n

          Abschluss<\/h3>\n

          Vielen Dank f\u00fcr das Lesen unseres Artikels. Wir hoffen, er ist hilfreich f\u00fcr Sie. Wenn Sie mehr \u00fcber die Datenherkunft erfahren m\u00f6chten, empfehlen wir Ihnen, Folgendes zu besuchen: Gudu SQLFlow<\/strong><\/a> f\u00fcr weitere Informationen.<\/p>\n

          Als einer der die besten Datenherkunftstools<\/strong><\/a> Gudu SQLFlow ist heute auf dem Markt erh\u00e4ltlich und kann nicht nur SQL-Skriptdateien analysieren, die Datenherkunft ermitteln und eine visuelle Anzeige durchf\u00fchren, sondern erm\u00f6glicht Benutzern auch, die Datenherkunft im CSV-Format bereitzustellen und eine visuelle Anzeige durchzuf\u00fchren. (Ver\u00f6ffentlicht von Ryan am 29. August 2022<\/strong>)<\/p>\n<\/div><\/div><\/div>