{"id":5196,"date":"2022-07-22T08:06:19","date_gmt":"2022-07-22T16:06:19","guid":{"rendered":"https:\/\/www.gudusoft.com\/?p=5196"},"modified":"2022-07-22T08:08:29","modified_gmt":"2022-07-22T16:08:29","slug":"why-data-lineage-matters-why-its-so-challenging","status":"publish","type":"post","link":"https:\/\/www.gudusoft.com\/de\/warum-die-datenherkunft-wichtig-ist-warum-sie-so-schwierig-ist\/","title":{"rendered":"Warum ist die Datenherkunft wichtig und warum ist sie so schwierig?"},"content":{"rendered":"

Warum ist die Datenherkunft wichtig und warum ist sie so schwierig?<\/h2>\n

Ver\u00e4nderungen bergen Risiken. Dies ist eines der Grundprinzipien der Softwareentwicklung, das die meisten von uns schon fr\u00fch in ihrer Karriere lernen. Doch trotz dieser wiederholten Lektionen scheint es immer wieder zu Ver\u00e4nderungen zu kommen. Unsere Unf\u00e4higkeit, die Auswirkungen von Ver\u00e4nderungen, selbst kleinen, vorherzusehen, f\u00fchrt oft zu negativen Folgen. Dieses Problem versch\u00e4rft sich mit der zunehmenden Komplexit\u00e4t vernetzter IT-Systeme. Es wird zunehmend schwieriger vorherzusagen, wie sich selbst kleine \u00c4nderungen auf die vor- oder nachgelagerten Systeme der Ver\u00e4nderung auswirken. Datenherkunft<\/strong><\/a> Dies gelingt, aber es gut zu machen, ist \u00e4u\u00dferst schwierig.<\/p>\n

\"Warum

Warum die Datenherkunft wichtig ist<\/p><\/div>\n

Warum ist die Datenherkunft wichtig?<\/h3>\n

Fr\u00fcher lagerten Daten in Silos mit relativ wenigen Verbindungspunkten zwischen ihnen. Heute flie\u00dfen Daten jedoch in mehrere Richtungen zwischen mehreren Systemen. Viele dieser Systeme teilen Daten mit externen Organisationen, was bedeutet, dass Informationen auch dort in interne Systeme flie\u00dfen. Daher ist es einfacher denn je, den Einfluss einer einzigen \u00c4nderung auf mehrere andere Systeme zu ignorieren.<\/p>\n

Nehmen wir beispielsweise an, Ihr Unternehmen bietet eine mobile Anwendung an, mit der Kunden schnell und einfach neue Serviceanfragen stellen k\u00f6nnen. Bisher konnten Ihre Kunden ihre Produktvarianten angeben. Ihr Designteam hat festgestellt, dass diese Informationen, da sie bereits in Ihrer CRM-Datenbank vorhanden sind, nicht mehr von den Nutzern Ihrer mobilen App erfasst werden m\u00fcssen.<\/p>\n

Ihre Aufgabe bestand darin, die Anwendung zu vereinfachen. Daher haben Sie das Eingabefeld entfernt und durch eine Abfrage ersetzt, um Kundenproduktinformationen aus Ihrem CRM zu extrahieren. Theoretisch sollte der generierte Arbeitsauftrag alle Informationen enthalten, die Ihr Au\u00dfendienstpersonal zur Erledigung seiner Aufgabe ben\u00f6tigt.<\/p>\n

Leider gibt es ein Problem: Einige Kundenproduktdatens\u00e4tze in Ihrem CRM-System enthalten Nullwerte. Ihre mobile Anwendung suchte nach diesen Informationen, lieferte Ihrem Ticketsystem jedoch ung\u00fcltige Ergebnisse. Ihre Au\u00dfendienstmitarbeiter wissen nicht mehr, wie sie sich auf den n\u00e4chsten Serviceeinsatz vorbereiten sollen.<\/p>\n

Das klingt nach einer relativ einfachen Datenqualit\u00e4t<\/a><\/strong> Dieses Problem h\u00e4tte man vielleicht vorhersehen k\u00f6nnen, wenn jemand die CRM-Daten gr\u00fcndlicher gepr\u00fcft h\u00e4tte. Wenn die Nullwerte in der CRM-Datenbank jedoch erst sp\u00e4ter eingef\u00fchrt wurden, k\u00f6nnte selbst das das Problem nicht l\u00f6sen. Wenn Sie beispielsweise Kundendaten eines neu erworbenen Unternehmens in Ihr CRM-System integrieren, fehlen Ihnen m\u00f6glicherweise die mit diesen neuen Datens\u00e4tzen verkn\u00fcpften Produktinformationen.<\/p>\n

Manchmal sind diese Probleme schwerer vorhersehbar und nicht sofort erkennbar. Stellen Sie sich vor, was passiert, wenn Ihr Marketingteam beschlie\u00dft, die Kriterien f\u00fcr die Kundensegmentierung neu zu definieren. Ein neues Datenfeld wird hinzugef\u00fcgt, um die Kundenkategorie anzugeben, die dann alle Kundenwerte f\u00fcllt. Das alte Feld wird nicht empfohlen.<\/p>\n

Ohne das Wissen der Marketingabteilung nutzten die Topmanager des Unternehmens jedoch immer noch veraltete Daten. Die von ihnen verwendeten Dashboards basieren auf Daten in veralteten Feldern. T\u00e4glich kommen neue Kunden hinzu, doch niemand gibt Werte in die veralteten Felder ein. Infolgedessen sehen sich die F\u00fchrungsteams mit verzerrten Daten konfrontiert. Pl\u00f6tzlich verfolgt das Topmanagement KPIs, die sich stark von denen des restlichen Unternehmens unterscheiden. Schlimmer noch: Erst Wochen oder Monate sp\u00e4ter bemerkte niemand das Problem.<\/p>\n

Stellen Sie sich als N\u00e4chstes ein \u00e4hnliches Szenario vor. Anstatt jedoch ein Executive Dashboard zu f\u00fcllen, speist das Quellsystem Daten in einen KI-Algorithmus ein, der Kundenempfehlungen auf Ihrer E-Commerce-Website generiert. Wenn eine KI mit fehlerhaften Daten trainiert wird \u2013 oder wenn sich die Daten erheblich \u00e4ndern \u2013 kann dies die Effektivit\u00e4t der Technologie erheblich beeintr\u00e4chtigen. In diesem Fall beeintr\u00e4chtigt dies Ihre Kundenempfehlungs-Engine.<\/p>\n

Bew\u00e4ltigung von Herausforderungen im Zusammenhang mit der Datenherkunft<\/h3>\n

Datenherkunftstools<\/a><\/strong> bieten einen systematischen Ansatz zum Verst\u00e4ndnis der Auswirkungen von \u00c4nderungen, indem sie einen vollst\u00e4ndigen Fahrplan potenzieller vorgelagerter und nachgelagerter Auswirkungen bereitstellen.<\/p>\n

Dies entspricht Risikominderung und Kostenkontrolle. Wenn wir vorhersagen k\u00f6nnen, wie sich \u00c4nderungen auf andere Systeme auswirken, k\u00f6nnen wir die zuvor beschriebenen Probleme vermeiden. Dies f\u00fchrt zu weniger Aufwand, einer schnelleren Markteinf\u00fchrung und niedrigeren Kosten. Wir alle kennen das Prinzip, dass Probleme, die fr\u00fch im Entwicklungsprozess erkannt werden, schneller und kosteng\u00fcnstiger gel\u00f6st werden k\u00f6nnen. Die Datenherkunft stellt ein wichtiges fehlendes Bindeglied dar, und Probleme k\u00f6nnen identifiziert werden, bevor sie die Qualit\u00e4tssicherung erreichen.<\/p>\n

Es gibt auch Vorteile f\u00fcr Datenverwaltung<\/a><\/strong> und Compliance. Mit der Verabschiedung der Datenschutz-Grundverordnung (DSGVO) im Jahr 2016 stellte die Europ\u00e4ische Union eine Reihe neuer Anforderungen an Systeme mit personenbezogenen Daten. Fordert Sie ein Kunde auf, seine Daten zu l\u00f6schen, sind Sie gesetzlich verpflichtet, dieser Aufforderung nachzukommen. Doch was passiert vor und nach dieser \u00c4nderung? Wird dadurch etwas besch\u00e4digt? Oder verbleiben einige der personenbezogenen Daten des Kunden an anderer Stelle in Ihrem System, sodass Sie gegen die gesetzlichen Bestimmungen versto\u00dfen?<\/p>\n

Die Datenherkunft behebt diese Probleme, indem sie die Erkennung vor- und nachgelagerter Auswirkungen automatisiert. Sie bietet klare \u00dcberpr\u00fcfbarkeit, die hilft, die Ursache von \u00c4nderungen und den Weg zu ihrem aktuellen Zustand zu ermitteln.<\/p>\n

Column-level data lineage is particularly difficult because it needs parsing SQL queries to identify exactly what has changed and how, which means leveraging database logs, but because there are many database vendors, each with their own unique SQL dialect, parsing this information for various databases can be particularly challenging. As each SQL dialect evolves over time, data lineage tools must evolve to accommodate these changes.<\/p>\n

Die Datenherkunft auf Spaltenebene wird mit der zunehmenden Reichweite vernetzter Systeme und der Beschleunigung des Informationsflusses noch wichtiger. Heute ist sie ein \u00e4u\u00dferst n\u00fctzliches Tool, das Zeit, Aufwand und Geld spart. Bald wird die Datenherkunft unverzichtbar sein.<\/p>\n

Abschluss<\/h3>\n

Vielen Dank f\u00fcr das Lesen unseres Artikels. Wir hoffen, er hat Ihnen ein besseres Verst\u00e4ndnis daf\u00fcr vermittelt, warum Data Lineage wichtig ist und warum sie so herausfordernd ist. Wenn Sie mehr \u00fcber Data Lineage erfahren m\u00f6chten, empfehlen wir Ihnen, Folgendes zu besuchen: Gudu SQLFlow<\/strong><\/a> f\u00fcr weitere Informationen.<\/p>\n

Als eines der besten derzeit auf dem Markt erh\u00e4ltlichen Tools zur Datenherkunft kann Gudu SQLFlow nicht nur SQL-Skriptdateien analysieren, die Datenherkunft ermitteln und eine visuelle Anzeige durchf\u00fchren, sondern Benutzern auch erm\u00f6glichen, die Datenherkunft im CSV-Format bereitzustellen und eine visuelle Anzeige durchzuf\u00fchren. (Ver\u00f6ffentlicht von Ryan am 23. Juli 2022)<\/strong><\/p>\n<\/div><\/div><\/div>