{"id":4961,"date":"2022-07-02T20:14:16","date_gmt":"2022-07-03T04:14:16","guid":{"rendered":"https:\/\/www.gudusoft.com\/?p=4961"},"modified":"2022-07-02T20:14:16","modified_gmt":"2022-07-03T04:14:16","slug":"data-lake-governance-benefits-challenges","status":"publish","type":"post","link":"https:\/\/www.gudusoft.com\/de\/data-lake-governance-vorteile-und-herausforderungen\/","title":{"rendered":"Data Lake Governance: Vorteile, Herausforderungen und Erste Schritte"},"content":{"rendered":"

Data Lake Governance: Vorteile, Herausforderungen und Erste Schritte<\/h2>\n

Ein erfolgreicher Datenverwaltung<\/strong><\/a> Programm nutzt Richtlinien, Standards und Prozesse, um hochwertige Daten<\/strong><\/a> und stellen Sie sicher, dass es im gesamten Unternehmen ordnungsgem\u00e4\u00df genutzt wird. Data Governance konzentrierte sich zun\u00e4chst auf strukturierte Daten in relationalen Datenbanken und traditionellen Data Warehouses<\/strong><\/a>, aber die Dinge haben sich ge\u00e4ndert. Wenn Ihr Unternehmen \u00fcber eine Data Lake-Umgebung verf\u00fcgt, aus der Sie genaue Analysen ben\u00f6tigen, m\u00fcssen Sie auch geeignete Datensee<\/strong><\/a> Governance als Teil eines umfassenden Governance-Plans.<\/p>\n

Aber Data Lakes stellen verschiedene Herausforderungen f\u00fcr alle Bereiche dar Unternehmensdatenverwaltung<\/strong><\/a>, einschlie\u00dflich der Datenverwaltung. Im Folgenden werden einige der wichtigsten Governance-Herausforderungen und die Vorteile einer effektiven Verwaltung eines Data Lakes untersucht.<\/p>\n

Zun\u00e4chst definieren wir jedoch, was ein Data Lake ist: Er bezeichnet eine Datenplattform, die gro\u00dfe Mengen an Rohdaten enth\u00e4lt, oft verschiedene strukturierte, unstrukturierte und halbstrukturierte Datentypen. Er basiert in der Regel auf Hadoop, Spark und anderen Big-Data-Technologien.<\/p>\n

W\u00e4hrend die meisten Data Warehouses Daten in relationalen Tabellen speichern, verwenden Data Lakes ein flaches Schema. Jedes Datenelement erh\u00e4lt eine eindeutige Kennung und ist mit Metadaten-Tags gekennzeichnet. Daher ist ein Data Lake nicht so strukturiert wie ein Data Warehouse. Die Daten bleiben in der Regel in ihrem urspr\u00fcnglichen Format erhalten und werden bei Bedarf f\u00fcr bestimmte Analysezwecke sortiert, organisiert und gefiltert, nicht jedoch beim Laden in einen Data Lake.<\/p>\n

\"Data

Data Lake-Verwaltung<\/p><\/div>\n

Datenseen und Datens\u00fcmpfe:<\/h3>\n

Wird ein Data Lake nicht gut verwaltet und kontrolliert, kann er sich schnell in einen Sumpf verwandeln. Daten werden ohne angemessene \u00dcberwachung und Protokollierung auf Plattformen \u00fcbertragen, was es f\u00fcr Datenmanagement- und Governance-Teams schwierig macht, den \u00dcberblick \u00fcber den Inhalt des Data Lakes zu behalten. Dies kann zu Problemen mit der Datenqualit\u00e4t, -konsistenz, -zuverl\u00e4ssigkeit und -zug\u00e4nglichkeit f\u00fchren.<\/p>\n

Infolge, Datenwissenschaftler<\/strong><\/a>, Dateningenieure<\/strong><\/a>, und andere Endbenutzer finden m\u00f6glicherweise keine relevanten Daten f\u00fcr analytische Anwendungen. Schlimmer noch: Datenschwemme k\u00f6nnen zu Analysefehlern und letztlich zu schlechten Gesch\u00e4ftsentscheidungen f\u00fchren. Datensicherheit und Datenschutz werden m\u00f6glicherweise nicht ordnungsgem\u00e4\u00df umgesetzt, was die Datenbest\u00e4nde und den Ruf eines Unternehmens gef\u00e4hrdet. Um diese schwierige Situation zu vermeiden, m\u00fcssen Unternehmen die Data-Lake-Umgebung verwalten.<\/p>\n

Vorteile der Data Lake Governance:<\/strong><\/h3>\n

Effektive Datenverwaltung erm\u00f6glicht Unternehmen, die Datenqualit\u00e4t zu verbessern und die Datennutzung f\u00fcr Gesch\u00e4ftsentscheidungen zu maximieren. Dies kann zu operativen Verbesserungen, st\u00e4rkeren Gesch\u00e4ftsstrategien und einer besseren finanziellen Performance f\u00fchren. F\u00fcr Data Lakes gilt dasselbe Prinzip wie f\u00fcr andere Systeme. Zu den spezifischen Vorteilen der Data Lake Governance geh\u00f6ren:<\/p>\n

    \n
  1. Erh\u00f6hen Sie den Zugriff auf relevante Daten f\u00fcr erweiterte Analysen.<\/strong> In einem gut verwalteten Datensee ist es f\u00fcr Datenwissenschaftler und den Rest des Analyseteams einfacher, die Daten zu finden, die sie f\u00fcr maschinelles Lernen, pr\u00e4diktive Analysen und andere Datenwissenschaftsanwendungen ben\u00f6tigen.<\/li>\n
  2. Verbringen Sie weniger Zeit mit der Vorbereitung von Daten f\u00fcr Analysezwecke.<\/strong> W\u00e4hrend Daten in einem Data Lake \u00fcblicherweise in Rohform gespeichert werden, da sie f\u00fcr eine bestimmte Anwendung ben\u00f6tigt werden, kann der Datenaufbereitungsprozess in einer regulierten Umgebung verk\u00fcrzt werden. Beispielsweise reduziert eine fr\u00fchzeitige Datenbereinigung den Zeitaufwand f\u00fcr die sp\u00e4tere Behebung von Datenfehlern und anderen Problemen.<\/li>\n
  3. Reduzieren Sie die IT- und Datenverwaltungskosten.<\/strong> By preventing the data lake from getting out of control, the required data processing and storage resources can be reduced. It also reduces overall data management needs by improving data accuracy, neatness, and consistency.<\/li>\n
  4. Verbessern Sie die Sicherheit und Einhaltung gesetzlicher Vorschriften f\u00fcr sensible Daten.<\/strong> Ein h\u00e4ufiger Anwendungsfall f\u00fcr Data Lakes ist die Unterst\u00fctzung von Marketing und Vertrieb. Daher enthalten sie in der Regel vertrauliche Kundendaten. Eine strenge Data Lake-Governance tr\u00e4gt dazu bei, diese Daten angemessen zu sch\u00fctzen und Missbrauch zu verhindern.<\/li>\n<\/ol>\n

    Herausforderungen bei der Data Lake-Governance:<\/h3>\n

    Zu den begleitenden Datenmanagementdisziplinen der Datenverwaltung geh\u00f6ren Datenqualit\u00e4t, Metadatenverwaltung<\/strong><\/a>und Datensicherheit, die alle die Data Lake-Governance und die damit verbundenen Herausforderungen beeinflussen. Hier sind f\u00fcnf h\u00e4ufige Herausforderungen bei der Datengovernance, die bei Data Lake-Bereitstellungen auftreten.<\/p>\n

      \n
    1. Identifizieren und pflegen Sie die richtigen Datenquellen.<\/strong> In vielen Data-Lake-Implementierungen werden Quellmetadaten nicht erfasst oder sind \u00fcberhaupt nicht verf\u00fcgbar. Dies stellt die G\u00fcltigkeit der Data-Lake-Inhalte in Frage. Beispielsweise ist der Gesch\u00e4ftsinhaber eines Datensatzes oder Datensatzes nicht aufgef\u00fchrt, oder scheinbar redundante Daten k\u00f6nnen Datenanalysten vor Probleme stellen. Zumindest sollten die Quellmetadaten aller Daten im Data Lake dokumentiert und den Benutzern zur Verf\u00fcgung gestellt werden, um Einblicke in deren Herkunft zu erhalten.<\/li>\n
    2. Probleme bei der Metadatenverwaltung.<\/strong> Metadaten sind wichtig, um den Inhalt eines Datensatzes in Kontext zu setzen und ihn verst\u00e4ndlich und in Anwendungen nutzbar zu machen. Viele Data-Lake-Implementierungen wenden jedoch nicht die korrekte Datendefinition auf die erfassten Daten an. Da Rohdaten typischerweise in einen Data Lake geladen werden, verf\u00fcgen viele Unternehmen zudem nicht \u00fcber die erforderlichen Ma\u00dfnahmen zur Datenvalidierung oder zur Anwendung organisatorischer Datenstandards. Die Daten im Data Lake sind aufgrund fehlender Metadatenverwaltung f\u00fcr Analysen kaum nutzbar.<\/li>\n
    3. Es mangelt an der Koordination zwischen Datenverwaltung und Datenqualit\u00e4t.<\/strong> Unkoordinierte Data-Lake-Governance und Datenqualit\u00e4tsbem\u00fchungen k\u00f6nnen dazu f\u00fchren, dass Daten von geringer Qualit\u00e4t in den Data Lake gelangen. Werden Daten zur Analyse und Entscheidungsfindung verwendet, kann dies zu ungenauen Ergebnissen f\u00fchren, was zu einem Vertrauensverlust in den Data Lake und einem allgemeinen Misstrauen gegen\u00fcber Daten im gesamten Unternehmen f\u00fchrt. Eine effektive Data-Lake-Implementierung erfordert Datenqualit\u00e4tsanalysten<\/strong><\/a> und Ingenieure, die eng mit dem Data Governance-Team und dem Unternehmen zusammenarbeiten Datenverwalter<\/strong><\/a> um Datenqualit\u00e4tsrichtlinien anzuwenden, die Daten zu analysieren und die notwendigen Ma\u00dfnahmen zur Verbesserung ihrer Qualit\u00e4t zu ergreifen.<\/li>\n
    4. Mangelnde Koordination zwischen Datenverwaltung und Datensicherheit.<\/strong> In diesem Fall k\u00f6nnen nicht ordnungsgem\u00e4\u00df im Governance-Prozess angewendete Datensicherheitsstandards und -richtlinien zu Problemen beim Zugriff auf personenbezogene und andere sensible Daten f\u00fchren, die durch Datenschutzbestimmungen gesch\u00fctzt sind. Obwohl Data Lakes als relativ offene Datenquellen konzipiert sind, sind dennoch Sicherheits- und Zugriffskontrollen erforderlich. Data-Governance- und Datensicherheitsteams sollten daher beim Entwurf und Ladeprozess des Data Lakes sowie bei den laufenden Data-Governance-Bem\u00fchungen zusammenarbeiten.<\/li>\n
    5. Konflikte zwischen Gesch\u00e4ftseinheiten, die denselben Datensee verwenden.<\/strong> Verschiedene Abteilungen haben m\u00f6glicherweise unterschiedliche Gesch\u00e4ftsregeln f\u00fcr \u00e4hnliche Daten. Dies kann dazu f\u00fchren, dass Datenabweichungen f\u00fcr eine pr\u00e4zise Analyse nicht ausgeglichen werden k\u00f6nnen. Ein robustes Data-Governance-Programm mit einer unternehmensweiten Sicht auf Datenrichtlinien, -standards, -verfahren und -definitionen, einschlie\u00dflich eines Unternehmensglossars, kann die Probleme reduzieren, die entstehen, wenn mehrere Gesch\u00e4ftseinheiten einen Data Lake nutzen. Verf\u00fcgt ein Unternehmen \u00fcber mehrere Data Lakes, sollte jeder Data Lake in den Data-Lake-Governance-Prozess einbezogen und einem Business Data Steward zugewiesen werden.<\/li>\n<\/ol>\n

      Wie beginnt man mit der Verwaltung von Datenseen?<\/h3>\n

      Wie bei der Datenverwaltung in anderen Systemtypen umfassen die allgemeinen ersten Schritte f\u00fcr die Data Lake-Verwaltung Folgendes:<\/p>\n

        \n
      1. Dokumentieren Sie den Business Case f\u00fcr die Verwaltung des Datensees, einschlie\u00dflich Datenqualit\u00e4tsmetriken und anderer M\u00f6glichkeiten zur Messung des Nutzens der Verwaltungsbem\u00fchungen.<\/li>\n
      2. Finden Sie F\u00fchrungskr\u00e4fte oder Unternehmenssponsoren, die Ihnen dabei helfen, die Genehmigung und Finanzierung f\u00fcr Governance-Bem\u00fchungen zu erhalten.<\/li>\n
      3. Wenn Sie noch keine Datenverwaltungsstruktur eingerichtet haben, erstellen Sie eine, die ein Verwaltungsteam, eine Datenverwaltung und ein Datenverwaltungskomitee umfasst \u2013 bestehend aus Unternehmensleitern und anderen relevanten Dateneigent\u00fcmern.<\/li>\n
      4. Arbeiten Sie mit dem Governance-Komitee zusammen, um Datenstandards und Governance-Richtlinien f\u00fcr die Data Lake-Umgebung zu entwickeln.<\/li>\n<\/ol>\n

        Ein weiterer guter erster Schritt ist die Erstellung eines Datenkatalogs, der Endbenutzern hilft, die im Data Lake gespeicherten Daten zu finden und zu verstehen. Wenn Sie bereits einen Katalog mit anderen Datenbest\u00e4nden haben, k\u00f6nnen Sie diesen um einen Data Lake erweitern. Der Datenkatalog erfasst Metadaten und erstellt ein Inventar der verf\u00fcgbaren Daten, das Benutzer durchsuchen k\u00f6nnen, um die ben\u00f6tigten Daten zu finden. Sie k\u00f6nnen in den Katalog auch Informationen zu den Data-Governance-Richtlinien Ihres Unternehmens sowie zu Mechanismen zur Durchsetzung von Regeln und Einschr\u00e4nkungen einbetten.<\/p>\n

        Zusammenfassend l\u00e4sst sich sagen, dass der Wert eines Data Lakes durch die Ber\u00fccksichtigung einer starken Datenverwaltung sowie von Metadatenmanagement-, Datenqualit\u00e4ts- und Datensicherheitsprozessen bei der Gestaltung, dem Laden und der Pflege der Datenumgebung deutlich gesteigert werden kann. Die aktive Einbindung erfahrener Fachleute in all diesen Bereichen ist ebenfalls entscheidend. Andernfalls k\u00f6nnte Ihr Data Lake tats\u00e4chlich zu einem Datensumpf werden.<\/p>\n

        Abschluss<\/h3>\n

        Vielen Dank f\u00fcr das Lesen unseres Artikels. Wir hoffen, er hilft Ihnen, Data Lake Governance besser zu verstehen. Wenn Sie mehr \u00fcber Data Lake Governance erfahren m\u00f6chten, besuchen Sie bitte: Gudu SQLFlow<\/strong><\/a> f\u00fcr weitere Informationen.<\/p>\n

        Als einer der\u00a0die besten Datenherkunftstools<\/a><\/strong>\u00a0Gudu SQLFlow ist heute auf dem Markt erh\u00e4ltlich und kann nicht nur SQL-Skriptdateien analysieren,\u00a0Datenherkunft<\/strong><\/a>, und f\u00fchren Sie eine visuelle Anzeige durch, erm\u00f6glichen Sie Benutzern aber auch, die Datenherkunft im CSV-Format bereitzustellen und eine visuelle Anzeige durchzuf\u00fchren.\u00a0(Ver\u00f6ffentlicht von Ryan am 3. Juli 2022)<\/strong><\/p>\n<\/div><\/div><\/div>