{"id":4806,"date":"2022-06-29T07:12:28","date_gmt":"2022-06-29T15:12:28","guid":{"rendered":"https:\/\/www.gudusoft.com\/?p=4806"},"modified":"2022-06-29T07:16:43","modified_gmt":"2022-06-29T15:16:43","slug":"metadata-architecture-evolution","status":"publish","type":"post","link":"https:\/\/www.gudusoft.com\/de\/metadaten-architektur-evolution\/","title":{"rendered":"Entwicklung der Metadatenarchitektur | Gudu SQLFlow"},"content":{"rendered":"<div class=\"fusion-fullwidth fullwidth-box fusion-builder-row-1 fusion-flex-container nonhundred-percent-fullwidth non-hundred-percent-height-scrolling\" style=\"background-color: rgba(255,255,255,0);background-position: center center;background-repeat: no-repeat;border-width: 0px 0px 0px 0px;border-color:#e8eaf0;border-style:solid;\" ><div class=\"fusion-builder-row fusion-row fusion-flex-align-items-flex-start\" style=\"max-width:1310.4px;margin-left: calc(-4% \/ 2 );margin-right: calc(-4% \/ 2 );\"><div class=\"fusion-layout-column fusion_builder_column fusion-builder-column-0 fusion_builder_column_1_1 1_1 fusion-flex-column\"><div class=\"fusion-column-wrapper fusion-flex-justify-content-flex-start fusion-content-layout-column\" style=\"background-position:left top;background-repeat:no-repeat;-webkit-background-size:cover;-moz-background-size:cover;-o-background-size:cover;background-size:cover;padding: 0px 0px 0px 0px;\"><div class=\"fusion-text fusion-text-1\" style=\"line-height:26px;\"><h2>Entwicklung der Metadatenarchitektur<\/h2>\n<p><a href=\"https:\/\/www.gudusoft.com\/de\/was-ist-metadatenverwaltung\/\"><strong>Metadatenverwaltung<\/strong><\/a> ist die Grundlage und Quelle der <strong><a href=\"https:\/\/www.gudusoft.com\/de\/category\/data-governance-101\/\">Datenverwaltung<\/a><\/strong> System. In verschiedenen Phasen der technologischen Entwicklung unterscheiden sich Status und Rolle in der Datenverwaltung von Unternehmen erheblich. Daten zeichnen sich heute durch Multi-Source-Charakter, Heterogenit\u00e4t und Wertunterschiede aus, die sich im rasanten Datenwachstum noch weiter beschleunigen und verst\u00e4rken. Da die Rechenleistung von Unternehmen deutlich zugenommen hat, besteht zudem die Erwartung, Daten tiefer auszuwerten, um einen h\u00f6heren Nutzen zu erzielen.<\/p>\n<p>Als Support-Team f\u00fcr Unternehmensdaten h\u00f6ren wir t\u00e4glich am h\u00e4ufigsten die Frage: \u201eWie erhalte ich den richtigen Datensatz?\u201c Wir haben festgestellt, dass unsere Teams trotz hochskalierbarer Datenspeicherung, Echtzeit-Computing und vielem mehr immer noch Zeit mit der Suche nach den richtigen Datens\u00e4tzen f\u00fcr Entwicklung und Analyse verschwenden. Das hei\u00dft, es mangelt uns immer noch an der Verwaltung von Datenbest\u00e4nden. Tats\u00e4chlich bieten viele Unternehmen Open-Source-L\u00f6sungen f\u00fcr die oben genannten Probleme an, insbesondere Tools zur Datenermittlung und Metadatenverwaltung.<\/p>\n<p>Da die Gesch\u00e4fts- und Technologieentwicklungsbed\u00fcrfnisse verschiedener Unternehmen in verschiedenen Phasen jedoch begrenzt sind, variiert die Auswahl der Funktionen, Anwendungen und Schwerpunkte f\u00fcr den Aufbau relevanter Managementplattformen durch Unternehmen h\u00e4ufig stark. Dieser Artikel stellt die architektonische Entwicklung von <a href=\"https:\/\/www.gudusoft.com\/de\/top-10-tools-zur-metadatenverwaltung\/\"><strong>Tools zur Metadatenverwaltung<\/strong><\/a>.<\/p>\n<p>Vereinfacht ausgedr\u00fcckt ist Metadatenmanagement die effiziente Organisation und Verwaltung von Datenbest\u00e4nden mithilfe von Metadaten. Es unterst\u00fctzt Datenexperten beim Sammeln, Organisieren, Zugreifen und Anreichern von Metadaten und unterst\u00fctzt \u00fcbergeordnete Anwendungen wie Datenzuordnungen, Datenspezifikation, Kostenkontrolle, Qualit\u00e4tspr\u00fcfung und Sicherheitsaudits.<\/p>\n<p>Vor drei\u00dfig Jahren war ein Datenbestand vielleicht nur eine Tabelle in einer Oracle-Datenbank. In modernen Unternehmen gibt es jedoch eine verwirrende Vielfalt unterschiedlicher Datenbestandstypen. Es kann sich um eine relationale Datenbanktabelle, ein Objekt in einer nicht-relationalen Datenbank, ein Echtzeit-Streaming-Datenelement, einen Indikator, ein Portr\u00e4t oder ein Zifferblatt bzw. ein Panel in einem BI-Tool handeln.<\/p>\n<p>Ein modernes Metadatenmanagementsystem sollte alle Arten von Datenbest\u00e4nden abdecken und Datenarbeitern helfen, die zugeh\u00f6rigen Datenbest\u00e4nde besser zu nutzen. Daher sind die Kernfunktionen eines Metadatenmanagementsystems heute wie folgt:<\/p>\n<ul>\n<li>Suche und Entdeckung: Datentabellen, Felder, Tags, Nutzungsinformationen;<\/li>\n<li>Zugriffskontrolle: Zugriffskontrollgruppen, Benutzer, Richtlinien;<\/li>\n<li><a href=\"https:\/\/www.gudusoft.com\/de\/whats-data-lineage-why-important\/\"><strong>Datenherkunft<\/strong><\/a>: Pipeline-Ausf\u00fchrung, Abfrage;<\/li>\n<li>Compliance: Klassifizierung von Datenschutz-\/Compliance-Annotationstypen;<\/li>\n<li>Datenverwaltung: Datenquellenkonfiguration, Aufnahmekonfiguration, Aufbewahrungskonfiguration, Datenbereinigungsrichtlinie;<\/li>\n<li>Interpretierbarkeit und Reproduzierbarkeit von KI: Merkmalsdefinition, Modelldefinition, Ausf\u00fchrung von Trainingsl\u00e4ufen, Problemstellung;<\/li>\n<li>Datenmanipulation: Pipeline-Ausf\u00fchrung, verarbeitete Datenpartition, Datenstatistik;<\/li>\n<li><a href=\"https:\/\/www.gudusoft.com\/de\/so-verbessern-sie-die-datenqualitat\/\"><strong>Datenqualit\u00e4t<\/strong><\/a>: Definition der Datenqualit\u00e4tsregel, Ergebnis der Regelausf\u00fchrung, Datenstatistik.<\/li>\n<\/ul>\n<h3>Entwicklung der Metadatenarchitektur:<\/h3>\n<p>Der<strong> erste Generation<\/strong> <strong>Metadatenarchitektur<\/strong> basiert im Allgemeinen auf Extraktion. Metadaten werden durch Verbinden und Abfragen von Datenquellen (Hive, Kafka usw.) gewonnen, wobei lediglich externe Speicher- und Abfragedienste erforderlich sind. Es handelt sich in der Regel um ein klassisches monolithisches Frontend, das sich mit dem prim\u00e4ren Speicher f\u00fcr Abfragen (meist MySQL\/Postgres) verbindet. Ein Suchindex (meist Elasticsearch) bedient Suchanfragen, wenn die Abfrage die \u201erekursive Abfrage\u201c-Grenze einer relationalen Datenbank erreicht. Er kann erweitert werden, um eine Graphdatenbank (meist Neo4j) als Abfrageindex zu verwenden.<\/p>\n<div id=\"attachment_4814\" style=\"width: 922px\" class=\"wp-caption aligncenter\"><img aria-describedby=\"caption-attachment-4814\" decoding=\"async\" class=\"wp-image-4814 size-full\" src=\"https:\/\/www.gudusoft.com\/wp-content\/uploads\/2022\/06\/Metadata_Architecture-2.png\" alt=\"Metadatenarchitektur\" width=\"912\" height=\"401\" srcset=\"https:\/\/www.gudusoft.com\/wp-content\/uploads\/2022\/06\/Metadata_Architecture-2-200x88.png 200w, https:\/\/www.gudusoft.com\/wp-content\/uploads\/2022\/06\/Metadata_Architecture-2-300x132.png 300w, https:\/\/www.gudusoft.com\/wp-content\/uploads\/2022\/06\/Metadata_Architecture-2-400x176.png 400w, https:\/\/www.gudusoft.com\/wp-content\/uploads\/2022\/06\/Metadata_Architecture-2-600x264.png 600w, https:\/\/www.gudusoft.com\/wp-content\/uploads\/2022\/06\/Metadata_Architecture-2-768x338.png 768w, https:\/\/www.gudusoft.com\/wp-content\/uploads\/2022\/06\/Metadata_Architecture-2-800x352.png 800w, https:\/\/www.gudusoft.com\/wp-content\/uploads\/2022\/06\/Metadata_Architecture-2.png 912w\" sizes=\"(max-width: 912px) 100vw, 912px\" \/><p id=\"caption-attachment-4814\" class=\"wp-caption-text\">Metadatenarchitektur<\/p><\/div>\n<p>Die Vorteile dieser Metadatenarchitektur liegen auf der Hand: Sie ist einfach und kann schnell, effizient und kosteng\u00fcnstig mit nur Speicher und einer Suchmaschine erstellt werden. Die Nachteile liegen jedoch auf der Hand: Sie beeintr\u00e4chtigt die Leistung der Datenquelle erheblich und stellt hohe Anforderungen an Extraktionszeit, -h\u00e4ufigkeit und -last. Da zudem die Echtzeitanforderungen immer h\u00f6her werden, ist diese Metadatenarchitektur zunehmend ungeeignet.<\/p>\n<p>Das Open-Source-Produkt Amundsen verf\u00fcgt \u00fcber eine Architektur der ersten Generation, konzentriert sich jedoch auf die Funktion der Erzielung eines Suchrankings, was sehr leistungsstark ist.<\/p>\n<p>Der<strong> zweite Generation<\/strong> <strong>Metadatenarchitektur<\/strong> ist eine dreistufige Anwendungsarchitektur, die auf Service-Splitting basiert. Diese Architektur trennt die monolithische Anwendung von Metadatendiensten. Der Dienst bietet eine API, die das Schreiben von Metadaten in das System per Push-Mechanismus erm\u00f6glicht, sowie eine API zum Lesen von Metadaten f\u00fcr Programme, die Metadaten programmgesteuert lesen m\u00fcssen.<\/p>\n<div id=\"attachment_4817\" style=\"width: 892px\" class=\"wp-caption aligncenter\"><img aria-describedby=\"caption-attachment-4817\" decoding=\"async\" class=\"wp-image-4817 size-full\" src=\"https:\/\/www.gudusoft.com\/wp-content\/uploads\/2022\/06\/Metadata_Architecture-3.png\" alt=\"Metadatenarchitektur\" width=\"882\" height=\"500\" srcset=\"https:\/\/www.gudusoft.com\/wp-content\/uploads\/2022\/06\/Metadata_Architecture-3-200x113.png 200w, https:\/\/www.gudusoft.com\/wp-content\/uploads\/2022\/06\/Metadata_Architecture-3-300x170.png 300w, https:\/\/www.gudusoft.com\/wp-content\/uploads\/2022\/06\/Metadata_Architecture-3-400x227.png 400w, https:\/\/www.gudusoft.com\/wp-content\/uploads\/2022\/06\/Metadata_Architecture-3-600x340.png 600w, https:\/\/www.gudusoft.com\/wp-content\/uploads\/2022\/06\/Metadata_Architecture-3-768x435.png 768w, https:\/\/www.gudusoft.com\/wp-content\/uploads\/2022\/06\/Metadata_Architecture-3-800x454.png 800w, https:\/\/www.gudusoft.com\/wp-content\/uploads\/2022\/06\/Metadata_Architecture-3.png 882w\" sizes=\"(max-width: 882px) 100vw, 882px\" \/><p id=\"caption-attachment-4817\" class=\"wp-caption-text\">Metadatenarchitektur<\/p><\/div>\n<p>Der Vorteil dieser Architektur liegt in ihrer Push-basierten Implementierung, die eine Br\u00fccke zwischen Metadatenproduzent und Metadatendienst schl\u00e4gt und das Echtzeitproblem l\u00f6st. Der Nachteil ist, dass keine Protokolle vorhanden sind. Bei Problemen kann es schwierig sein, Such- und Graphenindizes zuverl\u00e4ssig zu booten (neu zu erstellen) oder zu reparieren. Metadatensysteme der zweiten Generation k\u00f6nnen oft ein zuverl\u00e4ssiges Such- und Discovery-Portal f\u00fcr die Datenbest\u00e4nde eines Unternehmens darstellen und die Kernbed\u00fcrfnisse von Datenarbeitern erf\u00fcllen. Marquez verf\u00fcgt \u00fcber eine Metadatenarchitektur der zweiten Generation.<\/p>\n<p>Der<strong> Metadatenarchitektur der dritten Generation<\/strong> ist eine ereignisbasierte Metadatenverwaltungsarchitektur, die auf Log-Push und Modellentkopplung basiert. Benutzer k\u00f6nnen je nach Bedarf auf unterschiedliche Weise mit der Metadatendatenbank interagieren und erweiterte Metadatenmodelle definieren.<\/p>\n<div id=\"attachment_4820\" style=\"width: 892px\" class=\"wp-caption aligncenter\"><img aria-describedby=\"caption-attachment-4820\" decoding=\"async\" class=\"wp-image-4820 size-full\" src=\"https:\/\/www.gudusoft.com\/wp-content\/uploads\/2022\/06\/Metadata_Architecture-4.png\" alt=\"Metadatenarchitektur\" width=\"882\" height=\"535\" srcset=\"https:\/\/www.gudusoft.com\/wp-content\/uploads\/2022\/06\/Metadata_Architecture-4-200x121.png 200w, https:\/\/www.gudusoft.com\/wp-content\/uploads\/2022\/06\/Metadata_Architecture-4-300x182.png 300w, https:\/\/www.gudusoft.com\/wp-content\/uploads\/2022\/06\/Metadata_Architecture-4-400x243.png 400w, https:\/\/www.gudusoft.com\/wp-content\/uploads\/2022\/06\/Metadata_Architecture-4-600x364.png 600w, https:\/\/www.gudusoft.com\/wp-content\/uploads\/2022\/06\/Metadata_Architecture-4-768x466.png 768w, https:\/\/www.gudusoft.com\/wp-content\/uploads\/2022\/06\/Metadata_Architecture-4-800x485.png 800w, https:\/\/www.gudusoft.com\/wp-content\/uploads\/2022\/06\/Metadata_Architecture-4.png 882w\" sizes=\"(max-width: 882px) 100vw, 882px\" \/><p id=\"caption-attachment-4820\" class=\"wp-caption-text\">Metadatenarchitektur<\/p><\/div>\n<p>Die Hauptvorteile sind: Flexibilit\u00e4t, hohe Skalierbarkeit, Suche mit geringer Latenz, die M\u00f6glichkeit zur Volltext- und Rankingsuche nach Metadatenattributen, Graphabfragen mit Unterst\u00fctzung von Metadatenbeziehungen sowie umfassende Scan- und Analysefunktionen. Der Nachteil: Es gibt viele abh\u00e4ngige Komponenten und hohe Betriebs- und Wartungskosten. Repr\u00e4sentative Systeme der Metadatenarchitektur der dritten Generation sind Altas und DataHub.<\/p>\n<p>Eine einfache visuelle Darstellung der heutigen Landschaft der Metadatenverwaltungsplattformen (einschlie\u00dflich nicht Open Source):<\/p>\n<p><img decoding=\"async\" class=\"size-full wp-image-4821 aligncenter\" src=\"https:\/\/www.gudusoft.com\/wp-content\/uploads\/2022\/06\/Metadata_Architecture-5.png\" alt=\"\" width=\"848\" height=\"403\" srcset=\"https:\/\/www.gudusoft.com\/wp-content\/uploads\/2022\/06\/Metadata_Architecture-5-200x95.png 200w, https:\/\/www.gudusoft.com\/wp-content\/uploads\/2022\/06\/Metadata_Architecture-5-300x143.png 300w, https:\/\/www.gudusoft.com\/wp-content\/uploads\/2022\/06\/Metadata_Architecture-5-400x190.png 400w, https:\/\/www.gudusoft.com\/wp-content\/uploads\/2022\/06\/Metadata_Architecture-5-600x285.png 600w, https:\/\/www.gudusoft.com\/wp-content\/uploads\/2022\/06\/Metadata_Architecture-5-768x365.png 768w, https:\/\/www.gudusoft.com\/wp-content\/uploads\/2022\/06\/Metadata_Architecture-5-800x380.png 800w, https:\/\/www.gudusoft.com\/wp-content\/uploads\/2022\/06\/Metadata_Architecture-5.png 848w\" sizes=\"(max-width: 848px) 100vw, 848px\" \/><\/p>\n<h3>Abschluss<\/h3>\n<p>Vielen Dank f\u00fcr das Lesen unseres Artikels. Wir hoffen, er hilft Ihnen, die Entwicklung der Metadatenarchitektur besser zu verstehen. Wenn Sie mehr \u00fcber Metadaten erfahren m\u00f6chten, besuchen Sie bitte <a href=\"https:\/\/www.gudusoft.com\/de\/\"><strong>Gudu SQLFlow<\/strong><\/a> f\u00fcr weitere Informationen.<\/p>\n<p>Als einer der\u00a0<strong><a href=\"https:\/\/www.dpriver.com\/blog\/2022\/05\/11\/best-data-lineage-tools\/\" target=\"_blank\" rel=\"noopener noreferrer\">die besten Datenherkunftstools<\/a><\/strong>\u00a0Gudu SQLFlow ist heute auf dem Markt erh\u00e4ltlich und kann nicht nur SQL-Skriptdateien analysieren, die Datenherkunft ermitteln und eine visuelle Anzeige durchf\u00fchren, sondern erm\u00f6glicht Benutzern auch, die Datenherkunft im CSV-Format bereitzustellen und eine visuelle Anzeige durchzuf\u00fchren.\u00a0<strong>(Ver\u00f6ffentlicht von Ryan am 29. Juni 2022)<\/strong><\/p>\n<\/div><\/div><\/div><style type=\"text\/css\">.fusion-body .fusion-builder-column-0{width:100% !important;margin-top : 0px;margin-bottom : 0px;}.fusion-builder-column-0 > .fusion-column-wrapper {padding-top : 0px !important;padding-right : 0px !important;margin-right : 1.92%;padding-bottom : 0px !important;padding-left : 0px !important;margin-left : 1.92%;}@media only screen and (max-width:1024px) {.fusion-body .fusion-builder-column-0{width:100% !important;}.fusion-builder-column-0 > .fusion-column-wrapper {margin-right : 1.92%;margin-left : 1.92%;}}@media only screen and (max-width:640px) {.fusion-body .fusion-builder-column-0{width:100% !important;}.fusion-builder-column-0 > .fusion-column-wrapper {margin-right : 1.92%;margin-left : 1.92%;}}<\/style><\/div><style type=\"text\/css\">.fusion-body .fusion-flex-container.fusion-builder-row-1{ padding-top : 0px;margin-top : 0px;padding-right : 0px;padding-bottom : 0px;margin-bottom : 0px;padding-left : 0px;}<\/style><\/div>","protected":false},"excerpt":{"rendered":"","protected":false},"author":27,"featured_media":4825,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":[],"categories":[178],"tags":[137,152,234,233,151,235,214],"_links":{"self":[{"href":"https:\/\/www.gudusoft.com\/de\/wp-json\/wp\/v2\/posts\/4806"}],"collection":[{"href":"https:\/\/www.gudusoft.com\/de\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/www.gudusoft.com\/de\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/www.gudusoft.com\/de\/wp-json\/wp\/v2\/users\/27"}],"replies":[{"embeddable":true,"href":"https:\/\/www.gudusoft.com\/de\/wp-json\/wp\/v2\/comments?post=4806"}],"version-history":[{"count":14,"href":"https:\/\/www.gudusoft.com\/de\/wp-json\/wp\/v2\/posts\/4806\/revisions"}],"predecessor-version":[{"id":4827,"href":"https:\/\/www.gudusoft.com\/de\/wp-json\/wp\/v2\/posts\/4806\/revisions\/4827"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/www.gudusoft.com\/de\/wp-json\/wp\/v2\/media\/4825"}],"wp:attachment":[{"href":"https:\/\/www.gudusoft.com\/de\/wp-json\/wp\/v2\/media?parent=4806"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/www.gudusoft.com\/de\/wp-json\/wp\/v2\/categories?post=4806"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/www.gudusoft.com\/de\/wp-json\/wp\/v2\/tags?post=4806"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}