Was sind Metadaten?

Metadaten sind Daten, die andere Daten auf strukturierte, konsistente Weise beschreiben, sodass große Datenmengen im Laufe der Zeit gesammelt, gespeichert und analysiert werden können. Data Warehouses erfordern Metadaten für den einfachen Abruf und die Verwaltung bei der Speicherung von Big Data. Ein Data Warehouse verwendet strukturierte Daten, die standardisiert, sauber und über alle Datenquellen hinweg konsistent sind. Metadaten gewährleisten die Einheitlichkeit bei der Erfassung und Speicherung dieser Daten, sodass Geschäftsinhaber und Datenanalysten können problemlos auf die Daten zugreifen und Erkenntnisse daraus gewinnen.

Was sind Metadaten?

Wirksam Verwaltung von Metadaten ist ein wesentlicher Bestandteil eines zuverlässigen und flexiblen Big Data-Ökosystems, da es Unternehmen hilft, ihre Datenbestände effizienter zu verwalten und sie für Datenwissenschaftler und andere Analysten.

Metadatenklassifizierung und Beispiele:

1. Technische Metadaten

1). Physische Metadaten: Metadaten, die physische Ressourcen, wie etwa: Server, Betriebssysteme, Standorte der Computerräume und andere Informationen.

2). Metadaten der Datenquelle: Metadaten, die die Datenquelle beschreiben und normalerweise vier Arten von Informationen enthalten:

• Datenquellenadresse (z. B. IP, PORT usw.);
•  Physische Topologie (z. B. aktiv/Standby, Rollen usw.);
• Berechtigungen (z. B. Benutzername, Passwort usw.);
• Bibliotheksname, Version, Domänenname usw.

3). Speichermetadaten: Metadaten, die den Objektspeicher beschreiben, normalerweise auch „enge“ Metadaten, einschließlich mehrerer Haupttypen von Verwaltungsattributen (z. B. Ersteller, Anwendungssystem, Geschäftseinheit, Geschäftsinhaber usw.).

• Lebenszyklus (wie Erstellungszeit, DDL-Zeit, Versionsinformationen usw.);
• Speichereigenschaften (wie Standort, physische Größe usw.);
• Dateneigenschaften (z. B. Datenschiefe, durchschnittliche Länge usw.);
• Verwenden Sie Merkmale (z. B. DML, Bildwiederholfrequenz usw.).
• Datenstrukturtabelle/Partition (z. B. Name, Typ, Anmerkungen usw.)；
• Spalten (z. B. Name, Typ, Länge, Genauigkeit usw.)；
• Index (z. B. Name, Typ, Feld usw.)；
• Einschränkungen (z. B. Typen, Felder usw.).

4). Computergestützte Metadaten: Metadaten, die den Prozess der Datenberechnung beschreiben, können im Allgemeinen in zwei Arten von Berechnungen eingeteilt werden: Datenextraktion (ETL) oder Datenverarbeitung (JOB). Jeder Berechnungstyp kann weiter nach Steuerungsmetadaten (z. B. Konfigurationseigenschaften, Planungsrichtlinien usw.) und Prozessmetadaten (z. B. Abhängigkeiten, Ausführungsstatus, Ausführungsprotokolle usw.) unterteilt werden.

5). Qualitätsmetadaten: Metadaten, die die Qualität der Daten beschreiben. Typischerweise Datenqualität wird durch die Definition einer Reihe von Qualitätsmetriken widergespiegelt.

6). Operative Metadaten: Eine Klasse von Metadaten, die beschreibt, wie Daten für Vorgänge verwendet werden.

• Datengenerierung (z. B. Generierungszeitpunkt, Jobinformationen usw.);
• Tabellenzugriff (z. B. Abfragen, Assoziationen, Aggregationen usw.);
•  Tabellenassoziationen (z. B. assoziierte Tabellen, assoziierte Felder, assoziierte Typen, assoziierte Zählungen);
•  Feldzugriff (z. B. Abfrage, Zuordnung, Aggregation, Filterung usw.).

7). Betriebs- und Wartungsmetadaten: Metadaten, die den Betriebs- und Wartungsstatus des Systems beschreiben, normalerweise einschließlich Aufgaben, Warnungen und Fehlern.

8). Kostenmetadaten: Metadaten, die die Kosten der Datenspeicherung und -berechnung beschreiben.

• Rechenkosten (z. B. CPU, MEM usw.);
• Speicherkosten (z. B. Speicherplatz, Komprimierungsverhältnis usw.).

9). Standard-Metadaten: Metadaten, die den standardisierten Inhalt der Daten beschreiben.

• Codeverwaltung (z. B. Transformationsregeln, externe Schnittstellen usw.);
• Durch Mapping wird die Datenanzeige verwaltet (z. B. Stile, Regeln, Semantik, Einheiten usw.).

10). Sicherheitsmetadaten: Metadaten, die den Inhalt der Datensicherheit beschreiben.

Sicherheitsstufe der Datensensitivität (z. B. ist es sensibel, Desensibilisierungsalgorithmus usw.)

11). Gemeinsam genutzte Metadaten: Es beschreibt, wie Daten freigegeben werden, beispielsweise Schnittstellenmethoden, Format und Inhalt.

2. Geschäftsmetadaten

1). Modellmetadaten: Datenmodellierung beschreibt das Geschäft und ermöglicht ein besseres Verständnis des Geschäfts durch das Modell. Gängige Modellierungsansätze umfassen Paradigmenmodelle, Dimensionsmodelle und multidimensionale Modellierung. Nachfolgend finden Sie ein Beispiel für ein Größenmodell, z. B. Geschäftsbereiche, Sektoren, Prozessdatendomänen, Fachdomänendimensionen, Attributindexfakten, Metrikmärkte und Anwendungen.

2). Anwendungsmetadaten: Es bezieht sich auf die Metadaten, die die Datenanwendungsklasse beschreiben.

3). Analyse-Metadaten: Es bezieht sich auf die Beschreibung von Geschäftsmetadaten aus der Perspektive der Datenanalyse. Beispielsweise Datendomäne, Themendomäne, Produktlinie, Abschnitt, Geschäftsprozess, Geschäftsregeln usw.

3. Metadaten verwalten

Management-Metadaten beschreiben den Inhalt des Datenmanagements innerhalb eines Unternehmens, beispielsweise Personen, Prozessverantwortlichkeiten, Stellenorganisationen und Abteilungen.

Metadatenfunktionen:

• Metadaten sind strukturierte Daten über Daten, die nicht notwendigerweise in digitaler Form vorliegen und aus unterschiedlichen Quellen stammen können.
• Metadaten sind objektbezogene Daten, die potenziellen Benutzern ein umfassendes Verständnis der Existenz und Eigenschaften dieser Objekte verwehren.
• Metadaten sind eine codierte Beschreibung eines Informationspakets.
• Metadaten enthalten eine Reihe von Datenelementen, die zur Beschreibung des Inhalts und des Speicherorts von Informationsobjekten verwendet werden und so das Auffinden und Abrufen von Informationsobjekten in einer Netzwerkumgebung erleichtern.
• Metadaten beschreiben nicht nur Informationsobjekte, sondern auch die Nutzungsumgebung, Verwaltung, Verarbeitung, Speicherung und Nutzung von Ressourcen.
• Metadaten werden im Laufe des Lebenszyklus eines Informationsobjekts oder Systems auf natürliche Weise hinzugefügt.
• Die „Daten“ in der herkömmlichen Definition von Metadaten sind das Symbol transaktionaler Natur, also der numerische Wert, auf dessen Grundlage alle Arten von Statistiken, Berechnungen, wissenschaftlichen Untersuchungen und technischen Entwürfen durchgeführt werden, oder die Informationen, die digitalisiert, formuliert, kodiert und grafisch dargestellt werden.

Vorteile von Metadaten

Metadaten sind der Schlüssel zu einem einfacheren Programmiermodell, das keine IDL-Dateien (Interface Definition Language), Header oder externe Komponentenreferenzmethoden mehr benötigt. Metadaten ermöglichen der .NET-Sprache eine automatische, sprachunabhängige und für Entwickler und Benutzer unsichtbare Selbstbeschreibung. Darüber hinaus können Metadaten durch Attribute erweitert werden. Metadaten bieten die folgenden wesentlichen Vorteile:

1). Selbstbeschreibung: Common Language Runtime-Module und -Assemblys sind selbstbeschreibend. Die Metadaten eines Moduls enthalten alle Informationen, die für die Interaktion mit anderen Modulen erforderlich sind. Metadaten stellen automatisch die IDL-Funktionalität in COM bereit, sodass eine Datei sowohl für die Definition als auch für die Implementierung verwendet werden kann. Runtime-Module und -Assemblys müssen nicht einmal beim Betriebssystem registriert werden. Daher spiegeln die von der Runtime verwendeten Anweisungen immer den tatsächlichen Code in der kompilierten Datei wider, was die Zuverlässigkeit der Anwendung verbessert.

2). Entwurf: Metadaten liefern alle notwendigen Informationen zum kompilierten Code, damit Sie Klassen aus PE-Dateien übernehmen können, die in verschiedenen Sprachen geschrieben sind. Sie können Instanzen jeder Klasse erstellen, die in einer beliebigen verwalteten Sprache (einer beliebigen Sprache für die Common Language Runtime) geschrieben ist, ohne sich um explizites Marshalling oder die Verwendung von benutzerdefiniertem Interop-Code kümmern zu müssen.

Warum erfasst und verwaltet eine Organisation ihre Metadaten?

Die Informationsarchitektur der meisten Organisationen ähnelt der eines überfüllten, unorganisierten Buchladens. Daten sind allgegenwärtig. Die Daten der meisten Organisationen sind weder organisiert noch katalogisiert, was die Suche nach den benötigten Daten erschwert.

Das ist das Kernproblem: mangelnde Datenauffindbarkeit und damit mangelnde Datenverfügbarkeit. Und das Problem verschärft sich stetig. In zehn Jahren kann die Datenmenge in Unternehmen von Gigabyte auf Terabyte und schließlich auf Petabyte anwachsen. Im Zeitalter von „Daten sind das neue Öl“ müssen erfolgreiche Unternehmen alle Daten finden und nutzen können, um sich einen Wettbewerbsvorteil zu verschaffen. Die Beschreibungs- und Suchfunktionen des Metadatenmanagements sind entscheidend für die erfolgreiche Suche und Nutzung dieser Daten.

Metadatenmanagement ist auch deshalb wichtig, weil sich Definitionen je nach Informationskontext ändern können. Sehen Sie, wie verschiedene Gruppen den Begriff „Kunde“ betrachten und definieren. Wenn Sie beispielsweise mit jemandem aus der IT, dem Vertrieb oder der Compliance sprechen, hat dieser möglicherweise eine andere Ansicht oder Perspektive darüber, was der Kunde darstellt und wie die Daten gespeichert werden.

Für die IT-Abteilung können Kundendaten vor allem für die Erstellung von Analyseberichten und Dashboards sowie für die technischen Aspekte der Datenspeicherung relevant sein. Wenn Sie die IT-Abteilung bitten, den Speicherort der Kundendaten zu definieren, erhalten Sie möglicherweise die Antwort: „Diese Daten befinden sich in unserem Enterprise Data Warehouse für das Reporting, das bis ins Jahr 2015 zurückreicht. Wir verfügen auch über Kundendaten aus Neuakquisitionen in der Datensee. Diese Daten befinden sich im Datensee und müssen konvertiert werden, bevor wir einen Bericht erstellen können.“ Daher können „Kundendaten“ für sie sehr analytisch sein oder historische Rückverfolgungen enthalten.

Ihr Vertriebsteam konzentriert sich möglicherweise stärker auf operative Abläufe, beispielsweise die Verwendung von Kundendaten im Vertrieb. Kundendaten können für sie nur aktive Kunden oder Kundendaten auf Kontoebene (wie den Firmennamen) bedeuten, nicht alle Kunden, die das Unternehmen jemals betreut hat. Vertriebsteams bezeichnen Kundendaten möglicherweise als Firmennamen und nicht als Mitarbeiterdaten. Darüber hinaus betrachten Compliance-Abteilungen Kundendaten möglicherweise auf Mitarbeiterebene, da sie diese Daten in erster Linie zur Einhaltung von Vorschriften wie der DSGVO verwenden.

Wie Sie sehen, liegt die Herausforderung nicht nur in der Definition, sondern auch in deren Inkonsistenz zwischen den verschiedenen Teams und Prozessen. Und die Zahlen steigen. Sie müssen Ihre Daten für eine optimale Analyse finden können. Im operativen Bereich müssen Sie alle verschiedenen Anwendungen und deren Datenquellen verstehen. Im Hinblick auf die Compliance müssen Sie sicherstellen, dass Ihr Unternehmen die Regeln einhält. Für die IT-Abteilung geht es vor allem darum, Analysen zu erstellen und den Verlauf zu sichern.

Mit Metadatenmanagement können Sie jedem Bereich Ihres Unternehmens die Metadaten bereitstellen, die er benötigt, um Ihre Systeme, Ihre Daten und Ihr gesamtes Unternehmen zu verstehen und zu verwalten. Nur so können Unternehmen reibungslos funktionieren und sicherstellen, dass sie letztendlich alles richtig machen.

Abschluss

Vielen Dank für das Lesen unseres Artikels. Wir hoffen, dass er Ihnen dabei hilft, ein besseres Verständnis zu erlangen von Was sind Metadaten?Wenn Sie mehr über Metadaten erfahren möchten, empfehlen wir Ihnen den Besuch von Gudu SQLFlow für weitere Informationen.

Als einer der die besten Datenherkunftstools Gudu SQLFlow ist heute auf dem Markt erhältlich und kann nicht nur SQL-Skriptdateien analysieren, Datenherkunft, und führen Sie eine visuelle Anzeige durch, ermöglichen Sie Benutzern aber auch, die Datenherkunft im CSV-Format bereitzustellen und eine visuelle Anzeige durchzuführen. (Veröffentlicht von Ryan am 24. Juni 2022)