Tools und Tipps zur Modernisierung der Data Warehouse-Umgebung
Data Warehouse Das Problem hat eine lange Geschichte. Die Grundidee ist, dass die meisten Unternehmen verschiedene Anwendungen entwickeln, um ihre grundlegenden Geschäftsprozesse zu automatisieren. Diese Geschäftsprozesse entwickeln sich unabhängig voneinander weiter, was zu mehreren Datenversionen führt. In der Vergangenheit bereiteten inkonsistente Daten denjenigen Kopfzerbrechen, die versuchten, Umsatz oder Gewinnmargen über verschiedene Produktlinien oder Regionen hinweg zu verstehen.
Das ursprüngliche Konzept eines Data Warehouse besteht im Wesentlichen darin, kritische Daten aus verschiedenen Transaktionssystemen zu replizieren, Inkonsistenzen zu beheben und saubere, leicht analysierbare Datensätze zu erzeugen. Dieser Prozess wird üblicherweise durch regelmäßig laufende Programme realisiert, die das Data Warehouse bei der Aufnahme neuer Daten auf dem neuesten Stand halten.
Geschichte der Data-Warehouse-Umgebung
Für den ordnungsgemäßen Betrieb einer Data-Warehouse-Umgebung sind zahlreiche Komponenten erforderlich. Dazu gehören Datenextraktionsverfahren und ein eigenes Schema für das Data Warehouse. Moderne Data Warehouses benötigen außerdem zusätzliche Verfahren, um konkurrierende Versionen von Hintergrunddaten mithilfe von Geschäftsregeln aufzulösen und so die Hierarchie der Hauptversionen der Daten zu bestimmen.
Die historische Herausforderung besteht darin, dass ein Data Warehouse einem Gebäude ähnelt, dessen zugrundeliegendes Betriebssystem sich ständig verändert. Bei grundlegenden Systemänderungen (wie einer Umstrukturierung oder Unternehmensübernahme) muss die Struktur des Data Warehouse angepasst werden, um die veränderten Geschäftsprozesse widerzuspiegeln. Ist das Tempo der Veränderungen zu hoch, kann das Data Warehouse zeitweise unzuverlässig werden und das Vertrauen der Geschäftsleute untergraben.
Um dieses Problem zu lösen, Data Marts So entstanden Data Marts. Wenn diese jedoch nicht mit den Daten im Data Warehouse synchronisiert werden, können sie mit diesen in Konflikt geraten und mehrere Datenversionen erzeugen. Um dieser Instabilität entgegenzuwirken, entwickelten sich verschiedene Data-Warehouse-Architekturen, darunter … Sternschemata, Schneeflockenschemataund andere, die von den Technologen Bill Inmon und Ralph Kimball befürwortet wurden.
Dann entstand das Feld des Stammdatenmanagements, da Unternehmen zunehmend komplexere Datensätze zum Geschäftskontext erfassen wollten, oft in separaten Datenbanken, die parallel zu Data Warehouses arbeiten. Der Wettbewerb um unterschiedliche Versionen von Produkthierarchien erfordert Input aus dem Fachbereich, sodass Datenverwaltung Das Data Warehouse stellt Prozesse für die geschäftliche Kontrolle dieser Stammdaten bereit.
Neben der schieren Datenmenge stellt auch die zunehmende Komplexität ein Problem dar. Schließlich kamen immer komplexere Abfrage- und Analysetools zum Einsatz, die oft selbst eine Metadatenebene benötigten, um die Geschäftssicht des Data Warehouse abzubilden.
Gleichzeitig extrahieren, transformieren und laden (ETL) Daten haben eine ganze Industrie hervorgebracht Datenintegration Diese Tools automatisieren den Prozess und verfügen über eigene proprietäre Skripte, die zusätzliche Komponenten hinzufügen, die in der Data-Warehouse-Umgebung verarbeitet werden müssen.
Modernisierung des Data Warehouse
Seit vielen Jahren wird versucht, die Komponenten einer Enterprise-Data-Warehouse-Umgebung zu organisieren. Um die zunehmend komplexen Data Warehouses zu modernisieren, bieten Anbieter vorgefertigte Templates und Data-Warehouse-Generatoren an, beispielsweise Idera, Magnitude und Attunity. Trotz Erfolgen in einigen Anwendungsfällen konnte sich keines dieser Systeme marktführend durchsetzen.
Darüber hinaus sind DevOps und DataOps darauf ausgerichtet, die Weiterentwicklung des Data-Warehouse-Schemas und andere Aspekte zu unterstützen, die einen kontrollierten Betrieb der Data-Warehouse-Umgebung gewährleisten.
Trotz der enormen Anstrengungen innovativer Anbieter gibt es keine Abkürzungen zur Modernisierung von Data Warehouses. Große Unternehmen haben massiv in Enterprise Data Warehouses und die zugehörigen Umgebungen investiert, doch die schiere Menge an Prozessen, Verfahren, Skripten und Schemata stellt weiterhin erhebliche Hindernisse für den Fortschritt dar. Eine weitere Hürde ist die Überwindung der Trägheit der bestehenden Praktiken bei Datenbankadministratoren und IT-Mitarbeitern.
Die Migration gestaltet sich schwierig, da die meisten Analysen des Unternehmens auf Data Warehouses basieren. Die Umstrukturierung einer bestehenden Data-Warehouse-Umgebung ist vergleichbar mit dem Versuch eines Mechanikers, den Motor eines fahrenden Autos aufzurüsten. Dennoch leisten Automatisierungstools für Data Warehouses und der moderne DataOps-Markt ihren Beitrag zur Modernisierung der Data-Warehouse-Umgebungen von Unternehmen.
Abschluss
Vielen Dank für das Lesen unseres Artikels. Wir hoffen, er hat Ihnen geholfen, die Tools und Tipps zur Modernisierung von Data-Warehouse-Umgebungen besser zu verstehen. Wenn Sie mehr über Data Warehouses erfahren möchten, empfehlen wir Ihnen folgende Website: Gudu SQLFlow für weitere Informationen.
Als einer der die besten Datenherkunftstools Gudu SQLFlow ist heute auf dem Markt erhältlich und kann nicht nur SQL-Skriptdateien analysieren, Datenherkunft, und führen Sie eine visuelle Anzeige durch, ermöglichen Sie Benutzern aber auch, die Datenherkunft im CSV-Format bereitzustellen und eine visuelle Anzeige durchzuführen. (Veröffentlicht von Ryan am 3. Juli 2022)