Amazon Redshift Datenherkunft |
In Ihrer Amazon-Lagerumgebung verwenden Sie Amazon Redshift Spectrum Daten können direkt aus Dateien in Amazon S3 abgefragt, in Redshift-Datenbanken gespeichert und mithilfe von Business-Intelligence-Tools wie Tableau, Power BI, Looker, Qlik und Superset Berichte generiert werden. Die Daten stammen aus Ihrem Geschäftssystem und landen in Amazon S3. Anschließend werden sie mithilfe eines ETL-Tools wie DBT in die Redshift-Datenbank übertragen und dort für die spätere Verwendung gespeichert.
Um einen Überblick über den Datenfluss in Ihrem Amazon-Lagersystem zu erhalten, benötigen Sie ein Datenherkunftstool um Ihnen zu helfen, zu verstehen, wie die Daten an einen bestimmten Ort gelangt sind, sowie die Zwischenschritte und Transformationen, die stattfinden, während die Daten das Geschäftssystem durchlaufen.
Eine Möglichkeit, um die Datenherkunft Die automatische Analyse aller SQL-Abfragen, die während des Ladens, Transformierens und Analysierens der Daten aus der Amazon-Lagerumgebung verwendet wurden, ist eine der Aufgaben. Die gute Nachricht ist, dass all diese SQL-Anweisungen gespeichert werden in das Redshift-Benutzeraktivitätsprotokoll Und Gudu SQLFlow kann diese Protokolldateien analysieren, um die Datenherkunft automatisch zu ermitteln.
Redshift-Benutzeraktivitätsprotokoll
Das Benutzeraktivitätsprotokoll ist vor allem für die Fehlerbehebung nützlich und wird hier zur Ermittlung der Datenherkunft verwendet. Es erfasst Informationen über die Arten von Abfragen, die sowohl von Benutzern als auch vom System in der Datenbank durchgeführt werden.
Jede Abfrage wird protokolliert, bevor sie in der Datenbank ausgeführt wird.
| Spaltenname | Beschreibung |
|---|---|
| Rekordzeit | Zeitpunkt des Ereignisses. |
| db | Datenbankname. |
| Benutzer | Benutzername. |
| PID | Die dem Statement zugeordnete Prozess-ID. |
| Benutzer-ID | Benutzer-ID. |
| xid | Transaktions-ID. |
| Abfrage | Ein Präfix von LOG: gefolgt vom Text der Abfrage, einschließlich Zeilenumbrüchen. |
überprüfen Sie bitte dieser Artikel Um zu erfahren, wie die Protokollierung aktiviert wird.
Beispiel für ein Amazon Redshift-Benutzeraktivitäts-Audit-Protokoll
'2018-05-21T06:00:09Z UTC [ db=prod_sales user=duc pid=99753 userid=95 xid=6728324 ]' LOG: create table SumoProdbackUp.organization as (select * from SumoProd.simpleuser) '2018-05-21T06:00:09Z UTC [ db=vendor user=ankit pid=36616 userid=53 xid=2956702 ]' LOG: DELETE FROM SumoProd.employee WHERE id = 38; '2018-05-21T06:20:09Z UTC [ db=dev user=himanshu pid=64458 userid=35 xid=5143208 ]' LOG: drop user testuser3
Automatische Datenherkunftsanalyse
Gudu SQLFlow ist ein Tool, das die SQL-Datenherkunftsanalyse in Datenbanken, ETL-Prozessen, Business-Intelligence-Systemen, Cloud-Umgebungen und Hadoop-Umgebungen durch das Parsen von SQL-Skripten und gespeicherten Prozeduren automatisiert. Es kann außerdem die Redshift-Benutzeraktivitätsprotokolle analysieren, um die Datenherkunft zu ermitteln und alle Datenbewegungen grafisch darzustellen.
Hier sehen Sie einen Ausschnitt aus einem Datenherkunftsdiagramm, das nach der Analyse der Amazon Redshift-Benutzeraktivitätsprotokolldateien erstellt wurde:
Abschluss
Vielen Dank für das Lesen unseres Artikels. Wir hoffen, dass er Ihnen dabei hilft, ein besseres Verständnis zu erlangen von Amazon Redshift-DatenherkunftWenn Sie mehr erfahren möchten über Amazon Redshift-DatenherkunftWir möchten Ihnen empfehlen, unsere Website zu besuchen. Gudu SQLFlow Weitere Informationen finden Sie hier. Gudu SQLFlow ist ein Tool zur Datenherkunftsanalyse, das nicht nur SQL-Skriptdateien analysiert, die Datenherkunft ermittelt und visualisiert, sondern Benutzern auch die Möglichkeit bietet, die Datenherkunft im CSV-Format bereitzustellen und ebenfalls visuell darzustellen. Vielen Dank! (Bearbeitet von Ryan am 26. April 2022)