{"id":3554,"date":"2022-04-26T06:51:53","date_gmt":"2022-04-26T14:51:53","guid":{"rendered":"https:\/\/www.gudusoft.com\/?p=3554"},"modified":"2026-07-11T22:56:12","modified_gmt":"2026-07-12T06:56:12","slug":"amazon-redshift-data-lineage-gudu-sqlflow","status":"publish","type":"post","link":"https:\/\/www.gudusoft.com\/de\/amazon-redshift-data-lineage-gudu-sqlflow\/","title":{"rendered":"Amazon Redshift Datenherkunft |"},"content":{"rendered":"

<\/p>\r\n

Amazon Redshift Datenherkunft |<\/strong><\/h2>\r\n\r\n

In Ihrer Amazon-Lagerumgebung verwenden Sie Amazon Redshift Spectrum<\/a><\/strong> Daten k\u00f6nnen direkt aus Dateien in Amazon S3 abgefragt, in Redshift-Datenbanken gespeichert und mithilfe von Business-Intelligence-Tools wie Tableau, Power BI, Looker, Qlik und Superset Berichte generiert werden. Die Daten stammen aus Ihrem Gesch\u00e4ftssystem und landen in Amazon S3. Anschlie\u00dfend werden sie mithilfe eines ETL-Tools wie DBT in die Redshift-Datenbank \u00fcbertragen und dort f\u00fcr die sp\u00e4tere Verwendung gespeichert.<\/p>\r\n\r\n

\"Amazon
Amazon Redshift-Datenherkunft<\/figcaption><\/figure>\r\n\r\n

Um einen \u00dcberblick \u00fcber den Datenfluss in Ihrem Amazon-Lagersystem zu erhalten, ben\u00f6tigen Sie ein Datenherkunftstool<\/strong> um Ihnen zu helfen, zu verstehen, wie die Daten an einen bestimmten Ort gelangt sind, sowie die Zwischenschritte und Transformationen, die stattfinden, w\u00e4hrend die Daten das Gesch\u00e4ftssystem durchlaufen.<\/p>\r\n\r\n\r\n\r\n

Eine M\u00f6glichkeit, um die Datenherkunft<\/a><\/strong> Die automatische Analyse aller SQL-Abfragen, die w\u00e4hrend des Ladens, Transformierens und Analysierens der Daten aus der Amazon-Lagerumgebung verwendet wurden, ist eine der Aufgaben. Die gute Nachricht ist, dass all diese SQL-Anweisungen gespeichert werden in das Redshift-Benutzeraktivit\u00e4tsprotokoll<\/a><\/strong> Und Gudu<\/strong> SQLFlow<\/strong> kann diese Protokolldateien analysieren, um die Datenherkunft automatisch zu ermitteln.<\/p>\r\n\r\n\r\n\r\n

Redshift-Benutzeraktivit\u00e4tsprotokoll<\/h3>\r\n\r\n\r\n\r\n

Das Benutzeraktivit\u00e4tsprotokoll ist vor allem f\u00fcr die Fehlerbehebung n\u00fctzlich und wird hier zur Ermittlung der Datenherkunft verwendet. Es erfasst Informationen \u00fcber die Arten von Abfragen, die sowohl von Benutzern als auch vom System in der Datenbank durchgef\u00fchrt werden.<\/p>\r\n\r\n\r\n\r\n

Jede Abfrage wird protokolliert, bevor sie in der Datenbank ausgef\u00fchrt wird.<\/strong><\/p>\r\n\r\n\r\n\r\n

\r\n\r\n\r\n\r\n\r\n\r\n\r\n\r\n\r\n\r\n\r\n\r\n
Spaltenname<\/th>\r\nBeschreibung<\/th>\r\n<\/tr>\r\n<\/thead>\r\n
Rekordzeit<\/td>\r\nZeitpunkt des Ereignisses.<\/td>\r\n<\/tr>\r\n
db<\/td>\r\nDatenbankname.<\/td>\r\n<\/tr>\r\n
Benutzer<\/td>\r\nBenutzername.<\/td>\r\n<\/tr>\r\n
PID<\/td>\r\nDie dem Statement zugeordnete Prozess-ID.<\/td>\r\n<\/tr>\r\n
Benutzer-ID<\/td>\r\nBenutzer-ID.<\/td>\r\n<\/tr>\r\n
xid<\/td>\r\nTransaktions-ID.<\/td>\r\n<\/tr>\r\n
Abfrage<\/td>\r\nEin Pr\u00e4fix von LOG: gefolgt vom Text der Abfrage, einschlie\u00dflich Zeilenumbr\u00fcchen.<\/td>\r\n<\/tr>\r\n<\/tbody>\r\n<\/table>\r\n
Redshift user activity log<\/figcaption>\r\n<\/figure>\r\n\r\n\r\n\r\n

\u00fcberpr\u00fcfen Sie bitte dieser Artikel<\/a> Um zu erfahren, wie die Protokollierung aktiviert wird.<\/p>\r\n

\r\n\r\n<\/p>\r\n

Beispiel f\u00fcr ein Amazon Redshift-Benutzeraktivit\u00e4ts-Audit-Protokoll<\/h5>\r\n

\r\n\r\n<\/p>\r\n

'2018-05-21T06:00:09Z UTC [ db=prod_sales user=duc pid=99753 userid=95 xid=6728324 ]' LOG: create table SumoProdbackUp.organization as (select * from SumoProd.simpleuser) '2018-05-21T06:00:09Z UTC [ db=vendor user=ankit pid=36616 userid=53 xid=2956702 ]' LOG: DELETE FROM SumoProd.employee WHERE id = 38; '2018-05-21T06:20:09Z UTC [ db=dev user=himanshu pid=64458 userid=35 xid=5143208 ]' LOG: drop user testuser3<\/code><\/pre>\r\n
\r\n\r\n<\/p>\r\n
 <\/p>\r\n
\r\n\r\n<\/p>\r\n
Automatische Datenherkunftsanalyse<\/h3>\r\n
\r\n\r\n<\/p>\r\n
Gudu SQLFlow<\/a><\/strong> ist ein Tool, das die SQL-Datenherkunftsanalyse in Datenbanken, ETL-Prozessen, Business-Intelligence-Systemen, Cloud-Umgebungen und Hadoop-Umgebungen durch das Parsen von SQL-Skripten und gespeicherten Prozeduren automatisiert. Es kann au\u00dferdem die Redshift-Benutzeraktivit\u00e4tsprotokolle analysieren, um die Datenherkunft zu ermitteln und alle Datenbewegungen grafisch darzustellen.<\/p>\r\n
\r\n\r\n<\/p>\r\n
Hier sehen Sie einen Ausschnitt aus einem Datenherkunftsdiagramm, das nach der Analyse der Amazon Redshift-Benutzeraktivit\u00e4tsprotokolldateien erstellt wurde:<\/p>\r\n
\r\n\r\n<\/p>\r\n
<\/figure>\r\n
\r\n\r\n<\/p>\r\n
\"Amazon<\/a>\r\n
Amazon Redshift-Datenherkunft<\/figcaption>\r\n<\/figure>\r\n
\r\n\r\n\r\n\r\n<\/p>\r\n
 <\/p>\r\n
<\/p>\r\n
Abschluss<\/strong>\u00a0<\/h3>\r\n
Vielen Dank f\u00fcr das Lesen unseres Artikels. Wir hoffen, dass er Ihnen dabei hilft, ein besseres Verst\u00e4ndnis zu erlangen von Amazon Redshift-Datenherkunft<\/strong>Wenn Sie mehr erfahren m\u00f6chten \u00fcber Amazon Redshift-Datenherkunft<\/strong>Wir m\u00f6chten Ihnen empfehlen, unsere Website zu besuchen. Gudu SQLFlow<\/strong><\/a> Weitere Informationen finden Sie hier. Gudu SQLFlow ist ein Tool zur Datenherkunftsanalyse, das nicht nur SQL-Skriptdateien analysiert, die Datenherkunft ermittelt und visualisiert, sondern Benutzern auch die M\u00f6glichkeit bietet, die Datenherkunft im CSV-Format bereitzustellen und ebenfalls visuell darzustellen. Vielen Dank! (Bearbeitet von Ryan am 26. April 2022)<\/strong><\/p>\r\n
<\/p>","protected":false},"excerpt":{"rendered":"
Amazon Redshift Data Lineage | Gudu SQLFlow In your Amazon warehouse environment, use Amazon Redshift Spectrum to query data directly from files on Amazon S3, save data in Redshift databases, and use Business Intelligence tools such as Tableau, PowerBI, Looker, Qlik, Superset to generate reports from the data. The data originates from your business source system and lands on Amazon S3, then using an ETL tool such as DBT to transfer and store it in Redshift Database for later uses. In order to have an overview of the data flow in your Amazon warehouse system, you need a data lineage\u2026<\/p>","protected":false},"author":27,"featured_media":3583,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":[],"categories":[14],"tags":[89,90,91,75,92],"blocksy_meta":{"styles_descriptor":{"styles":{"desktop":"","tablet":"","mobile":""},"google_fonts":[],"version":5}},"_links":{"self":[{"href":"https:\/\/www.gudusoft.com\/de\/wp-json\/wp\/v2\/posts\/3554"}],"collection":[{"href":"https:\/\/www.gudusoft.com\/de\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/www.gudusoft.com\/de\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/www.gudusoft.com\/de\/wp-json\/wp\/v2\/users\/27"}],"replies":[{"embeddable":true,"href":"https:\/\/www.gudusoft.com\/de\/wp-json\/wp\/v2\/comments?post=3554"}],"version-history":[{"count":32,"href":"https:\/\/www.gudusoft.com\/de\/wp-json\/wp\/v2\/posts\/3554\/revisions"}],"predecessor-version":[{"id":6616,"href":"https:\/\/www.gudusoft.com\/de\/wp-json\/wp\/v2\/posts\/3554\/revisions\/6616"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/www.gudusoft.com\/de\/wp-json\/wp\/v2\/media\/3583"}],"wp:attachment":[{"href":"https:\/\/www.gudusoft.com\/de\/wp-json\/wp\/v2\/media?parent=3554"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/www.gudusoft.com\/de\/wp-json\/wp\/v2\/categories?post=3554"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/www.gudusoft.com\/de\/wp-json\/wp\/v2\/tags?post=3554"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}