Amazon Redshift データ系統 | Gudu SQLFlow

Amazon 倉庫環境では、次を使用します。 Amazon Redshift スペクトル Amazon S3 上のファイルから直接データをクエリし、Redshift データベースにデータを保存し、Tableau、PowerBI、Looker、Qlik、Superset などのビジネス インテリジェンス ツールを使用してデータからレポートを生成します。データはビジネスソースシステムから発生し、Amazon S3 に到達し、DBT などの ETL ツールを使用して転送し、後で使用するために Redshift データベースに保存します。

Amazon Redshift データ系統

Amazon 倉庫システムのデータ フローの概要を把握するには、 データ系統ツール データが特定の場所にどのように到着したか、およびデータがビジネス システムを移動するときに発生する中間ステップと変換を理解するのに役立ちます。

取得する方法の 1 つ データリネージ Amazon ウェアハウス環境から自動的に、データのロード、変換、および分析中に使用されるすべての SQL クエリを分析することです。幸いなことに、これらの SQL ステートメントはすべて次の場所に格納されます。 Redshift ユーザー アクティビティ ログ と グドゥ SQLフロー これらのログ ファイルを解析して、データ系統を自動的に検出できます。

Redshift ユーザー アクティビティ ログ

ユーザー アクティビティ ログは、主にトラブルシューティングの目的で役立ちます。ここでは、データ系統の検出に使用します。ユーザーとシステムの両方がデータベースで実行するクエリの種類に関する情報を追跡します。

データベースで実行される前に、各クエリをログに記録します。

チェックしてください この記事 ロギングを有効にする方法を参照してください。

Amazon Redshift ユーザーアクティビティ監査ログのサンプル

'2018-05-21T06:00:09Z UTC [ db=prod_sales user=duc pid=99753 userid=95 xid=6728324 ]' LOG: create table SumoProdbackUp.organization as (select * from SumoProd.simpleuser) '2018-05- 21T06:00:09Z UTC [ db=vendor user=ankit pid=36616 userid=53 xid=2956702 ]' LOG: DELETE FROM SumoProd.employee WHERE id = 38; '2018-05-21T06:20:09Z UTC [ db=dev user=himanshu pid=64458 userid=35 xid=5143208 ]' ログ: ユーザー testuser3 をドロップ

自動データ系統分析

Gudu SQLFlow は、SQL スクリプトとストアド プロシージャを解析することにより、データベース、ETL、ビジネス インテリジェンス、クラウド、および Hadoop 環境にわたる SQL データ系統分析を自動化するツールです。また、Redshift のユーザー アクティビティ ログ ファイルを分析して、データ系統を発見し、すべてのデータ移動をグラフィカルに表示することもできます。

以下は、Amazon Redshift のユーザー アクティビティ ログ ファイルを分析した後に生成されたデータ系統図の一部です。

結論 

この記事をお読みいただきありがとうございます。 Amazon Redshift データ系統.詳しく知りたい方は Amazon Redshift データ系統、私たちはあなたに私たちのウェブサイトを訪問することをお勧めします Gudu SQLFlow 詳細については。 Gudu SQLFlow は、データ系統解析ツールとして、SQL スクリプト ファイルを分析し、データ系統を取得して視覚的に表示できるだけでなく、データ系統を CSV 形式で提供して視覚的に表示することもできます。再度、感謝します！ (2022 年 4 月 26 日に Ryan が編集)