複雑な SQL ステートメントのデータ系統を 1 分で取得

データ系統 エンタープライズ データ ガバナンスにおける非常に重要なリンクです。エンタープライズ データ ガバナンスにおけるデータ系統の重要な役割については、以下を参照してください。 データ リネージュとは何か、なぜそれほど重要なのか?. SQL 言語はデータ処理で広く使用されており、SQL ステートメントには豊富なデータ系列が含まれています。 SQL のデータ系統とは何か、および SQL ステートメントに隠されているこれらのデータ系統を発見する方法については、以下を参照してください。 5 分で SQL 言語のデータ系統を発見する方法は?.

複雑な SQL ステートメントのデータ系統を 1 分で取得する方法

この記事では、主に が提供する UI、Rest API、および Java ライブラリの使用方法を紹介します。 Gudu SQLFlow データ系統解析ツール 複雑な SQL ステートメントでデータ系統をすばやく取得し、必要に応じて独自のデータ ガバナンス プラットフォームに統合します。

少し複雑な SQL ステートメント

次に、次の少し複雑な SQL ステートメントを使用して、Gudu SQLFlow を使用してさまざまなデータ系列をすばやく取得する方法を示します。より複雑な SQL ステートメントやストアド プロシージャを処理する必要がある場合は、Gudu SQLFlow のようなデータ系統分析ツールがさらに緊急に必要になります。

私たちの目標は、最上位の選択リストに含まれる列と、これらの列のソース データが他のどのテーブルおよび列からのものかを知ることです。理想的な結果は次のようになります。

最上位選択リストのデータ系統

上記の結果を得るには、次のことを行う必要があります。

1. data.* の * (アスタリスク) を自動的に展開して、対応する列を見つけます。
2. 選択リストの各列に対してデータ ソース トレースを実行して、元のテーブルと列を見つけます。このプロセスでは、最終的なデータ ソースが見つかるまで、複数レベルのソース トレースが必要になる場合があります。

※の自動展開について

選択リストの * (アスタリスク) は、リレーション内のすべての列を表し、特定の列名に展開する必要があります。 この場合、Gudu SQLFlow は、SQL で提供されるコンテキスト情報に基づいて自動的に拡張できます。 ただし、SQL ステートメント自体では、 * に含まれる列を判断するのに十分な情報が得られない場合があります。この時点で、次のことを行う必要があります。 メタデータ情報を Gudu SQLFlow に提供する アスタリスクを正しく展開するため。

Gudu SQLFlow をすばやく入手するための 3 つの方法を提供します。 複雑な SQL ステートメントのデータ系統、さまざまな場面で使用するのに便利です。

1.Gudu SQLFlow UI

に直接アクセスできます。 Gudu SQLFlow クラウド ソフトウェアをインストールせずに使用するバージョン。使い方はとても簡単です。処理する SQL ステートメントを入力領域に直接貼り付けて、[視覚化] をクリックすることができます。

Gudu SQLFlow データ系統

データ系列の中間処理ステップと詳細情報を無視して、ソース データとターゲット データを直接表示できます。上の図に示すような簡潔な結果を得るには、次の設定を使用します。

Gudu SQLFlow 設定

ダウンロードできます JSON の結果 さらに処理するためのデータ系列が含まれています。 (データ系列の格納パス: data -> sqlflow -> relationship)

JSON での Gudu SQLFlow データ系統

2.Gudu SQLFlow Rest API

コードで Gudu SQLFlow Rest API を呼び出して、処理が必要な SQL ステートメントを自動的に送信し、処理結果をリアルタイムで取得してから、ビジネス要件に従ってコードで返されたデータ系統を処理できます。

Gudu SQLFlow Rest API を使用するには、 Gudu SQLFlow クラウド プレミアム アカウント.こちらが 詳細なチュートリアル.または、インストールできます Gudu SQLFlow オンプレミス版 社内でRest APIを使用する。

1. Python コード Gudu SQLFlow サーバーに接続します ( Gudu SQLFlow オンプレミス server ) をエンタープライズにデプロイして、データ系統の結果を取得します。
2. Python コード に接続します SQLFlow クラウド サーバーを使用して、データ系統の結果を取得します。

クリック ここ 上記の Python コード分析によって生成されたデータ系統の結果を表示します。

3. Gudu SQLFlow Java ライブラリ

また、 Gudu SQLFlow Java クラス ライブラリ SQL ステートメントのデータ系統を分析します。 Gudu SQLFlow Java クラス ライブラリを使用する利点は、Gudu SQLFlow サーバー ソフトウェアをインストールする必要がなく、独自のプロジェクトに簡単に統合できるサードパーティの Java クラス ライブラリに依存せずに独立して実行できることです。

私たちは作成しました Java デモ プログラム これを使用して、直接コンパイルして実行できます。この記事の SQL ステートメントの最上位の選択リストによって返されるすべての列とそのデータ ソースを取得するには、次のパラメーターを使用して Java デモを実行します。

生成されたデータ系列は XML 形式で保存され、 ここ をクリックしてこの XML ファイルを開きます。

結論

この記事をお読みいただきありがとうございます。 方法 複雑な SQL ステートメントのデータ系列を取得する 1分で.データ リネージについて詳しく知りたい場合は、次のサイトをご覧になることをお勧めします。 Gudu SQLFlow 詳細については、公式ウェブサイトをご覧ください。

今日の市場で最高のデータ系統分析ツールの 1 つとして、 Gudu SQLFlow SQLスクリプトファイルを解析してデータ系統を取得し、ビジュアル表示するだけでなく、データ系統をCSV形式で提供してビジュアル表示することもできます。 (2022 年 5 月 22 日に Ryan により公開)