SQLデータリネージプラットフォーム(SDLP)

SDLP(SQLデータリネージプラットフォーム) Gudu Softwareのエンタープライズ系譜記録システムです。 列レベルのデータリネージ SQL環境全体に対して、環境の実際のコード(ストアドプロシージャ、ビュー、関数、トリガー、ジョブ)を解析し、派生したすべての系統エッジを監査可能なデータとして保存します。 事実 管理されたリポジトリに、あらゆるものの完全な台帳とともに保存されます。 ない 解決。その結果、規制当局の前で弁護できる系譜が生まれます。事実と却下された事項は常に資産の100%を占め、何も密かに破棄されることはなく、何も捏造されません。

100%遺産のうち計上されているもの ― 事実と却下事項
45万以上122のデータベーススキャンから得られた列レベルの事実
監査グレードハッシュ検証済み証拠、独立した検証者
エアギャップオンプレミス、クラウドへの依存なし

Want to see it before you install anything? Explore a live SDLP repository right in your browser — the lineage catalog, hash-verified SQL evidence, batch quality scores, and the reject ledger — with no download and no signup.

SDLPがSQLFlowファミリーの中でどのような位置づけにあるか: これは、General SQL Parser コアと同じものをベースに構築されています。 Gudu SQLFlowしかし、解決する問題は異なります。SQLFlowは入力されたSQLの系統を表示しますが、SDLPは資産に含まれるすべてのものの証明された系統記録を保持します。以下の比較により、その違いが明確になります。

SQLFlowとSDLP、どちらが必要ですか?

Gudu SQLFlow インタラクティブな系譜 分析および可視化エンジンSQL(貼り付け、アップロード、データベース、dbtプロジェクト、クエリ履歴から取得、39種類の方言のいずれか)を入力すると、数秒でインタラクティブな列レベルの系統図が表示されます。これは、データフローを理解、デバッグ、文書化する必要のあるデータエンジニアやアナリストにとって最適なツールであり、 SQLFlow クラウド, SQLFlow オンプレミスREST APIとJavaライブラリ。

SDLPはエンタープライズの系譜です プラットフォーム — 記録システム。スクリプトを1つずつ分析するのではなく、データベース全体(メタデータと各モジュールのSQLソース)をエクスポートし、追跡バッチとしてスキャンし、結果を証拠、品質スコア、ガバナンス、アクセス制御、改ざん防止監査証跡を含む系統情報の正規リポジトリに統合します。銀行、保険会社、その他の規制対象企業のデータガバナンスチームにとって最適なツールです。 証明する データがどこから来るのか ― 継続的に、不動産規模で、欠落部分も考慮に入れて。

Gudu SQLFlowSDLP
それは何なのか対話型系統解析・可視化エンジンガバナンスを備えた企業系譜記録システム
あなたはそれを与えるSQLスクリプト、データベース接続、dbtアーティファクト、クエリ履歴メタデータとソースバンドルとしてエクスポートされた、SQL環境全体
手に入れるJSON/CSV/PNG形式でエクスポート可能な、インタラクティブな列レベルの系統図監査可能な系譜情報、拒否台帳、品質スコア付きスキャンバッチ、規制当局対応のエクスポートデータを管理するリポジトリ
未解決のSQL解析された内容の概略図理由コードと証拠とともに拒否台帳に記録 — 事実 + 拒否 = 遺産の 100%
方言のカバー範囲39種類のSQL方言Microsoft SQL Server環境をエンドツーエンドでサポート。同じパーサーファミリーを基盤として、さらに多くの環境タイプがロードマップに予定されている。
典型的なユーザーデータエンジニア、アナリスト、アーキテクトデータガバナンスチーム、スキャンオペレーター、スチュワード、監査担当者
ガバナンスPII分類、機密情報フロー影響分析、ベースライン、ロールベースアクセス、ハッシュチェーン監査証跡
最適開発中のデータフローの理解と文書化規制上の系譜(BCBS 239形式)、企業カタログ、監査証拠

この2つの製品は相互補完的な関係にあります。開発チームは通常、開発段階でSQLFlowを使用してデータフローを理解し、修正を行い、運用段階ではSDLPを使用して、組織が報告を行う際の証明済みデータリネージレコードを維持します。

正直な血統:推測ではなく、拒否せよ

ほとんどの系統ツールは監査に失敗します 沈黙の隙間ツールが理解できなかったものは単純に存在しないものであり、どれだけの量が欠けているかは誰にもわからない。SDLPの創設理念は異なる―― 100%を拒否し、推測せず、説明してください。スキャナが正直に解決できないステートメントや参照はすべて、機械可読な理由コード、重大度、および生のSQL証拠とともに、拒否台帳の行として記録されます。曖昧さがもっともらしく見えるエッジに無理やり押し込まれることは決してなく、システム外の参照は推測ではなく外部参照として分類されます。「事実+拒否=システム全体」は検証可能な方程式であり、スローガンではありません。

データモデルにも同様の誠実さが貫かれています。すべての系統の事実には 役割 それはこう述べている どうやって ソース列がターゲットに影響を与える場合:値を持つ役割(DIRECT、TRANSFORM、AGGREGATE、DERIVED)は、ソースデータが実際にターゲットに渡されることを意味します。影響のみを与える役割(FILTER、JOIN、CONDITION)は、ソース列の値が渡されることなく、結果を形成することを意味します。この違いが、「このレポート」と「このレポート」の違いです。 含む 「顧客の個人情報」および「このレポートは単に フィルター 「PII 列」――これはまさにプライバシー担当者や規制当局が必要としているものであり、SDLP は後者のみが真実である場合に前者を決して誇張しません。

仕組み

  1. 輸出。 単一の自己完結型エクスポーターが読み取り専用ログインでソースサーバーに接続し、カタログメタデータと各モジュールのSQLテキストを含む全データをシャーディングされたバンドルにストリーミングします。 メタデータのみテーブルデータは決して使用せず、ネットワークゾーン内で実行されます。バンドルのみがネットワークゾーンから外に出ます。
  2. スキャン。 スキャナは、汎用SQLパーサーを使用して各モジュールを解析し、結果を正規化して、追跡可能で再開可能なバッチとして正規リポジトリにマージします。中断されたスキャンは、最初からやり直すのではなく、チェックポイント台帳から再開されます。
  3. 検証します。 独立したバリデーター(意図的に分離された実装)は、保存された各行のIDハッシュを再計算し、ルールカタログを実行して、バッチごとに0~100の品質スコアに集約します。これは、すべてのスキャンを評価するための1つの数値です。
  4. 消費する。 ウェブカタログは、検索、インタラクティブな系統グラフ、およびガバナンスワークフローを提供します。エクスポートセンターは、CSV、JSONL、またはParquet形式のデータを下流システムに配信し、Microsoft Purviewに対応した系統CSVも提供します。

すべての手順は、コマンドライン、ブラウザ、またはそれらを組み合わせた方法から実行できます。3つの方法すべてで同じIDコントラクトの下で同じリポジトリの読み書きが行われるため、インターフェースを選択してもデータが分岐することはありません。スキャン運用チームは通常、CLIを使用してスケジュールされたスキャンを実行し、アナリストとスチュワードはWeb UIを常時使用し、ダウンストリームフィードはエクスポートAPIに対して実行されます。

監査人に提出できる証拠

リポジトリ内のすべての事実は、改ざん防止機能を備えた一連の手順を経て、その発生源まで追跡されます。事実 → 発生 → エクスポートされたソースバンドル内のバイト単位の正確なロケーター。このロケーターは、読み取りのたびにSHA-256コンテンツハッシュに対して再検証されます。SQLテキストはリポジトリ内に複製されません。バンドルが唯一の記録システムであるため、編集または変更されたソースは、黙って提供されるのではなく、検出されます。Webカタログでは、「SQL証拠の表示」をクリックすると、元のモジュールソースでハイライト表示され、ハッシュ検証済みの正確なステートメント範囲が開きます。

  • ハッシュ連鎖監査証跡: すべての分類、エクスポート、および再計算は、ハッシュチェーン付きの追記専用イベントログに記録されるため、ログ自体の改ざんは検出可能です。
  • 独立した検証: 監査担当者は、リポジトリに対してスタンドアロンのバリデーターを実行する際に、それを作成したスキャナを信頼する必要はありません。これには、すべての行のIDを再計算することも含まれます。
  • 基準値: 「日付Xに承認された」履歴を固定し、それに対して証明する。規制当局が尋ねるのは、昨夜のスキャン結果ではなく、第4四半期報告書の背後にある履歴である。ベースラインは、それを第一級の対象とする。
  • 100%会計処理画面表示: 拒否された案件の台帳は、他の案件と同様にエクスポートされるものであり、解決されなかった事項とその理由の完全なリストは成果物の一部であり、秘密ではありません。

ガバナンスが組み込まれている

データスチュワードは、エンドポイント(テーブル、ビュー、列)をPIIなどの機密クラスで分類します。伝播エンジンは、分類されたデータが下流にどこへ流れるかを計算し、そして重要なことに、 どうやって: 各調査結果には正直な影響タイプが伴います (データを含む, フィルター対象, 参加済み, 影響を受けた)は、経路に沿った系譜上の役割から派生し、所有者と管理者の帰属が付与されるため、発見事項は担当者の机に届きます。すべての管理者の行動は帰属され、監査されます。

アクセス制御には2つの独立した軸があります。7つのロールによってユーザーが実行できる操作(カタログの閲覧、分類の管理、スキャンの実行、ソースの管理など)が定義され、ワークスペースメンバーシップによってアクセス場所が定義されます。ワークスペースは厳密な分離境界であり、事実、エクスポート、ガバナンスレコード、監査イベントがワークスペースを越えて漏洩することはありません。また、本番環境には、本番環境をスキャンできるユーザーとそれ以外のものをスキャンできるユーザーを分離するサーバー側のゲートが追加されています。ID管理は、OIDCを介してIDプロバイダー(IdP)によって提供されます。

展開と拡張

SDLPはオンプレミス環境でLinuxとWindowsの両方に同様に展開でき、必要なソフトウェアはJavaのみです。リネージリポジトリには、1つの設定ブロックで選択できる2つのバックエンドが同等にサポートされています。共有本番環境向けのSQL Serverデータベース、またはインストール不要の組み込みストア(ローカルディレクトリ、データベースサーバーなし、パスワードなし)です。組み込みストアは、ダウンロードからリネージへの最初のスキャンに約15分かかります。すべてが完全にエアギャップで実行され、クラウドへの依存や外部接続はなく、ソース側のログインでテーブルデータへの読み取りアクセスは必要ありません。

このプラットフォームは大規模なデータベース環境に対応できるよう設計されています。122個のデータベースからなる環境(約29,000個の分析ユニットで約450,000個の列レベルのデータ系列情報が生成されます)のフルスキャンは、同一場所に設置された4コアサーバー上で2時間以内に完了します。また、再スキャンは同じ正規ストアにマージされるため、再観測された情報は履歴が保持されたまま単一の情報として残ります。増分デルタエクスポート機能により、手動でファイルの差分比較を行うことなく、「前回のスキャン以降に何が変わったか」を把握できます。

Microsoft Purviewおよびその他の下流システムへのデータ供給

エクスポート センターは、リポジトリを介して 8 つのエクスポート タイプを提供します。証拠付きのフィールド レベルのリネージ、変換ロジック、手順の影響、カバレッジの盲点、増分デルタ、拒否、バッチ品質、および Purview対応の系統CSV それぞれCSV、JSONL、またはParquet形式で出力されます。Purviewのエクスポートは契約バージョン管理されており、取り込み用に設計されています。アクティブなファクトごとに1行、ドット区切りの修飾名と個別の名前部分、リネージロール、保証された単一行変換式、およびPurview Atlas APIに対する冪等アップサートのキーとなる安定したファクトGUIDが含まれます。大規模なエクスポートは非同期ジョブとして実行され、ブラウザを閉じても実行が継続されます。

監査で弁護できる系譜

100%アカウンティングを使用して、SQL Server環境全体をスキャンし、監査可能なハッシュ検証済みの事実データに変換します。初回スキャンは約15分で完了し、データベースサーバーは不要です。

よくある質問

SDLPはGudu SQLFlowとどう違うのですか?

SQLFlowは対話型の分析ツールです。SQLを入力すると、39種類のSQL方言のいずれかで列レベルのデータリネージ図を描画します。SDLPは同じパーサーを基盤としたエンタープライズプラットフォームです。データベース全体を定期的にスキャンし、すべてのリネージエッジを監査可能な事実として管理リポジトリに保存し、解決できなかったものはすべて拒否台帳に記録します。さらに、分類、機密データフロー分析、ロールベースのアクセス制御、ベースライン、ハッシュチェーン監査証跡といった機能も追加します。SQLFlowを使用してデータフローを理解し、SDLPを使用して組織が証明するリネージ記録を維持してください。

SDLPはどのデータベースをサポートしていますか?

SDLPは現在、Microsoft SQL Server環境をエンドツーエンドでサポートしています(エクスポート、スキャナ、リポジトリ)。今後、さらに多くの環境タイプへの対応が予定されており、SQLFlowの39種類のSQL方言を支える汎用SQLパーサーファミリーから方言サポートを継承します。また、SQLファイルのディレクトリを直接スキャンすることも可能です。

SDLPは私のデータを読み取りますか?

いいえ。SDLPはSQLコードの静的解析によって動作します。エクスポートツールは、テーブル行へのアクセスを必要としない読み取り専用ログインを使用してカタログメタデータとモジュールソーステキストを読み取り、スキャナはそのエクスポートされたバンドルから完全に動作します。ビジネスデータを読み取るコードパスは存在しません。

SDLPはエアギャップ環境で実行できますか?

はい。SDLPはオンプレミスソフトウェアであり、クラウドへの依存や外部接続は一切ありません。組み込みリポジトリバックエンドを備えているため、Javaとローカルディレクトリさえあれば動作し、ジャンプホストや隔離されたスキャンマシンでも実用的です。

SDLPの系統監査グレードの特長は何ですか?

3つのプロパティが連携して機能します。100%会計(事実と理由付き拒否台帳でシステム全体を網羅)、改ざん防止証拠チェーン(すべての事実が元のSQLのハッシュ検証済みスパンに解決される)、および独立した検証(別の検証ツールがスキャナを信頼せずに、保存されたすべての行のIDを再計算する)。監査担当者は、レポート内の任意の数値から、その数値を生成した正確なSQLステートメントにリアルタイムでたどることができます。

ご自身の敷地内でSDLPをご覧ください

すぐに実行できる評価パッケージで、15分でクイックスタートが可能。最初のスキャンにはデータベースサーバーは不要です。