SQL-Datenherkunftstool: Automatisierte Datenherkunft auf Spaltenebene

Gudu SQLFlow is an automated SQL-Datenherkunftstool. Give it your SQL — queries, stored procedures, dbt projects, or an entire database — and it produces an interactive, column-level data lineage diagram that shows exactly where every piece of data comes from and where it goes. No agents to install, no manual mapping, no spreadsheets.

Was ist SQL-Datenherkunft?

Die SQL-Datenherkunft ist die Abbildung dessen, wie Daten durch Ihren SQL-Code bewegt und transformiert werden: welche Quelltabellen und -spalten die jeweiligen Zieltabelle, Sichten oder Berichte speisen und was mit den Daten auf dem Weg geschieht – Joins, Filter, Aggregationen, Typumwandlungen und Funktionsaufrufe. Die Datenherkunft beantwortet zwei Fragen, die sich jedes Datenteam täglich stellt: „Woher kommt diese Zahl?“ (Herkunft) und „Was geht kaputt, wenn ich diese Spalte ändere?“ (Auswirkungsanalyse).

Da der Großteil der Datentransformationslogik in einem Data Warehouse in SQL implementiert ist – Sichten, gespeicherte Prozeduren, ETL-Skripte, DBT-Modelle, geplante Abfragen – ist die Analyse dieses SQL-Codes die präziseste und schonendste Methode, die Datenherkunft nachzuverfolgen. SQLFlow leistet genau das: Es führt eine statische Analyse Ihres SQL-Codes durch, benötigt daher keinen Zugriff auf Ihre Daten und erfasst Logik, die laufzeitprotokollbasierte Ansätze übersehen.

So funktioniert SQLFlow

1. SQL-Daten erfassen. SQL einfügen, Dateien hochladen, eine Datenbank über JDBC verbinden, um DDL abzurufen und Definitionen anzuzeigen, ein dbt-Manifest importieren oder den Abfrageverlauf des Data Warehouse einbinden (Snowflake-Abfrageverlauf und Redshift-Abfrageprotokolle werden nativ unterstützt).
2. Parsen und analysieren. SQLFlow basiert auf Allgemeiner SQL-Parser (GSP), a commercial SQL compiler front-end developed since the mid-2000s and validated against more than 13,000 per-dialect SQL test fixtures. GSP builds a full semantic model of your SQL — resolving every column reference through CTEs, subqueries, views, and star-expansion — then its data-flow analyzer extracts source-to-target relationships at column granularity.
3. Visualisieren und exportieren. Das Ergebnis ist ein interaktives Diagramm, in das Sie detailliert eintauchen, dessen Verlauf Sie von jeder Spalte aus vor- und nachgelagert verfolgen und das Sie als JSON, CSV oder PNG exportieren oder programmatisch über die REST-API abfragen können.

Herkunftsnachweis auf Spaltenebene, nicht nur auf Tabellenebene

Die Herkunftsanalyse auf Tabellenebene zeigt Ihnen, dass Umsatzbericht wird gebaut aus Bestellungen Und KundenDie Herkunftsanalyse auf Spaltenebene zeigt Ihnen Folgendes an: Gesamterlöse aus dem Bericht wird berechnet als SUMME(orders.amount) gefiltert nach Bestellungen.Status, beigetreten am Kunden-ID — und dass Kunden-E-Mail spielt dabei überhaupt keine Rolle. Genau dieser Unterschied macht die Abstammung relevant:

• Folgenabschätzung vor einer Schemaänderung: Ermitteln Sie jeden nachgelagerten Bericht, der tatsächlich von einer Spalte gespeist wird, anstatt jeden Bericht, der lediglich dieselbe Tabelle berührt.
• Ursachenanalyse für eine falsche Zahl: Gehen Sie von einer Ausgabespalte über jede Transformation zurück zu ihren wahren Quellen.
• Compliance und Audit: Nachweis, welche Quellfelder genau in eine regulierte Ausgabe fließen – die Granularität, die Frameworks wie BCBS 239 und GDPR Data Mapping erwarten.

SQLFlow trennt zusätzlich direkte Abstammung aus indirekte (Einfluss-)AbstammungslinieEine Spalte, die in einem WO Klausel, VERBINDEN Zustand oder GRUPPE NACH Diese Daten fließen zwar nie in die Ausgabe ein, prägen das Ergebnis aber maßgeblich. SQLFlow modelliert diese als einen separaten, umschaltbaren Beziehungstyp, sodass Sie entweder den reinen Datenfluss oder die gesamte Auswirkungsfläche sehen können – die meisten anderen Tools zur Datenherkunftsanalyse unterscheiden nicht zwischen diesen beiden Typen.

39 unterstützte Datenbanken

SQLFlow liefert dialektspezifische Parser – nicht eine generische ANSI-Grammatik – für 39 Datenbanken und Abfrage-Engines:

Kategorie	Datenbanken
Cloud-Data-Warehouses	Snowflake, Google BigQuery, Amazon Redshift, Databricks, Azure SQL, Amazon Athena
Traditionelles RDBMS	Oracle, SQL Server, MySQL, PostgreSQL, IBM DB2, Sybase, Informix, SQLite, EDB Postgres
MPP & Analytik	Teradata, Netezza, Greenplum, Vertica, SAP HANA, ClickHouse, DuckDB, Doris, StarRocks
Big-Data- und Abfrage-Engines	Hive, Impala, Spark SQL, Presto, Trino, Flink SQL
Andere Plattformen	Couchbase, Salesforce SOQL, Power Query M, OpenEdge, ODBC, Dameng, GaussDB, OceanBase, MDX

Die Unterstützung für Dialekte wird aktiv erweitert – EDB Postgres, Dameng, OceanBase und Power Query M wurden alle im Jahr 2026 hinzugefügt. Wenn Ihr Dialekt nicht aufgeführt ist, frag unsNeue Dialekte werden auf Kundenwunsch hinzugefügt.

Gespeicherte Prozeduren, dynamisches SQL und dbt

Reale Lagerhäuser bestehen nicht aus einfachen SELECT-Anweisungen. SQLFlow analysiert die komplexen Zusammenhänge:

• Gespeicherte Prozeduren: Spezielle prozedurale Grammatiken für Oracle PL/SQL und SQL Server T-SQL verfolgen die Herkunft von Prozeduren über Parameter und temporäre Tabellen hinweg und stellen eine interaktive Darstellung dar. Anrufdiagramm welche Prozeduren welche aufrufen.
• Dynamisches SQL: Innerhalb von Prozeduren zusammengesetzter SQL-Code wird aufgelöst und analysiert, anstatt übersprungen zu werden – eine der häufigsten Schwachstellen von Lineage-Tools.
• dbt-Projekte: Importieren Sie ein dbt-Manifest und erhalten Sie die Datenherkunft auf Spaltenebene über Ihre Modelle hinweg, abgeglichen mit dem Data Warehouse, in dem es bereitgestellt wird.
• ER-Diagramme aus SQL: SQLFlow leitet Primär-/Fremdschlüsselbeziehungen aus DDL ab und erstellt das Entity-Relationship-Diagramm – nützlich, wenn keine Dokumentation vorhanden ist.

Stellen Sie Ihre Fragen zur Ahnenforschung in einfachem Englisch.

Seit Version 8.2.3 enthält SQLFlow eine KI-gestützte Herkunftsabfrage: Stellen Sie Fragen wie: „Welche Berichte hängen von der E-Mail-Adresse des Kunden ab?“ oder „Fassen Sie zusammen, wie der Gesamtumsatz berechnet wird.“ Die Antworten basieren direkt auf dem Abstammungsdiagramm. Jede Tabelle und Spalte, auf die die KI zugreift, wird anhand der analysierten Abstammung validiert, bevor sie Ihnen angezeigt wird.

Wählen Sie Ihre Bereitstellungsart.

Ausgabe	Am besten geeignet für	So funktioniert es
SQLFlow Cloud	Einzelpersonen und Teams, die jetzt ihre Abstammung nachverfolgen wollen	SaaS, kostenlose Version; SQL-Code einfügen oder Datenquellen im Browser verbinden
SQLFlow vor Ort	Banken, Gesundheitswesen und regulierte Umgebungen	Docker/Kubernetes innerhalb Ihres Netzwerks – SQL verlässt niemals Ihre Infrastruktur
REST-API	Automatisierung der Herkunftsnachverfolgung in Pipelines und Plattformen	Vollständige Analyseoberfläche als JSON-über-HTTP-Endpunkte
JavaScript-Widget	Einbetten von Stammbaumdiagrammen in Ihr eigenes Produkt	JS-API mit über 30 Methoden, die sich in jede Webanwendung integrieren lässt.
Java-Bibliothek	Einbinden der Herkunft in JVM-Anwendungen	Der GSP DataFlowAnalyzer als JAR-Abhängigkeit

Enterprise-Implementierungen skalieren auf Datenbanken mit mehr als 100 Datenbanken und über einer Million Spalten, mit inkrementellem Scannen, einem persistenten Herkunftsarchiv und Exportadaptern für DataHub, Microsoft Purview und OpenMetadata — sodass SQLFlow als Lineage-Engine innerhalb des Katalogs dienen kann, den Sie bereits ausführen.

Wofür nutzen Teams SQLFlow?

• Wirkungsanalyse: Bevor Sie eine Spalte umbenennen, neu eingeben oder löschen, sollten Sie alle nachgelagerten Nutzer dieser Spalte kennen.
• Behebung von Datenproblemen: Verfolgen Sie eine fehlerhafte Nummer in einem Dashboard innerhalb von Minuten statt Tagen über jede Ansicht und jeden Vorgang zurück zu ihrem Ursprung.
• Einhaltung gesetzlicher Vorschriften: Erstellung von Herkunftsdokumentationen auf Spaltenebene für BCBS 239, DSGVO, SOX und interne Revision.
• Migrationsplanung: Erstellen Sie vor dem Wechsel von Oracle oder Teradata zu Snowflake, BigQuery oder Databricks einen vollständigen Abhängigkeitsgraphen und überprüfen Sie anschließend, ob keine Daten verwaist sind.
• Datenverwaltung: Verwenden Sie für Ihren Datenkatalog präzise, automatisch aktualisierte Herkunftsdaten anstelle der manuellen Pflege.

Wie schneidet SQLFlow im Vergleich zu Open-Source-Alternativen ab?

Open-Source-Projekte wie sqllineage (Python) und sqlglot Sie eignen sich gut zum Parsen einzelner Abfragen und sind für einfache SELECT/INSERT-Anweisungen möglicherweise ausreichend. Die Lücke zeigt sich jedoch bei realem Produktionscode: gespeicherte Prozeduren und dynamisches SQL, dialektspezifische Syntax in Dutzenden von Datenbank-Engines, Sternexpansion und View-Auflösung, die Datenbankmetadaten erfordern, indirekte Herkunftsanalyse durch Filter- und Join-Bedingungen sowie die Visualisierung (nicht nur die Extraktion) der Herkunft bei Tausenden von Skripten. Der Parser von SQLFlow wird seit fast zwei Jahrzehnten kommerziell anhand eines Regressionskorpus von über 13.000 realen SQL-Beispielen entwickelt – diese umfassende Expertise in komplexem SQL ist der Preis, den Sie dafür erhalten. Wenn Sie die beiden Tools evaluieren, führen Sie Ihre anspruchsvollste gespeicherte Prozedur mit beiden aus und vergleichen Sie die Ergebnisse.

Häufig gestellte Fragen

Benötigt SQLFlow Zugriff auf meine Daten?

Nein. SQLFlow führt eine statische Analyse des SQL-Codes durch und liest optional Schema-Metadaten (Tabellen- und Spaltendefinitionen). Es liest niemals die Zeilen Ihrer Tabellen. Bei der On-Premise-Edition bleibt sogar Ihr SQL-Text innerhalb Ihres Netzwerks.

Gibt es eine kostenlose Version?

Ja. SQLFlow Cloud Es gibt eine kostenlose Version – fügen Sie SQL-Anweisungen ein und erhalten Sie Spalten-Historiendiagramme direkt im Browser. Bezahlte Tarife bieten zusätzliche Funktionen wie größere Eingabefelder, API-Zugriff und Teamfunktionen.

Kann SQLFlow gespeicherte Prozeduren analysieren?

Ja – dies ist eine seiner größten Stärken. Oracle PL/SQL und SQL Server T-SQL verfügen über dedizierte Prozedurparser. SQLFlow verfolgt die Abfolge von Prozedurparametern, temporären Tabellen und dynamischem SQL und stellt den Aufrufgraphen zwischen Prozeduren dar.

Worin unterscheidet sich die Herkunftsanalyse auf Spaltenebene von der Herkunftsanalyse auf Tabellenebene?

Die Tabellenhierarchie zeigt, welche Tabellen welche Daten speisen. Die Spaltenhierarchie zeigt für jede Ausgabespalte die genauen Quellspalten und die angewendeten Transformationen. Die Spaltenhierarchie ermöglicht präzise Wirkungsanalysen und Audit-Ergebnisse anstelle von Näherungswerten.

Unterstützt SQLFlow dbt?

Ja. Importieren Sie Ihr dbt-Manifest, und SQLFlow erstellt eine Spaltenherkunft für Ihre dbt-Modelle und kann die Modelle mit den von ihnen erstellten Warehouse-Objekten abgleichen.

Kann ich die Herkunftsdaten nach DataHub, Purview oder OpenMetadata exportieren?

Ja. Enterprise-Implementierungen umfassen Exportadapter für DataHub, Microsoft Purview und OpenMetadata sowie JSON- und CSV-Exporte und eine REST-API für alle benutzerdefinierten Funktionen.

Wie viel kostet SQLFlow?

SQLFlow Cloud ist kostenlos; Premium-Konten kosten 1 TP3T49,99/Monat. SQLFlow On-Premise kostet 1 TP3T500/Monat oder einmalig 1 TP3T4.800 pro ausgewähltem Datenbanktyp und kann auf zwei Servern installiert werden. Siehe Preisgestaltung für weitere Details.