SQLFlow Ingester (ehemals Grabit) sammelt SQL-Code aus Ihren Datenbeständen – das DDL von Tabellen, Sichten, gespeicherten Prozeduren, Funktionen, Triggern und Paketen – und übergibt ihn an SQLFlow für Datenherkunft auf Spaltenebene Analyse. Es liest Daten aus Live-Datenbanken über JDBC, aus Versionsverwaltungssystemen wie GitHub und Bitbucket sowie aus dem lokalen Dateisystem. Es extrahiert Daten. Nur Metadaten und liest niemals die Zeilen in Ihren Tabellen.
Führe es in 3 Minuten aus: Der Ingester verweist auf eine Datenbank und erstellt ein Metadatenpaket, das SQLFlow in ein interaktives Spalten-Herkunftsdiagramm umwandelt. Da alles über die Kommandozeile ausgeführt wird, lässt es sich problemlos als Cronjob einplanen.
Sammeln Sie SQL aus drei Arten von Quellen.
Verbindung zu einer Datenbank herstellen
DDL-Extraktion — Tabelle erstellen, ANSICHT ERSTELLEN, gespeicherte Prozeduren, Funktionen, Trigger und Einschränkungen – aus Oracle, SQL Server, Snowflake, PostgreSQL und 9 weiteren Dialekten über JDBC – und senden diese zur Analyse an SQLFlow.
Verbindung zu einem Revisionssystem herstellen
Rufen Sie SQL-Dateien direkt von GitHub, Bitbucket und anderen Versionsverwaltungssystemen ab und senden Sie sie an SQLFlow, um die Datenherkunft aus dem Code zu erstellen, den Ihr Team bereits versioniert.
Durchsuchen Sie das Dateisystem
Suchen Sie SQL-Dateien in einem lokalen Verzeichnisbaum und übertragen Sie sie an SQLFlow, um die Datenherkunft zu visualisieren – praktisch für Skripte und Exporte, die es nie in eine Datenbank oder ein Repository geschafft haben.
Zwei Exportformate: einzelnes JSON und fragmentiertes JSON.
Beim Einlesen einer Datenbank erstellt der Ingester ein normalisiertes Metadatenpaket – bestehend aus Katalogstruktur und dem DDL-Text jeder Ansicht, Prozedur, Funktion, jedes Triggers und jedes Fremdschlüssels. Ein einziges Modell deckt alle unterstützten Dialekte ab; jeder Anbieter lässt einfach die Objekttypen weg, die er nicht unterstützt. Dieses Paket existiert in zwei Formen.
| Einzelnes JSON | Sharded (Standard) | |
|---|---|---|
| Auf der Festplatte | Eins metadata.json Datei | Ein Verzeichnis: manifest.json + Katalog/ + Quelle/ + Index/ |
| Wo DDL wohnt | Inline, in Server[].Abfragen[] | In source/*.jsonl, lokalisiert durch einen Byte-Offset index/*.idx |
| Am besten geeignet für | Kleine und mittlere Kataloge | Große Anwesen – Katalog bleibt resident, Multi-GB DDL-Streams und Suchvorgänge |
| Extras | Am einfachsten zu konsumieren | SHA-256-Hashing pro Shard, Inhalts-Hashing pro Objekt, inkrementelle Exporte, Blockkomprimierung |
Einzelnes JSON Speichert den gesamten Besitz in einer einzigen Datei, wobei die DDL jedes Objekts direkt im Text enthalten ist – das ist am einfachsten zu parsen. Splitter Dies ist die Standardeinstellung für große Datenbestände: Der Export wird mit begrenztem Speicher gestreamt, der Strukturkatalog bleibt klein und resident, die DDL ist über einen Index wahlfrei auffindbar, und das Manifest wird zuletzt geschrieben, sodass ein Benutzer niemals einen unvollständigen Export sieht. Vollständige Feld-für-Feld-Referenzen: einzelner JSON-Export Und fragmentierter Export.
Ermitteln Sie die Datenherkunft in einer SQL-Server-Datenbank in 3 Minuten
Führen Sie es über die Befehlszeile nach einem Zeitplan aus.
Der Ingester ist ein eigenständiges Java-Tool, das über die Kommandozeile ausgeführt wird und sich daher problemlos als Cronjob für die automatisierte, wiederholbare Datenextraktion einplanen lässt. Passwörter können über eine Umgebungsvariable oder eine Datei angegeben werden, sodass sie niemals in den Prozessargumenten erscheinen. Fein abgestufte Ein- und Ausschlussfilter steuern genau, welche Datenbanken, Schemas und Objekte extrahiert werden. Siehe die SQLFlow Ingester-Dokumentation Zu Jetzt starten.
Ermitteln Sie die Herkunft aus Ihrem Datenbankbestand.
Laden Sie den SQLFlow Ingester herunter, verweisen Sie ihn auf eine Datenbank und wandeln Sie dessen Metadaten in Datenherkunft auf Spaltenebene um.