Ingestionnaire SQLFlow (anciennement Grabit) collecte le SQL de votre patrimoine de données — le DDL des tables, vues, procédures stockées, fonctions, déclencheurs et packages — et l'intègre à SQLFlow pour traçabilité des données au niveau des colonnes Il effectue une analyse. Il lit les données provenant de bases de données en direct via JDBC, de systèmes de gestion de versions comme GitHub et Bitbucket, et du système de fichiers local. Il extrait les données. métadonnées uniquement et ne lit jamais les lignes de vos tableaux.
Exécutez-le en 3 minutes : Il suffit de configurer l'ingesteur pour qu'il pointe vers une base de données ; il génère alors un ensemble de métadonnées que SQLFlow transforme en un diagramme de traçabilité interactif au niveau des colonnes. L'ensemble du processus s'exécute en ligne de commande et peut donc être planifié facilement comme une tâche cron.
Collecte de SQL à partir de trois types de sources
Se connecter à une base de données
Extrait DDL — CRÉER UNE TABLE, CRÉER UNE VUE, les procédures stockées, les fonctions, les déclencheurs et les contraintes — provenant d'Oracle, SQL Server, Snowflake, PostgreSQL et de 9 autres dialectes via JDBC, et les envoyer à SQLFlow pour analyse.
Se connecter à un système de révision
Récupérez les fichiers SQL directement depuis GitHub, Bitbucket et d'autres systèmes de gestion de versions, et envoyez-les à SQLFlow pour reconstituer la lignée des données à partir du code que votre équipe gère déjà par contrôle de version.
Rechercher dans le système de fichiers
Trouvez les fichiers SQL dans une arborescence de répertoires locaux et transférez-les vers SQLFlow pour visualiser la lignée des données — pratique pour les scripts et les exportations qui n'ont jamais été intégrés à une base de données ou à un dépôt.
Deux formats d'exportation : JSON unique et JSON fragmenté
Lors de la lecture d'une base de données, l'ingesteur crée un ensemble de métadonnées normalisées : la structure du catalogue et le texte DDL de chaque vue, procédure, fonction, déclencheur et clé étrangère. Un seul modèle couvre tous les dialectes pris en charge ; chaque fournisseur omet simplement les types d'objets qu'il ne possède pas. Cet ensemble se présente sous deux formes.
| JSON unique | Partitionné (par défaut) | |
|---|---|---|
| Sur disque | Un métadonnées.json déposer | Un répertoire : manifest.json + catalogue/ + source/ + indice/ |
| Là où vit DDL | En ligne, dans serveurs[].requêtes[] | Dans source/*.jsonl, situé par un décalage d'octet index/*.idx |
| Idéal pour | Catalogues de petite et moyenne taille | Domaines importants — le catalogue reste en place, les flux DDL multi-Go et les recherches |
| Extras | Le plus simple à consommer | Hachage SHA-256 par partition, hachage du contenu par objet, exportations incrémentielles, compression par blocs |
JSON unique Il place l'ensemble du domaine dans un seul fichier avec le DDL de chaque objet intégré — la chose la plus simple à analyser. Fragmenté Il s'agit du comportement par défaut pour les grands domaines : l'exportation est diffusée en continu avec une mémoire limitée, le catalogue structurel reste petit et résident, le DDL est accessible par recherche aléatoire via un index et le manifeste est écrit en dernier afin qu'un utilisateur ne voie jamais une exportation incomplète. Références complètes champ par champ : export JSON unique et exportation fragmentée.
Découvrez la traçabilité des données dans une base de données SQL Server en 3 minutes
Exécutez-le à partir de la ligne de commande, selon une planification
L'outil d'ingestion est un utilitaire Java autonome exécuté en ligne de commande. Il s'intègre parfaitement à une tâche cron pour une extraction automatisée et reproductible. Les mots de passe peuvent être fournis via une variable d'environnement ou un fichier, évitant ainsi leur inclusion dans les arguments du processus. Des filtres d'inclusion/exclusion précis permettent de contrôler exactement les bases de données, schémas et objets extraits. Voir la documentation. Documentation de SQLFlow Ingester à commencer.
Obtenez la lignée de votre base de données
Téléchargez SQLFlow Ingester, connectez-le à une base de données et transformez ses métadonnées en traçabilité des données au niveau des colonnes.