Ingestor SQLFlow (anteriormente Grabit) recopila SQL de su entorno de datos (el DDL de tablas, vistas, procedimientos almacenados, funciones, disparadores y paquetes) y lo alimenta a SQLFlow para linaje de datos a nivel de columna análisis. Lee desde bases de datos en vivo a través de JDBC, desde sistemas de revisión como GitHub y Bitbucket, y desde el sistema de archivos local. Extrae solo metadatos y nunca lee las filas de tus tablas.
Ejecútalo en 3 minutos: Al configurar el ingester para que apunte a una base de datos, este genera un paquete de metadatos que SQLFlow convierte en un diagrama de linaje interactivo a nivel de columna. Todo se ejecuta desde la línea de comandos, por lo que se programa fácilmente como una tarea cron.
Recopilar SQL de tres tipos de fuente
Conéctese a una base de datos
Extraer DDL — CREAR TABLA, CREAR VISTA, procedimientos almacenados, funciones, disparadores y restricciones, desde Oracle, SQL Server, Snowflake, PostgreSQL y 9 dialectos más a través de JDBC, y enviarlos a SQLFlow para su análisis.
Conéctate a un sistema de revisión
Obtén archivos SQL directamente de GitHub, Bitbucket y otros sistemas de control de versiones, y envíalos a SQLFlow para crear el linaje de datos a partir del código que tu equipo ya controla mediante control de versiones.
Buscar en el sistema de archivos
Localiza archivos SQL en un árbol de directorios local y envíalos a SQLFlow para visualizar el linaje de los datos; esto resulta útil para scripts y exportaciones que nunca llegaron a una base de datos o un repositorio.
Dos formatos de exportación: JSON único y fragmentado
Cuando el ingester lee una base de datos, escribe un paquete de metadatos normalizado: la estructura del catálogo más el texto DDL de cada vista, procedimiento, función, disparador y clave externa. Un modelo abarca todos los dialectos compatibles; cada proveedor simplemente omite los tipos de objetos que no tiene. Este paquete se presenta en dos formatos.
| JSON único | Fragmentado (predeterminado) | |
|---|---|---|
| En disco | Uno metadatos.json archivo | Un directorio: manifest.json + catalogar/ + fuente/ + índice/ |
| Donde vive DDL | En línea, en servidores[].consultas[] | En origen/*.jsonl, ubicado por un desplazamiento de byte índice/*.idx |
| Lo mejor para | Catálogos pequeños y medianos | Grandes propiedades: el catálogo permanece residente, transmisiones DDL de varios GB y busca |
| Extras | Más sencillo de consumir | SHA-256 por fragmento, hash de contenido por objeto, exportaciones incrementales, compresión de bloques |
JSON único Coloca todo el patrimonio en un solo archivo con el DDL de cada objeto en línea, lo que facilita enormemente su análisis. Fragmentado Es la opción predeterminada para grandes propiedades: transmite la exportación con memoria limitada, mantiene el catálogo estructural pequeño y residente, permite la búsqueda aleatoria de DDL a través de un índice y escribe su manifiesto al final para que un consumidor nunca vea una exportación parcialmente escrita. Referencias completas campo por campo: Exportación JSON única y exportación fragmentada.
Descubre el linaje de datos en una base de datos SQL Server en 3 minutos.
Ejecútalo desde la línea de comandos, según un cronograma.
El ingester es una herramienta Java autónoma que se ejecuta desde la línea de comandos, por lo que se programa limpiamente como una tarea cron para una extracción automatizada y repetible. Las contraseñas se pueden proporcionar desde una variable de entorno o un archivo para que nunca aparezcan en los argumentos del proceso, y los filtros de inclusión/exclusión de grano fino controlan exactamente qué bases de datos, esquemas y objetos se extraen. Consulte la Documentación del Ingestor SQLFlow a Empezar.
Obtenga el linaje de su base de datos.
Descarga el SQLFlow Ingester, configúralo para que apunte a una base de datos y convierte sus metadatos en un linaje de datos a nivel de columna.