Ingestor SQLFlow (anteriormente Grabit) coleta SQL de seu conjunto de dados — o DDL de tabelas, visualizações, procedimentos armazenados, funções, gatilhos e pacotes — e o envia para o SQLFlow para linhagem de dados em nível de coluna análise. Lê de bancos de dados ativos via JDBC, de sistemas de controle de versão como GitHub e Bitbucket, e do sistema de arquivos local. Extrai somente metadados e nunca lê as linhas das suas tabelas.
Execute em 3 minutos: Ao direcionar o ingestor para um banco de dados, ele grava um pacote de metadados que o SQLFlow transforma em um diagrama de linhagem interativo em nível de coluna. Tudo é executado a partir da linha de comando, o que facilita o agendamento como uma tarefa cron.
Coletar SQL de três tipos de fonte
Conectar-se a um banco de dados
Extrair DDL — CRIAR TABELA, CRIAR VISUALIZAÇÃO, procedimentos armazenados, funções, gatilhos e restrições — do Oracle, SQL Server, Snowflake, PostgreSQL e mais 9 dialetos via JDBC, e enviá-los para o SQLFlow para análise.
Conecte-se a um sistema de revisão
Obtenha arquivos SQL diretamente do GitHub, Bitbucket e outros sistemas de controle de versão e envie-os para o SQLFlow para construir a linhagem de dados a partir do código que sua equipe já controla por versão.
Pesquise o sistema de arquivos
Encontre arquivos SQL em uma árvore de diretórios local e envie-os para o SQLFlow para visualizar a linhagem de dados — útil para scripts e exportações que nunca chegaram a um banco de dados ou repositório.
Dois formatos de exportação: JSON único e fragmentado.
Quando o ingestor lê um banco de dados, ele grava um pacote de metadados normalizado — a estrutura do catálogo mais o texto DDL de cada visualização, procedimento, função, gatilho e chave estrangeira. Um modelo abrange todos os dialetos suportados; cada fornecedor simplesmente omite os tipos de objeto que não possui. Esse pacote se apresenta em dois formatos.
| JSON único | Fragmentado (padrão) | |
|---|---|---|
| Em disco | Um metadata.json arquivo | Um diretório: manifest.json + catálogo/ + fonte/ + índice/ |
| Onde DDL mora | Em linha, em servidores[].consultas[] | Em fonte/*.jsonl, localizado por um deslocamento de byte índice/*.idx |
| Ideal para | Catálogos de pequeno e médio porte | Grandes propriedades — o catálogo permanece residente, fluxos DDL de vários GB e busca |
| Extras | Mais simples de consumir | SHA-256 por fragmento, hash de conteúdo por objeto, exportações incrementais, compressão de blocos |
JSON único Coloca toda a propriedade em um único arquivo com o DDL de cada objeto embutido — a coisa mais simples de analisar. Fragmentado é o padrão para grandes propriedades: ele transmite a exportação com memória limitada, mantém o catálogo estrutural pequeno e residente, torna o DDL pesquisável aleatoriamente por meio de um índice e grava seu manifesto por último, para que o consumidor nunca veja uma exportação incompleta. Referências completas campo a campo: exportação única de JSON e exportação fragmentada.
Descubra a linhagem de dados em um banco de dados SQL Server em 3 minutos
Execute-o a partir da linha de comando, de acordo com um cronograma.
O ingestor é uma ferramenta Java independente que você executa a partir da linha de comando, permitindo o agendamento perfeito como uma tarefa cron para extração automatizada e repetível. As senhas podem ser fornecidas a partir de uma variável de ambiente ou de um arquivo, de forma que nunca apareçam nos argumentos do processo, e filtros de inclusão/exclusão precisos controlam exatamente quais bancos de dados, esquemas e objetos são extraídos. Veja o Documentação do SQLFlow Ingester para começar.
Obtenha a linhagem do seu banco de dados.
Baixe o SQLFlow Ingester, aponte-o para um banco de dados e transforme seus metadados em linhagem de dados em nível de coluna.