{"id":6764,"date":"2026-07-12T02:08:07","date_gmt":"2026-07-12T10:08:07","guid":{"rendered":"https:\/\/www.gudusoft.com\/duckdb-data-lineage\/"},"modified":"2026-07-12T02:08:07","modified_gmt":"2026-07-12T10:08:07","slug":"duckdb-data-lineage","status":"publish","type":"page","link":"https:\/\/www.gudusoft.com\/pt\/duckdb-linhagem-de-dados\/","title":{"rendered":"DuckDB Data Lineage: Linhagem em n\u00edvel de coluna para an\u00e1lises em andamento"},"content":{"rendered":"

linhagem de dados DuckDB<\/strong> \u00e9 o mapa em n\u00edvel de coluna de como os dados se movem pelo seu SQL do DuckDB: quais arquivos Parquet e tabelas de origem alimentam cada tabela derivada e por meio de quais jun\u00e7\u00f5es, convers\u00f5es, filtros e agrega\u00e7\u00f5es. Gudu SQLFlow<\/strong> Constr\u00f3i esse mapa automaticamente: analisa seus scripts DuckDB com um analisador de dialeto DuckDB dedicado e renderiza um diagrama de linhagem interativo, sem executar uma \u00fanica consulta ou alterar seus dados.<\/p>\n\n\n\n

\n\n

Experimente agora:<\/strong> Cole qualquer consulta DuckDB no visualizador de linhagem SQL online gratuito<\/a>Selecione o dialeto DuckDB e obtenha um diagrama de linhagem em n\u00edvel de coluna em segundos. H\u00e1 um plano gratuito para uso individual.<\/p>\n\n<\/div><\/div>\n\n\n\n

Por que os pipelines do DuckDB merecem uma linhagem real?<\/h2>\n\n\n\n

O DuckDB se tornou, discretamente, uma infraestrutura de dados s\u00e9ria. Ele executa a camada de transforma\u00e7\u00e3o em dbt-duckdb<\/code> projetos, alimenta an\u00e1lises locais que posteriormente migram para o data warehouse, est\u00e1 incorporado em aplicativos e notebooks e, cada vez mais, serve como mecanismo de computa\u00e7\u00e3o em data lakes Parquet. O SQL nesses pipelines toma os mesmos tipos de decis\u00f5es que o SQL do data warehouse: calcula a receita, filtra clientes e constr\u00f3i as tabelas que um dashboard l\u00ea.<\/p>\n\n\n\n

No entanto, os projetos DuckDB geralmente n\u00e3o recebem o mesmo rigor de linhagem que um data warehouse. H\u00e1 uma raz\u00e3o estrutural: a maioria das ferramentas de linhagem pressup\u00f5e um servidor de banco de dados. A linhagem baseada em logs de tempo de execu\u00e7\u00e3o coleta logs de consulta de um mecanismo central; plataformas que priorizam o cat\u00e1logo rastreiam os metadados de um servidor. O DuckDB \u00e9 em processo: geralmente n\u00e3o h\u00e1 servidor, hist\u00f3rico de consultas compartilhado ou agente de cat\u00e1logo para instalar. A l\u00f3gica de transforma\u00e7\u00e3o reside no processo. .sql<\/code> Arquivos, modelos dbt e scripts armazenados em um reposit\u00f3rio.<\/p>\n\n\n\n

Isso faz da an\u00e1lise est\u00e1tica de SQL a maneira natural, e muitas vezes a \u00fanica, de construir a linhagem de dados do DuckDB. O SQLFlow analisa o pr\u00f3prio texto SQL, portanto, funciona da mesma forma, independentemente de o SQL ser executado em um laptop, em um job de CI ou dentro de um processo de aplicativo.<\/p>\n\n\n\n

Como o SQLFlow constr\u00f3i a linhagem de dados do DuckDB<\/h2>\n\n\n\n

O SQLFlow \u00e9 constru\u00eddo sobre o Analisador SQL Geral (GSP)<\/a>DuckDB \u00e9 um dos compiladores SQL comerciais desenvolvidos desde meados dos anos 2000 e validados com aproximadamente 13.600 conjuntos de testes SQL por dialeto. 39 bases de dados com um analisador sint\u00e1tico espec\u00edfico para cada dialeto.<\/a> \u2014 n\u00e3o uma gram\u00e1tica ANSI gen\u00e9rica com a sintaxe do DuckDB simplesmente adicionada. O pipeline:<\/p>\n\n\n\n

  1. Ingerir.<\/strong> Cole o SQL do DuckDB, carregue seus arquivos de script ou importe um manifesto dbt de um dbt-duckdb<\/code> projeto.<\/li>\n
  2. Analisar e resolver.<\/strong> O GSP constr\u00f3i um modelo sem\u00e2ntico completo de cada instru\u00e7\u00e3o, resolvendo cada refer\u00eancia de coluna por meio de CTEs, subconsultas, visualiza\u00e7\u00f5es e SELECIONE *<\/code> expans\u00e3o.<\/li>\n
  3. Extrair fluxo de dados.<\/strong> O analisador de fluxo de dados registra, para cada coluna de sa\u00edda, exatamente quais colunas de origem a alimentam e por meio de quais fun\u00e7\u00f5es, convers\u00f5es, jun\u00e7\u00f5es e operadores de conjunto.<\/li>\n
  4. Visualize e exporte.<\/strong> Navegue pelo diagrama interativo, rastreie qualquer coluna a montante ou a jusante e exporte o gr\u00e1fico como JSON, CSV ou PNG, ou obtenha-o atrav\u00e9s da API REST.<\/li><\/ol>\n\n\n\n

    Exemplo: linhagem atrav\u00e9s de read_parquet() e CTAS<\/h2>\n\n\n\n

    O padr\u00e3o caracter\u00edstico do DuckDB \u00e9 CRIAR TABELA COMO SELECIONAR<\/code> Leitura direta de arquivos \u2014 sem carregamento tempor\u00e1rio, os arquivos Parquet s\u00e3o<\/em> a fonte. Uma configura\u00e7\u00e3o t\u00edpica de relat\u00f3rio:<\/p>\n\n\n\n

    CREATE TABLE reporting.daily_revenue AS SELECT CAST(o.order_ts AS DATE) AS order_date, c.region AS region, SUM(o.amount) AS revenue, COUNT(DISTINCT o.customer_id) AS buyers FROM read_parquet('lake\/orders\/*.parquet') AS o JOIN dim_customers AS c ON o.customer_id = c.customer_id WHERE o.status = 'completed' GROUP BY 1, 2;<\/code><\/pre>\n\n\n\n
    O analisador DuckDB do SQLFlow entende ler_parquet()<\/code> como fonte de tabela, de modo que o caminho Parquet apare\u00e7a como um n\u00f3 real no grafo de linhagem, em vez de uma chamada de fun\u00e7\u00e3o n\u00e3o resolvida. A partir dessa \u00fanica instru\u00e7\u00e3o, ele extrai:<\/p>\n\n\n\n