{"id":6765,"date":"2026-07-12T02:08:18","date_gmt":"2026-07-12T10:08:18","guid":{"rendered":"https:\/\/www.gudusoft.com\/clickhouse-data-lineage\/"},"modified":"2026-07-12T02:08:18","modified_gmt":"2026-07-12T10:08:18","slug":"clickhouse-data-lineage","status":"publish","type":"page","link":"https:\/\/www.gudusoft.com\/pt\/linhagem-de-dados-clickhouse\/","title":{"rendered":"ClickHouse Data Lineage: Rastrear colunas atrav\u00e9s de visualiza\u00e7\u00f5es materializadas"},"content":{"rendered":"

Linhagem de dados ClickHouse<\/strong> \u00c9 o mapa de como as colunas fluem pelo seu pipeline do ClickHouse: quais tabelas do mecanismo Kafka, tabelas MergeTree e SELECTs de visualiza\u00e7\u00f5es materializadas alimentam cada coluna subsequente e quais fun\u00e7\u00f5es e estados agregados transformam os dados ao longo do caminho. Como as visualiza\u00e7\u00f5es materializadas do ClickHouse s\u00e3o definidas inteiramente em SQL, a linhagem precisa vem da an\u00e1lise desse SQL. Gudu SQLFlow<\/a> Isso \u00e9 feito com um analisador de dialeto ClickHouse dedicado, retornando diagramas de linhagem interativos em n\u00edvel de coluna.<\/p>\n\n\n\n

\n\n

Experimente agora:<\/strong> cole o seu CRIAR VISUALIZA\u00c7\u00c3O MATERIALIZADA<\/code> declara\u00e7\u00f5es para o Visualizador SQLFlow gratuito<\/a>Selecione o dialeto ClickHouse e obtenha um diagrama de linhagem em n\u00edvel de coluna da sua cadeia MV em segundos.<\/p>\n\n<\/div><\/div>\n\n\n\n

Por que a linhagem de dados do ClickHouse \u00e9 um problema de vis\u00e3o materializada?<\/h2>\n\n\n\n

Na maioria dos data warehouses, a l\u00f3gica de transforma\u00e7\u00e3o reside em jobs em lote agendados. No ClickHouse, ela reside em visualiza\u00e7\u00f5es materializadas (MVs). Uma MV do ClickHouse \u00e9 um gatilho de inser\u00e7\u00e3o: cada bloco gravado na tabela de origem \u00e9 processado pelo SELECT da MV e inserido em uma tabela de destino. Pipelines de produ\u00e7\u00e3o encadeiam essas visualiza\u00e7\u00f5es \u2014 uma tabela do mecanismo Kafka alimenta uma MV que insere linhas brutas em uma tabela MergeTree; outras MVs leem essa tabela e preenchem os rollups SummingMergeTree ou AggregatingMergeTree; e dashboards consultam esses rollups.<\/p>\n\n\n\n

Esse design \u00e9 r\u00e1pido, mas espalha seu fluxo de dados por muitos pequenos grupos. CRIAR VISUALIZA\u00c7\u00c3O MATERIALIZADA<\/code> declara\u00e7\u00f5es. Quando um n\u00famero no painel parece incorreto ou algu\u00e9m deseja remover uma coluna de um t\u00f3pico do Kafka, \u00e9 necess\u00e1rio reconstruir a cadeia manualmente: consulta tabelas do sistema<\/code>, leia cada MV criar_consulta_de_tabela<\/code>, siga todos PARA<\/code> cl\u00e1usula, e repita at\u00e9 chegar \u00e0s folhas. Cada salto \u00e9 um SELECT com suas pr\u00f3prias express\u00f5es, filtros e GROUP BY \u2014 portanto, rastrear uma \u00fanica coluna corretamente significa de fato analisar o SQL, n\u00e3o procurar por nomes de tabelas.<\/p>\n\n\n\n

O SQLFlow automatiza exatamente essa etapa. Seu analisador ClickHouse \u00e9 um dos 39 analisadores espec\u00edficos de dialeto (n\u00e3o uma gram\u00e1tica ANSI gen\u00e9rica), portanto, constru\u00e7\u00f5es exclusivas do ClickHouse \u2014 cl\u00e1usulas do mecanismo, Fun\u00e7\u00e3o Agregada<\/code> colunas, -Estado<\/code> combinadores, fun\u00e7\u00f5es como a data<\/code> e \u00fanico<\/code> \u2014 s\u00e3o compreendidas em vez de serem ignoradas.<\/p>\n\n\n\n

Exemplo: rastrear uma coluna do Kafka para uma AggregatingMergeTree<\/h2>\n\n\n\n

Aqui est\u00e1 um exemplo t\u00edpico de uma cadeia de ingest\u00e3o ClickHouse de dois saltos: uma tabela do mecanismo Kafka, um MV que persiste eventos brutos em um MergeTree e um segundo MV que mant\u00e9m um rollup pr\u00e9-agregado em uma tabela AggregatingMergeTree.<\/p>\n\n\n\n

CREATE TABLE events_kafka ( event_time DateTime, user_id UInt64, event_type LowCardinality(String), revenue Decimal(18, 2) ) ENGINE = Kafka SETTINGS kafka_broker_list = 'kafka:9092', kafka_topic_list = 'events', kafka_format = 'JSONEachRow'; CREATE TABLE events_raw ( event_time DateTime, user_id UInt64, event_type LowCardinality(String), revenue Decimal(18, 2) ) ENGINE = MergeTree ORDER BY (event_type, event_time); CREATE MATERIALIZED VIEW mv_events_raw TO events_raw AS SELECT event_time, user_id, event_type, revenue FROM events_kafka; CREATE TABLE revenue_daily ( day Date, event_type LowCardinality(String), total_revenue AggregateFunction(sum, Decimal(18, 2)), buyers AggregateFunction(uniq, UInt64) ) ENGINE = AggregatingMergeTree ORDER BY (day, event_type); CREATE MATERIALIZED VIEW mv_revenue_daily TO revenue_daily AS SELECT toDate(event_time) AS day, event_type, sumState(revenue) AS total_revenue, uniqState(user_id) AS buyers FROM events_raw WHERE event_type = 'purchase' GROUP BY day, event_type;<\/code><\/pre>\n\n\n\n
Forne\u00e7a essas quatro instru\u00e7\u00f5es ao SQLFlow e ele resolver\u00e1 toda a cadeia. Para a tabela de consolida\u00e7\u00e3o, ele gera relat\u00f3rios por coluna de sa\u00edda:<\/p>\n\n\n\n