{"id":6765,"date":"2026-07-12T02:08:18","date_gmt":"2026-07-12T10:08:18","guid":{"rendered":"https:\/\/www.gudusoft.com\/clickhouse-data-lineage\/"},"modified":"2026-07-12T02:08:18","modified_gmt":"2026-07-12T10:08:18","slug":"clickhouse-data-lineage","status":"publish","type":"page","link":"https:\/\/www.gudusoft.com\/fr\/clickhouse-data-lineage\/","title":{"rendered":"ClickHouse Data Lineage\u00a0: Suivi des colonnes \u00e0 travers les vues mat\u00e9rialis\u00e9es"},"content":{"rendered":"

Tra\u00e7abilit\u00e9 des donn\u00e9es ClickHouse<\/strong> Il s'agit de la cartographie du flux des colonnes dans votre pipeline ClickHouse\u00a0: quelles tables du moteur Kafka, quelles tables MergeTree et quelles requ\u00eates SELECT de vues mat\u00e9rialis\u00e9es alimentent chaque colonne en aval, et quelles fonctions et \u00e9tats agr\u00e9g\u00e9s transforment les donn\u00e9es tout au long du processus. Les vues mat\u00e9rialis\u00e9es ClickHouse \u00e9tant enti\u00e8rement d\u00e9finies en SQL, la tra\u00e7abilit\u00e9 pr\u00e9cise des donn\u00e9es est obtenue par l'analyse de ce code SQL. Gudu SQLFlow<\/a> Il utilise pour cela un analyseur syntaxique ClickHouse d\u00e9di\u00e9 et renvoie des diagrammes de lignage interactifs au niveau des colonnes.<\/p>\n\n\n\n

\n\n

Essayez-le maintenant\u00a0:<\/strong> collez votre CR\u00c9ER UNE VUE MAT\u00c9RIALIS\u00c9E<\/code> d\u00e9clarations dans le Visualiseur SQLFlow gratuit<\/a>S\u00e9lectionnez le dialecte ClickHouse et obtenez en quelques secondes un diagramme de lignage au niveau des colonnes de votre cha\u00eene MV.<\/p>\n\n<\/div><\/div>\n\n\n\n

Pourquoi la tra\u00e7abilit\u00e9 des donn\u00e9es de ClickHouse est un probl\u00e8me de vue mat\u00e9rialis\u00e9e<\/h2>\n\n\n\n

Dans la plupart des entrep\u00f4ts de donn\u00e9es, la logique de transformation est g\u00e9r\u00e9e par des traitements par lots planifi\u00e9s. Dans ClickHouse, elle est g\u00e9r\u00e9e par des vues mat\u00e9rialis\u00e9es. Une vue mat\u00e9rialis\u00e9e ClickHouse est un d\u00e9clencheur d'insertion\u00a0: chaque bloc \u00e9crit dans la table source est trait\u00e9 par la requ\u00eate SELECT de la vue mat\u00e9rialis\u00e9e et ins\u00e9r\u00e9 dans une table cible. Les pipelines de production les encha\u00eenent\u00a0: une table du moteur Kafka alimente une vue mat\u00e9rialis\u00e9e qui stocke les lignes brutes dans une table MergeTree\u00a0; d'autres vues mat\u00e9rialis\u00e9es lisent cette table et alimentent les cumuls SummingMergeTree ou AggregatingMergeTree\u00a0; enfin, les tableaux de bord interrogent ces cumuls.<\/p>\n\n\n\n

Cette conception est rapide, mais elle disperse votre flux de donn\u00e9es sur de nombreux petits processus. CR\u00c9ER UNE VUE MAT\u00c9RIALIS\u00c9E<\/code> relev\u00e9s. Lorsqu'une donn\u00e9e du tableau de bord semble incorrecte ou qu'une personne souhaite supprimer une colonne d'un sujet Kafka, il faut reconstruire la cha\u00eene manuellement\u00a0: requ\u00eate syst\u00e8me.tables<\/code>, lisez chaque clip vid\u00e9o cr\u00e9er_requ\u00eate_table<\/code>, suivez chaque \u00c0<\/code> R\u00e9p\u00e9tez l'op\u00e9ration jusqu'\u00e0 atteindre les feuilles. Chaque it\u00e9ration correspond \u00e0 une requ\u00eate SELECT avec ses propres expressions, filtres et GROUP BY\u00a0; ainsi, pour analyser correctement une seule colonne, il faut analyser le code SQL, et non rechercher des noms de tables.<\/p>\n\n\n\n

SQLFlow automatise pr\u00e9cis\u00e9ment cette \u00e9tape. Son analyseur ClickHouse est l'un des 39 analyseurs sp\u00e9cifiques \u00e0 un dialecte (et non une grammaire ANSI g\u00e9n\u00e9rique), donc les constructions propres \u00e0 ClickHouse \u2014 les clauses du moteur, Fonction d'agr\u00e9gation<\/code> colonnes, -\u00c9tat<\/code> combinateurs, fonctions comme \u00e0 ce jour<\/code> et unique<\/code> \u2014 sont comprises plut\u00f4t qu'ignor\u00e9es.<\/p>\n\n\n\n

Exemple\u00a0: suivi d\u2019une colonne de Kafka vers un AggregatingMergeTree<\/h2>\n\n\n\n

Voici une cha\u00eene d'ingestion ClickHouse typique \u00e0 deux sauts\u00a0: une table du moteur Kafka, une MV qui stocke les \u00e9v\u00e9nements bruts dans MergeTree et une seconde MV qui conserve un cumul pr\u00e9-agr\u00e9g\u00e9 dans une table AggregatingMergeTree.<\/p>\n\n\n\n

CREATE TABLE events_kafka ( event_time DateTime, user_id UInt64, event_type LowCardinality(String), revenue Decimal(18, 2) ) ENGINE = Kafka SETTINGS kafka_broker_list = 'kafka:9092', kafka_topic_list = 'events', kafka_format = 'JSONEachRow'; CREATE TABLE events_raw ( event_time DateTime, user_id UInt64, event_type LowCardinality(String), revenue Decimal(18, 2) ) ENGINE = MergeTree ORDER BY (event_type, event_time); CREATE MATERIALIZED VIEW mv_events_raw TO events_raw AS SELECT event_time, user_id, event_type, revenue FROM events_kafka; CREATE TABLE revenue_daily ( day Date, event_type LowCardinality(String), total_revenue AggregateFunction(sum, Decimal(18, 2)), buyers AggregateFunction(uniq, UInt64) ) ENGINE = AggregatingMergeTree ORDER BY (day, event_type); CREATE MATERIALIZED VIEW mv_revenue_daily TO revenue_daily AS SELECT toDate(event_time) AS day, event_type, sumState(revenue) AS total_revenue, uniqState(user_id) AS buyers FROM events_raw WHERE event_type = 'purchase' GROUP BY day, event_type;<\/code><\/pre>\n\n\n\n
Injectez ces quatre instructions dans SQLFlow, qui r\u00e9sout la cha\u00eene compl\u00e8te. Pour le tableau r\u00e9capitulatif, il affiche, par colonne de sortie\u00a0:<\/p>\n\n\n\n