{"id":6752,"date":"2026-07-12T02:06:16","date_gmt":"2026-07-12T10:06:16","guid":{"rendered":"https:\/\/www.gudusoft.com\/redshift-data-lineage\/"},"modified":"2026-07-12T02:06:16","modified_gmt":"2026-07-12T10:06:16","slug":"redshift-data-lineage","status":"publish","type":"page","link":"https:\/\/www.gudusoft.com\/fr\/lignee-de-donnees-redshift\/","title":{"rendered":"Tra\u00e7abilit\u00e9 des donn\u00e9es Redshift\u00a0: Tra\u00e7abilit\u00e9 automatis\u00e9e des colonnes \u00e0 partir des journaux de requ\u00eates"},"content":{"rendered":"

Tra\u00e7abilit\u00e9 des donn\u00e9es Redshift<\/strong> Il s'agit de la cartographie au niveau des colonnes de la fa\u00e7on dont les donn\u00e9es circulent dans votre cluster Amazon Redshift\u00a0: quelles tables et colonnes sources alimentent chaque table, vue et rapport cible, et quelles transformations sont effectu\u00e9es en cours de route. Redshift ne conserve pas une telle cartographie lui-m\u00eame, mais il enregistre chaque instruction SQL ex\u00e9cut\u00e9e, et dans Redshift, chaque transformation est exprim\u00e9e en SQL. En analysant ces journaux, vous pouvez reconstituer automatiquement la lign\u00e9e compl\u00e8te. C'est pr\u00e9cis\u00e9ment ce que Gudu SQLFlow<\/a> Il ing\u00e8re nativement les journaux de requ\u00eates Redshift et transforme le SQL ex\u00e9cut\u00e9 en diagrammes de lignage interactifs au niveau des colonnes.<\/p>\n\n\n\n

\n\n

Essayez en 30 secondes\u00a0:<\/strong> collez n'importe quelle requ\u00eate Redshift dans le Visualiseur de lignage SQLFlow gratuit<\/a>S\u00e9lectionnez le dialecte Redshift pour visualiser imm\u00e9diatement le diagramme de lignage au niveau des colonnes. L'\u00e9dition Cloud propose une version gratuite.<\/p>\n\n<\/div><\/div>\n\n\n\n

Pourquoi Redshift n'a pas de vue de lign\u00e9e int\u00e9gr\u00e9e<\/h2>\n\n\n\n

La console et les vues syst\u00e8me de Redshift sont con\u00e7ues pour l'exploitation du cluster, et non pour la compr\u00e9hension des flux de donn\u00e9es. Vous pouvez examiner les performances des requ\u00eates, le comportement des files d'attente et les statistiques des tables, mais Redshift ne permet pas de relier une colonne de sortie aux colonnes sources qui l'ont produite. M\u00eame le suivi des d\u00e9pendances de catalogue de type PostgreSQL, h\u00e9rit\u00e9 par Redshift, est inop\u00e9rant pour l'une de ses fonctionnalit\u00e9s propres\u00a0: les vues \u00e0 liaison tardive (cr\u00e9\u00e9es SANS LIAISON DE SCH\u00c9MA<\/code>) n'enregistrent d\u00e9lib\u00e9r\u00e9ment aucune d\u00e9pendance \u00e0 l'\u00e9gard de leurs tables sous-jacentes.<\/p>\n\n\n\n

Ce que Redshift conserve, ce sont les donn\u00e9es brutes\u00a0: les tables syst\u00e8me telles que\u2026 STL_QUERYTEXT<\/code> et HISTORIQUE DES REQU\u00caTES SYST\u00c8ME<\/code> Le texte des instructions ex\u00e9cut\u00e9es est stock\u00e9 et la journalisation d'audit peut archiver chaque requ\u00eate sur S3 pour une conservation \u00e0 long terme. L'historique SQL est complet. Ce qui manque, c'est la couche d'analyse qui lit des milliers de ces instructions et r\u00e9pond \u00e0 la question\u00a0: \u00ab\u00a0O\u00f9\u2026\u00a0?\u00a0\u00bb fact_orders.net_revenu<\/code> \u00ab D\u2019o\u00f9 viennent-ils r\u00e9ellement ? \u00bb Cette couche d\u2019analyse est un outil de tra\u00e7abilit\u00e9 SQL.<\/p>\n\n\n\n

Comment obtenir la tra\u00e7abilit\u00e9 des donn\u00e9es Redshift \u00e0 partir des journaux de requ\u00eates\u00a0?<\/h2>\n\n\n\n

L'analyse de la lign\u00e9e bas\u00e9e sur les journaux de requ\u00eates pr\u00e9sente un avantage d\u00e9cisif par rapport \u00e0 l'analyse des seuls r\u00e9f\u00e9rentiels sources\u00a0: elle capture l'historique des op\u00e9rations r\u00e9ellement ex\u00e9cut\u00e9es. ETL planifi\u00e9s, remplissages ad hoc, instructions \u00e9mises par les outils de BI et les orchestrateurs, correctifs ponctuels ex\u00e9cut\u00e9s depuis un client SQL\u00a0: tout cela est consign\u00e9 dans l'historique des requ\u00eates, qu'il soit ou non versionn\u00e9. Le flux de travail avec SQLFlow\u00a0:<\/p>\n\n\n\n

  1. Collecter les requ\u00eates SQL ex\u00e9cut\u00e9es.<\/strong> Extrayez le texte des instructions des tables syst\u00e8me de Redshift ou des journaux d'audit que Redshift \u00e9crit sur S3. L'ingestion des journaux de requ\u00eates Redshift est une entr\u00e9e SQLFlow native, au m\u00eame titre que le SQL coll\u00e9, les fichiers t\u00e9l\u00e9charg\u00e9s et les m\u00e9tadonn\u00e9es en direct via JDBC.<\/li>\n
  2. Analyser avec un analyseur sp\u00e9cifique \u00e0 Redshift.<\/strong> SQLFlow analyse chaque instruction avec un analyseur syntaxique d\u00e9di\u00e9 au dialecte Redshift (l'un des 39 analyseurs sp\u00e9cifiques \u00e0 chaque dialecte, et non une grammaire ANSI g\u00e9n\u00e9rique) et r\u00e9sout chaque r\u00e9f\u00e9rence de colonne via des CTE, des sous-requ\u00eates, des vues, etc. S\u00c9LECTIONNER *<\/code> expansion.<\/li>\n
  3. Fusionnez et explorez.<\/strong> L'historique de chaque d\u00e9claration est fusionn\u00e9 en un seul graphique interactif que vous pouvez explorer, remonter ou descendre \u00e0 partir de n'importe quelle colonne, et exporter aux formats JSON, CSV ou PNG, ou interroger. API REST SQLFlow<\/a>.<\/li><\/ol>\n\n\n\n

    Comme il s'agit d'une analyse statique du texte SQL, SQLFlow ne lit jamais les lignes de vos tables. Il a uniquement besoin du code SQL et, \u00e9ventuellement, des m\u00e9tadonn\u00e9es de sch\u00e9ma pour r\u00e9soudre les r\u00e9f\u00e9rences ambigu\u00ebs.<\/p>\n\n\n\n

    Exemple concret\u00a0: INSERT \u2026 SELECT avec une fonction de fen\u00eatre<\/h2>\n\n\n\n

    Voici le type d'instruction qui remplit un v\u00e9ritable journal de requ\u00eates Redshift\u00a0: une agr\u00e9gation avec une fonction de fen\u00eatre chargeant une table de reporting\u00a0:<\/p>\n\n\n\n

    INSERT INTO analytics.customer_monthly_rank (customer_id, order_month, monthly_revenue, revenue_rank) SELECT o.customer_id, DATE_TRUNC('month', o.order_date) AS order_month, SUM(o.amount) AS monthly_revenue, RANK() OVER ( PARTITION BY DATE_TRUNC('month', o.order_date) ORDER BY SUM(o.amount) DESC ) AS revenue_rank FROM sales.orders o WHERE o.status = 'complete' GROUP BY o.customer_id, DATE_TRUNC('month', o.order_date);<\/code><\/pre>\n\n\n\n
    \u00c0 partir de cette seule instruction, SQLFlow extrait la lign\u00e9e au niveau des colonnes dans deux cat\u00e9gories distinctes\u00a0:<\/p>\n\n\n\n
    \n
    Colonne cible<\/th>Sources directes<\/th>Sources indirectes (d'impact)<\/th><\/tr><\/thead>
    identifiant_client<\/code><\/td>commandes.identifiant_client<\/code><\/td>statut des commandes<\/code> (O\u00d9)<\/td><\/tr>\n
    mois de commande<\/code><\/td>commandes.date_de_commande<\/code> via DATE_TRUNC<\/code><\/td>statut des commandes<\/code><\/td><\/tr>\n
    revenu_mensuel<\/code><\/td>commandes.montant<\/code> via SOMME<\/code><\/td>statut des commandes<\/code>, commandes.identifiant_client<\/code>, commandes.date_de_commande<\/code> (REGROUPER PAR)<\/td><\/tr>\n
    classement des revenus<\/code><\/td>commandes.montant<\/code> via SOMME<\/code> alors RANG() SUR<\/code><\/td>commandes.date_de_commande<\/code> (PARTITION PAR), statut des commandes<\/code><\/td><\/tr>\n<\/tbody><\/table><\/figure>\n\n\n\n
    Notez la deuxi\u00e8me cat\u00e9gorie. statut des commandes<\/code> Cette donn\u00e9e n'appara\u00eet jamais dans le r\u00e9sultat, mais modifier son remplissage modifie chaque nombre de la table cible. SQLFlow mod\u00e9lise ce comportement. lign\u00e9e indirecte<\/strong> Les colonnes agissant via les clauses WHERE, GROUP BY, JOIN et les partitions de fen\u00eatres constituent un type de relation distinct et activable. La plupart des outils de tra\u00e7abilit\u00e9 ne font pas cette distinction, or c'est pr\u00e9cis\u00e9ment la diff\u00e9rence entre \u00ab\u00a0quels rapports lisent cette colonne\u00a0\u00bb et \u00ab\u00a0quels rapports sont affect\u00e9s par cette colonne\u00a0\u00bb.<\/p>\n\n\n\n
    Les constructions sp\u00e9cifiques \u00e0 Redshift restent du SQL.<\/h2>\n\n\n\n
    Vues \u00e0 liaison tardive<\/h3>\n\n\n\n
    Les vues \u00e0 liaison tardive constituent le mod\u00e8le standard de Redshift pour d\u00e9coupler les vues des tables sous-jacentes et sont, par conception, invisibles pour les requ\u00eates de d\u00e9pendance bas\u00e9es sur le catalogue. Pour un analyseur SQL, cependant, une vue \u00e0 liaison tardive est simplement une d\u00e9finition de vue\u00a0: SQLFlow analyse la requ\u00eate SELECT de la vue et relie ses colonnes de sortie \u00e0 leurs sources comme pour toute autre vue, assurant ainsi une tra\u00e7abilit\u00e9 directe. SANS LIAISON DE SCH\u00c9MA<\/code>.<\/p>\n\n\n\n
    DISTKEY, SORTKEY et DISTSTYLE<\/h3>\n\n\n\n
    Les cl\u00e9s de distribution et de tri d\u00e9terminent les performances, et non le flux de donn\u00e9es. Une table d\u00e9clar\u00e9e avec CL\u00c9 DISTRIBUTION(identifiant_client) CL\u00c9 DE TRI(date_commande)<\/code> Elle conserve la m\u00eame lign\u00e9e que n'importe quelle autre table\u00a0; SQLFlow analyse le DDL Redshift, enregistre la table et ses colonnes, et les clauses de r\u00e9glage physique sont transmises sans affecter le graphe. Votre lign\u00e9e reste correcte, qu'une table soit DISTSTYLE TOUT<\/code>, M\u00caME<\/code>, ou CL\u00c9<\/code>.<\/p>\n\n\n\n
    Redshift n'est pas PostgreSQL.<\/h3>\n\n\n\n
    Redshift est d\u00e9riv\u00e9 de PostgreSQL, mais s'en est consid\u00e9rablement \u00e9loign\u00e9 au niveau de sa syntaxe et de son comportement. C'est pourquoi SQLFlow int\u00e8gre un analyseur syntaxique Redshift d\u00e9di\u00e9 plut\u00f4t que de r\u00e9utiliser son analyseur syntaxique existant. Lign\u00e9e de PostgreSQL<\/a> parser \u2014 each of the 39 supported dialects gets its own grammar, validated against a corpus of roughly 13,600 per-dialect SQL test fixtures built up over two decades of commercial parser development.<\/p>\n\n\n\n
    M\u00e9thodes d'int\u00e9gration de SQL Redshift dans SQLFlow<\/h2>\n\n\n\n
    \n
    Saisir<\/th>Ce que cela vous apporte<\/th><\/tr><\/thead>
    Journaux de requ\u00eates Redshift<\/td>Tra\u00e7abilit\u00e9 de chaque d\u00e9claration ex\u00e9cut\u00e9e \u2014 le tableau complet et fiable<\/td><\/tr>\n
    M\u00e9tadonn\u00e9es en direct via JDBC<\/td>D\u00e9finitions DDL et de vues extraites directement du cluster<\/td><\/tr>\n
    Fichiers SQL t\u00e9l\u00e9charg\u00e9s<\/td>Scripts ETL et r\u00e9f\u00e9rentiels analys\u00e9s par lots<\/td><\/tr>\n
    SQL coll\u00e9<\/td>Tra\u00e7abilit\u00e9 instantan\u00e9e d'une seule instruction dans le navigateur<\/td><\/tr>\n
    Manifeste DBT<\/td>Tra\u00e7abilit\u00e9 au niveau des colonnes des mod\u00e8les dbt construits dans Redshift<\/td><\/tr>\n<\/tbody><\/table><\/figure>\n\n\n\n
    \u00c0 l'\u00e9chelle de l'entreprise, SQLFlow effectue des analyses par lots sur des ensembles de plus de 100 bases de donn\u00e9es et plus d'un million de colonnes, ex\u00e9cute des analyses incr\u00e9mentales, maintient un r\u00e9f\u00e9rentiel de lignage persistant et exporte vers DataHub, Microsoft Purview et OpenMetadata \u2014 de sorte que le lignage Redshift puisse alimenter le catalogue que vous utilisez d\u00e9j\u00e0 au lieu de vivre dans un autre silo.<\/p>\n\n\n\n
    Comment cette approche se compare-t-elle aux autres ?<\/h2>\n\n\n\n
    Les analyseurs syntaxiques open source tels que SQL Lineage<\/code> et sqlglot<\/code> Elles sont performantes pour extraire la lign\u00e9e d'instructions individuelles bien form\u00e9es, et peuvent suffire pour quelques requ\u00eates simples. Leur principal d\u00e9faut appara\u00eet cependant sur un journal Redshift en production\u00a0: des milliers d'instructions, une syntaxe sp\u00e9cifique \u00e0 Redshift, des vues imbriqu\u00e9es les unes dans les autres\u2026 S\u00c9LECTIONNER *<\/code> qui n\u00e9cessite des m\u00e9tadonn\u00e9es de sch\u00e9ma pour s'\u00e9tendre et une tra\u00e7abilit\u00e9 indirecte via des filtres et des partitions de fen\u00eatres. Les plateformes privil\u00e9giant le catalogue excellent dans l'organisation et la gestion des m\u00e9tadonn\u00e9es \u00e0 travers de nombreux syst\u00e8mes\u00a0; pour une analyse SQL approfondie, elles requi\u00e8rent g\u00e9n\u00e9ralement un moteur de tra\u00e7abilit\u00e9 sp\u00e9cialis\u00e9 sous-jacent \u2013 c'est pourquoi SQLFlow propose des adaptateurs d'exportation pour DataHub, Purview et OpenMetadata au lieu de les concurrencer.<\/p>\n\n\n\n
    Si vous utilisez Redshift en parall\u00e8le d'autres entrep\u00f4ts de donn\u00e9es, le m\u00eame moteur les g\u00e8re tous de la m\u00eame mani\u00e8re \u2014 voir Tra\u00e7abilit\u00e9 des donn\u00e9es Snowflake<\/a> \u00e0 partir de l'historique des requ\u00eates, qui fonctionne de mani\u00e8re tr\u00e8s similaire \u00e0 l'ingestion bas\u00e9e sur les journaux de Redshift. Et pour les environnements r\u00e9glement\u00e9s, SQLFlow sur site<\/a> S'ex\u00e9cute dans Docker ou Kubernetes au sein de votre r\u00e9seau, votre texte SQL ne quitte donc jamais votre infrastructure.<\/p>\n\n\n\n
    Foire aux questions<\/h2>\n\n\n\n
    Est-ce que SQLFlow lit les donn\u00e9es de mon cluster Redshift\u00a0?<\/h3>\n\n\n
    Non. SQLFlow effectue une analyse statique du code SQL et peut lire les m\u00e9tadonn\u00e9es du sch\u00e9ma (d\u00e9finitions des tables et des colonnes). Il ne lit jamais les lignes des tables. Avec l'\u00e9dition sur site, m\u00eame le texte SQL reste au sein de votre r\u00e9seau.<\/p>\n\n\n\n
    D'o\u00f9 provient le SQL de Redshift\u00a0?<\/h3>\n\n\n
    L'historique des requ\u00eates Redshift, les journaux d'audit archiv\u00e9s sur S3, vos r\u00e9f\u00e9rentiels de scripts ETL ou les d\u00e9finitions DDL et de vues r\u00e9cup\u00e9r\u00e9es en direct via JDBC permettent de consulter les instructions ex\u00e9cut\u00e9es. L'ingestion des journaux de requ\u00eates Redshift \u00e9tant une entr\u00e9e SQLFlow native, la tra\u00e7abilit\u00e9 refl\u00e8te fid\u00e8lement les op\u00e9rations r\u00e9ellement ex\u00e9cut\u00e9es sur le cluster.<\/p>\n\n\n\n
    Les vues \u00e0 liaison tardive posent-elles probl\u00e8me pour la tra\u00e7abilit\u00e9\u00a0?<\/h3>\n\n\n
    Elles rendent impossible le suivi des d\u00e9pendances bas\u00e9 sur un catalogue, car Redshift n'enregistre aucune d\u00e9pendance les concernant, et ce, intentionnellement. Elles ne posent aucun probl\u00e8me pour la tra\u00e7abilit\u00e9 bas\u00e9e sur l'analyse syntaxique\u00a0: SQLFlow analyse directement la d\u00e9finition SQL de la vue et relie ses colonnes \u00e0 leurs sources comme pour n'importe quelle autre vue.<\/p>\n\n\n\n
    SQLFlow indique-t-il quelles colonnes n'influencent les r\u00e9sultats que par le biais des filtres\u00a0?<\/h3>\n\n\n
    Oui. SQLFlow distingue la lign\u00e9e directe (les donn\u00e9es qui alimentent r\u00e9ellement une colonne de sortie) de la lign\u00e9e indirecte (les colonnes agissant via les clauses WHERE, JOIN, GROUP BY et de partitionnement de fen\u00eatre), et vous permet d'activer ou de d\u00e9sactiver chacune ind\u00e9pendamment dans le diagramme.<\/p>\n\n\n\n
    Combien co\u00fbte SQLFlow ?<\/h3>\n\n\n
    SQLFlow Cloud est gratuit au d\u00e9part\u00a0; les comptes premium co\u00fbtent 49,99\u00a0\u00a3\/mois. SQLFlow On-Premise co\u00fbte 500\u00a0\u00a3\/mois ou 4\u00a0800\u00a0\u00a3 (paiement unique) par type de base de donn\u00e9es s\u00e9lectionn\u00e9, installable sur deux serveurs, chaque type de base de donn\u00e9es suppl\u00e9mentaire co\u00fbtant 100\u00a0\u00a3\/mois ou 1\u00a0000\u00a0\u00a3 (paiement unique).<\/p>\n\n\n\n
    \n\n
    D\u00e9couvrez votre lign\u00e9e Redshift d\u00e8s maintenant<\/h2>\n\n\n
    Collez une requ\u00eate Redshift dans le visualiseur gratuit, ou contactez-nous pour analyser l'int\u00e9gralit\u00e9 de votre historique de requ\u00eates.<\/p>\n\n\n
    \n
    Essayez SQLFlow gratuitement<\/a><\/div>\n\n\n
    Demander une d\u00e9monstration pour entreprises<\/a><\/div>\n<\/div>\n\n<\/div><\/div>\n\n\n\n