Linaje de datos de Teradata: Linaje de columnas para migraciones y cumplimiento normativo.

Linaje de datos de Teradata es el mapa a nivel de columna de cómo se mueven los datos a través de un entorno Teradata: qué columnas de origen alimentan cada tabla, vista e informe de destino, y a través de qué uniones, expresiones y CALIFICAR filtros en el camino. Flujo de SQL de Gudu Crea ese mapa automáticamente analizando su SQL de Teradata con un analizador de dialecto específico de Teradata, uno de los 39 analizadores específicos de dialecto que incluye, y lo representa como un diagrama interactivo y explorable con exportación a JSON, CSV y PNG, además de una API REST.

Por qué el linaje de datos de Teradata necesita un analizador de Teradata

Teradata SQL no es ANSI SQL con un logotipo diferente. Un entorno típico que ha estado funcionando desde la era BTEQ lleva décadas de construcciones específicas de dialecto: COLOCAR y MULTISET definiciones de tabla, CALIFICAR Cláusulas que filtran por funciones de ventana, columnas de período con nombre y scripts escritos mucho antes de que alguien pensara que una máquina necesitaría releerlos. Una gramática ANSI genérica falla precisamente con estas afirmaciones, y cada afirmación que una herramienta de linaje no logra analizar es un vacío en su gráfico de linaje.

SQLFlow adopta el enfoque opuesto. Está construido sobre la base de Analizador SQL general, un front-end de compilador SQL comercial desarrollado desde mediados de la década de 2000 y validado contra aproximadamente 13.600 conjuntos de pruebas por dialecto. Su analizador Teradata maneja SQL de la era BTEQ, COLOCAR/MULTISET mesas, CALIFICARy nombró períodos como sintaxis Teradata de primera clase, luego resuelve cada referencia de columna a través de CTEs, subconsultas, vistas y SELECCIONAR * expansión antes de extraer las relaciones de origen a destino con granularidad de columna.

Un ejemplo práctico: rastrear una deduplicación QUALIFY

El CALIFICAR NÚMERO_DE_FILA() La inserción de deduplicación es uno de los patrones más comunes en los almacenes de Teradata y una forma confiable de romper las herramientas de linaje que solo hablan ANSI:

INSERT INTO dw.customer_dim (customer_id, full_name, risk_rating) SELECT src.customer_id, TRIM(src.first_nm) || ' ' || TRIM(src.last_nm) AS full_name, src.risk_rating FROM staging.customer_feed src QUALIFY ROW_NUMBER() OVER ( PARTITION BY src.customer_id ORDER BY src.load_ts DESC) = 1;

Si se ejecuta a través de SQLFlow, el diagrama muestra dos tipos distintos de relación:

• Linaje directo: dw.customer_dim.full_name se deriva de staging.customer_feed.first_nm y últimos nm a través de RECORTAR y concatenación; ID del cliente y calificación_de_riesgo pasan sin sufrir cambios.
• Linaje indirecto (de impacto): cargar_ts nunca aterriza en el destino, pero decide qué fila sobrevive a la deduplicación. SQLFlow lo registra, junto con ID del cliente en su PARTICIÓN POR rol — como una dependencia indirecta, que se puede activar o desactivar por separado en el diagrama.

Esa capa indirecta importa. Si alguien cambia el grano de cargar_tsEl proceso de deduplicación comienza silenciosamente a conservar filas diferentes, y ningún gráfico de linaje puramente directo le avisaría. La mayoría de las herramientas de la competencia no modelan el linaje indirecto en absoluto; SQLFlow lo trata como un tipo de relación distinto.

Caso de uso 1: Linaje regulatorio para bancos en Teradata

Teradata cuenta con una sólida base instalada en el sector bancario, y los bancos son los que tienen mayores obligaciones en cuanto al linaje de datos. La norma BCBS 239 exige que las instituciones demuestren la exactitud e integridad de la agregación de datos de riesgo; en la práctica, esto significa mostrar a los auditores con precisión qué campos de origen se incorporan a cada cifra regulatoria y mediante qué transformaciones. El linaje a nivel de columna constituye esa evidencia; el linaje a nivel de tabla es una aproximación que los auditores rechazan cada vez más.

Las hojas de cálculo de linaje mantenidas manualmente no superan esta prueba al día siguiente de ser escritas. SQLFlow, en cambio, deriva el linaje del propio SQL: basta con indicarle la dirección DDL de Teradata, las definiciones de vista y los scripts de carga, y generará un historial de procedencia a nivel de columna para cada salida regulada, actualizable con cada cambio mediante escaneos incrementales, con un repositorio de linaje persistente como respaldo.

Dos propiedades hacen que esto funcione dentro del entorno de control de un banco. Primero, SQLFlow realiza un análisis estático del código SQL únicamente; nunca lee datos de filas, por lo que no se tocan los registros de los clientes. Segundo, la Edición local Se ejecuta en Docker o Kubernetes completamente dentro de su red, incluso en entornos aislados, por lo que ni siquiera el texto SQL sale de su infraestructura. Las implementaciones empresariales escanean por lotes conjuntos de más de 100 bases de datos y más de un millón de columnas, y los adaptadores de exportación para DataHub, Microsoft Purview y OpenMetadata alimentan el linaje al catálogo que su equipo de gobernanza ya utiliza.

Caso de uso 2: migración desde Teradata con el mapa de dependencias real

La mayoría de los proyectos de linaje de Teradata hoy en día comienzan con una migración: el entorno se traslada a Snowflake, BigQuery o Databricks, y alguien tiene que responder qué depende realmente de qué. Adivinar a partir de los nombres de las tablas y el conocimiento tácito es la forma en que las migraciones exceden sus plazos. El mapa de dependencias debe provenir del SQL:

• Alcance honesto. El linaje a nivel de columna muestra qué columnas alimentan los informes posteriores y cuáles son una carga innecesaria: lógica que nadie utiliza y que se puede desactivar en lugar de migrar.
• Ondas de migración secuencial. El gráfico de linaje expone el orden de dependencia real entre las áreas temáticas, de modo que se mueven las fuentes de datos ascendentes antes que los mercados que las consumen.
• Atrapa las trampas del dialecto. Construcciones como CALIFICAR, COLOCAR La semántica de deduplicación de tablas y los períodos con nombre requieren una traducción precisa. El linaje indica la posición de cada construcción en el flujo de datos y las consecuencias en caso de una traducción incorrecta.
• Verificar después del cambio. Debido a que SQLFlow analiza ambos dialectos, puede generar Linaje de copo de nieve A partir del código SQL reescrito, compárelo con la versión base de Teradata: si los destinos y las columnas de origen son los mismos, o si tiene un error de traducción, es posible que se trate de un error de traducción.

El mismo flujo de trabajo antes y después se aplica a otras retiradas de MPP heredadas; consulte el Linaje de datos de Netezza página para la variante de desmantelamiento y la Linaje de datos de Oracle página si su infraestructura combina fuentes Teradata con Oracle.

Cómo SQLFlow ingiere un entorno Teradata

Puedes alimentar SQLFlow Teradata SQL a cualquier escala con la que estés trabajando:

• Pegue una consulta en el navegador para un seguimiento rápido de una instrucción.
• Subir archivos — Exportaciones DDL, definiciones de vistas, ETL y scripts de carga — para un análisis del tamaño de un proyecto.
• Conéctese a través de JDBC. para extraer metadatos de esquema y definiciones de objetos directamente de Teradata.
• Automatizar Utilice la interfaz de línea de comandos sin interfaz gráfica o la API REST para mantener el linaje actualizado como parte de su canalización de implementación y exporte los resultados como JSON o CSV para cualquier configuración personalizada.

Para obtener una visión completa de lo que hace el motor en los 39 dialectos (linaje directo versus indirecto, inferencia de diagramas ER a partir de DDL, compatibilidad con dbt, la consulta de linaje de IA), consulte la Herramienta de linaje de datos SQL página principal.

¿Qué hay de las herramientas de código abierto y de catálogo?

Analizadores sintácticos de código abierto como sqllineage y sqlglot son realmente útiles para extraer el linaje de declaraciones individuales, en su mayoría ANSI, y las plataformas basadas en catálogos son buenas para organizar metadatos y propiedad en toda una organización. La brecha para Teradata específicamente es la profundidad de la cobertura de dialectos: escrituras de la era BTEQ de décadas de antigüedad, CALIFICARLa lógica de deduplicación compleja y el DDL específico del proveedor son precisamente los puntos donde las gramáticas genéricas dejan de analizar. Si está evaluando herramientas para un entorno Teradata, la prueba es sencilla: ejecute su script de carga de producción más complejo en cada candidato y cuente las sentencias que devuelven un linaje completo a nivel de columna.

Opciones de implementación y precios

Edición	Lo mejor para	Precios
Nube SQLFlow	Probando Teradata Lineage hoy; análisis individual	Nivel gratuito; premium $49,99/mes
SQLFlow local	Bancos y entidades reguladas: SQL nunca sale de su red; compatible con aislamiento de red.	$500/mes o $4,800 pago único por tipo de base de datos, instalable en dos servidores
API REST / CLI / Biblioteca Java	Integración del linaje en las plataformas y los flujos de trabajo.	Consulte la página de precios.

Los tipos de bases de datos adicionales en On-Premise son +$100/mes o +$1,000 una sola vez cada uno, lo cual importa a mitad de la migración cuando necesita analizar Teradata y Snowflake uno al lado del otro. Detalles completos en el página de precios.

Preguntas frecuentes

¿SQLFlow entiende la sintaxis específica de Teradata, como QUALIFY y las tablas SET/MULTISET?

Sí. SQLFlow utiliza un analizador de dialecto Teradata dedicado, no una gramática ANSI genérica. SQL de la era BTEQ, COLOCAR/MULTISET definiciones de tabla, CALIFICAR Las cláusulas y los períodos con nombre se pueden analizar como SQL de Teradata, por lo que la extracción de linaje cubre las sentencias que un analizador genérico rechaza.

¿Puede SQLFlow ayudar con una migración de Teradata a Snowflake o BigQuery?

Sí. Primero, analiza el entorno de Teradata para obtener el mapa de dependencias real a nivel de columna: qué migrar, qué eliminar y en qué orden. Dado que Snowflake y BigQuery también se encuentran entre los 39 dialectos de SQLFlow, puedes analizar el SQL reescrito después de la migración y comparar su origen con la línea base de Teradata para verificar la traducción.

¿SQLFlow lee datos de nuestras tablas de Teradata?

No. SQLFlow realiza un análisis estático del código SQL y, opcionalmente, lee los metadatos del esquema, como las definiciones de tablas y columnas. Nunca consulta los datos de las filas. Con la instalación local, incluso el texto SQL permanece dentro de su red.

¿Puede el linaje funcionar completamente dentro de nuestra red para cumplir con las normas?

Sí. SQLFlow On-Premise se implementa en Docker o Kubernetes dentro de su infraestructura, incluso en entornos aislados, a un precio de $500/mes o $4,800 por única vez por tipo de base de datos. Es escalable a entornos de más de 100 bases de datos y más de un millón de columnas, con escaneos incrementales y adaptadores de exportación para DataHub, Microsoft Purview y OpenMetadata.

¿Qué entradas de Teradata acepta SQLFlow?

Se han copiado y pegado consultas SQL, se han cargado archivos (DDL, vistas, scripts de carga) y se han obtenido metadatos de esquema en tiempo real a través de JDBC. Los resultados están disponibles como diagramas interactivos, JSON, CSV, PNG o mediante la API REST.

¿Es suficiente el linaje a nivel de columna para BCBS 239?

El linaje a nivel de columna constituye la capa de evidencia técnica: documenta qué campos de origen alimentan cada cifra de riesgo y a través de qué transformaciones, incluidas las dependencias indirectas derivadas de filtros y condiciones de unión. Su programa de cumplimiento define el alcance completo; SQLFlow mantiene la capa de linaje precisa y la actualiza automáticamente en lugar de requerir mantenimiento manual.