Plataforma de linaje de datos SQL (SDLP)

SDLP (Plataforma de linaje de datos SQL) es el sistema de registro de linaje empresarial de Gudu Software. Calcula linaje de datos a nivel de columna para todo un entorno SQL mediante el análisis del código real del entorno (procedimientos almacenados, vistas, funciones, disparadores, trabajos) y almacena cada borde de linaje derivado como un elemento auditable. hecho en un repositorio controlado, junto con un registro completo de todo lo que pudiera contener. no Resolución. El resultado es un linaje que puede defender ante un regulador: los hechos más los rechazos siempre representan 100% del patrimonio, nada se descarta silenciosamente y nada se fabrica.

100%del patrimonio contabilizado: hechos más rechazos
Más de 450.000datos a nivel de columna de un escaneo de 122 bases de datos
Calificación de auditoríaevidencia verificada mediante hash, validador independiente
Separado de aireInstalación local, sin dependencia de la nube.

¿Quieres verlo antes de instalar nada? Explore un repositorio SDLP en vivo directamente en su navegador: el catálogo de linaje, la evidencia SQL verificada mediante hash, las puntuaciones de calidad de los lotes y el registro de rechazos, sin necesidad de descargar nada ni registrarse.

¿Qué lugar ocupa SDLP dentro de la familia SQLFlow? Está construido sobre el mismo núcleo de analizador SQL general que Flujo de SQL de Gudupero resuelve un problema diferente. SQLFlow muestra el linaje del SQL que se le proporciona; SDLP mantiene el registro de linaje certificado de todo el contenido del sistema. La comparación que se muestra a continuación aclara la distinción.

SQLFlow o SDLP: ¿cuál necesitas?

Flujo de SQL de Gudu es un linaje interactivo Motor de análisis y visualización. Le proporcionas SQL (pegado, cargado, extraído de una base de datos, un proyecto dbt o historial de consultas, en cualquiera de los 39 dialectos) y genera un diagrama de linaje interactivo a nivel de columna en segundos. Es la herramienta adecuada para ingenieros y analistas de datos que necesitan comprender, depurar y documentar flujos de datos, y se distribuye como Nube SQLFlow, SQLFlow local, una API REST y una biblioteca Java.

SDLP es un linaje empresarial plataforma — un sistema de registro. No analiza un script a la vez: exporta toda la base de datos (metadatos más el código fuente SQL de cada módulo), la escanea como un lote rastreado y fusiona los resultados en un repositorio canónico de hechos de linaje con evidencia, puntuaciones de calidad, gobernanza, control de acceso y un registro de auditoría a prueba de manipulaciones. Es la herramienta adecuada para los equipos de gobernanza de datos en bancos, aseguradoras y otras empresas reguladas que deben probar de dónde proceden los datos: de forma continua, a escala de toda la propiedad, teniendo en cuenta las deficiencias.

Flujo de SQL de GuduSDLP
Qué esMotor interactivo de análisis y visualización de linajesSistema de registro de linaje empresarial con gobernanza
Tú lo dasScripts SQL, conexión a la base de datos, artefactos dbt, historial de consultasTodo un conjunto de bases de datos SQL, exportado como un paquete de metadatos y código fuente.
Tú obtienesDiagrama de linaje interactivo a nivel de columna, exportable como JSON/CSV/PNG.Un repositorio controlado de datos de linaje auditables, un registro de rechazos, lotes de escaneo con puntuación de calidad y exportaciones listas para cumplir con los requisitos regulatorios.
SQL sin resolverDiagrama de lo analizado, realizado con el mejor esfuerzo posible.Registrado en un libro de rechazos con código de motivo y evidencia: hechos + rechazos = 100% del patrimonio.
Cobertura de dialectos39 dialectos SQLActualmente, se ofrecen soluciones integrales para entornos de Microsoft SQL Server; se prevé la incorporación de otros tipos de entornos, impulsados por la misma familia de analizadores.
Usuario típicoIngenieros de datos, analistas, arquitectosEquipos de gobernanza de datos, operadores de escaneo, administradores, auditores
GobernanciaClasificación de PII, análisis de impacto de flujo sensible, líneas base, acceso basado en roles, registro de auditoría encadenado con hash
Lo mejor paraComprender y documentar los flujos de datos durante el desarrollo.Linaje regulatorio (estilo BCBS 239), catálogos empresariales, evidencia de auditoría

Ambos productos son complementarios: los equipos suelen usar SQLFlow durante el desarrollo para comprender y corregir los flujos de datos, y SDLP en producción para mantener el registro de linaje certificado con el que la organización informa.

Linaje honesto: rechaza, no adivines

La mayoría de las herramientas de linaje fallan en las auditorías en espacios silenciosos: lo que sea que la herramienta no haya entendido simplemente no está ahí, y nadie puede decir cuánto falta. La doctrina fundacional del SDLP es diferente. Rechaza, no adivines y ten en cuenta 100%.Cada instrucción o referencia que el escáner no puede resolver correctamente se convierte en una fila del registro de rechazos con un código de motivo legible por máquina, un nivel de gravedad y la evidencia SQL original. La ambigüedad nunca se fuerza a parecer plausible, y las referencias externas se clasifican como tales en lugar de adivinarse. «Hechos más rechazos es igual a todo el conjunto de datos» es una ecuación verificable, no un eslogan.

La misma honestidad recorre el modelo de datos. Cada hecho de linaje conlleva una role que afirma cómo La columna de origen afecta al destino: los roles que contienen valores (DIRECTO, TRANSFORMAR, AGREGAR, DERIVADO) significan que los datos de origen llegan realmente al destino; los roles que solo influyen (FILTRO, UNIÓN, CONDICIÓN) significan que la columna de origen da forma al resultado sin que su valor llegue jamás. Esa distinción es la diferencia entre “este informe” contiene Información personal identificable del cliente” y “este informe fue simplemente filtrado por una columna de información de identificación personal (PII): justo lo que necesita un responsable de privacidad o un regulador, y SDLP nunca exagera lo primero cuando solo lo segundo es cierto.

Cómo funciona

  1. Exportar. Un único exportador autónomo se conecta al servidor de origen con un inicio de sesión de solo lectura y transmite todo el conjunto (metadatos del catálogo y el texto SQL de cada módulo) a un paquete fragmentado. Lee solo metadatos, nunca datos de tabla, y se ejecuta dentro de su zona de red; el paquete es lo único que sale de ella.
  2. Escanear. El escáner analiza cada módulo con el analizador SQL general, normaliza los resultados y los integra en el repositorio canónico como un lote rastreado y reanudable. Un escaneo interrumpido se reanuda desde su punto de control en lugar de comenzar de nuevo.
  3. Validar. Un validador independiente —una implementación deliberadamente separada— recalcula el hash de identidad de cada fila almacenada y ejecuta un catálogo de reglas que se condensa en una puntuación de calidad de 0 a 100 por lote: un número para evaluar cada escaneo.
  4. Consumir. Un catálogo web ofrece funciones de búsqueda, gráficos de linaje interactivos y flujos de trabajo de gobernanza; el Centro de Exportación entrega archivos CSV, JSONL o Parquet a los sistemas posteriores, incluido un archivo CSV de linaje compatible con Microsoft Purview.

Cada paso funciona desde la línea de comandos, desde el navegador o de forma mixta: las tres rutas leen y escriben en el mismo repositorio bajo el mismo contrato de identidad, por lo que elegir una interfaz nunca bifurca los datos. Los equipos de operaciones de escaneo suelen ejecutar escaneos programados mediante la interfaz de línea de comandos, los analistas y administradores trabajan directamente en la interfaz web, y las fuentes de datos posteriores se ejecutan contra la API de exportación.

Pruebas que puede entregar a un auditor

Cada dato del repositorio se rastrea hasta su origen mediante una cadena a prueba de manipulaciones: dato → ocurrencia → un localizador preciso en bytes dentro del paquete de código fuente exportado, verificado nuevamente con un hash de contenido SHA-256 en cada lectura. El texto SQL no se duplica en el repositorio; el paquete es el único sistema de registro, por lo que se detecta cualquier modificación o desviación del código fuente en lugar de que pase desapercibida. En el catálogo web, "Ver evidencia SQL" abre el segmento exacto de la instrucción, resaltado en el código fuente del módulo original y verificado mediante hash en tiempo real.

  • Registro de auditoría encadenado mediante hash: Cada clasificación, exportación y recálculo se registra en un archivo de registro de eventos de solo escritura con una cadena hash, por lo que cualquier manipulación del rastro en sí es detectable.
  • Verificación independiente: Los auditores pueden ejecutar el validador independiente contra el repositorio sin confiar en el escáner que lo escribió, lo que incluye recalcular la identidad de cada fila.
  • Líneas de base: Congelar el linaje “tal como fue aceptado en la fecha X” y certificarlo. Un regulador pregunta sobre el linaje detrás del informe del cuarto trimestre, no sobre lo que arrojó el escaneo de anoche; los parámetros de referencia convierten eso en un elemento de primera clase.
  • Contabilidad 100% en exhibición: El registro de rechazos es una exportación como cualquier otra: la lista completa de lo que no se resolvió y por qué forma parte del entregable, no es un secreto.

Gobernanza integrada

Los administradores de datos clasifican los puntos finales (tablas, vistas, columnas) con clases de sensibilidad como PII. El motor de propagación calcula entonces hacia dónde fluyen los datos clasificados y, lo que es crucial, cómo: cada hallazgo conlleva un tipo de impacto honesto (CONTIENE_DATOS, FILTADO_POR, UNIDO_CON, INFLUENCIADO POR) derivado de los roles de linaje a lo largo del camino, con atribución de propietario y administrador para que un hallazgo llegue al escritorio de una persona. Cada acción del administrador se atribuye y se audita.

El control de acceso tiene dos ejes independientes: siete roles definen las acciones que un usuario puede realizar (leer el catálogo, administrar clasificaciones, realizar escaneos, gestionar fuentes), y las membresías de los espacios de trabajo definen dónde. Los espacios de trabajo constituyen límites de aislamiento estrictos: los datos, las exportaciones, los registros de gobernanza y los eventos de auditoría nunca se filtran entre ellos. Los entornos de producción cuentan con una puerta de enlace adicional en el servidor que separa quién puede escanear la producción de quién puede escanear cualquier otro entorno. La identidad puede ser gestionada por su proveedor de identidad (IdP) mediante OIDC.

Despliegue y escalabilidad

SDLP se implementa localmente, tanto en Linux como en Windows, y su único requisito de software es Java. El repositorio de linaje cuenta con dos backends compatibles, seleccionados mediante un bloque de configuración: una base de datos SQL Server para implementaciones de producción compartidas o un almacenamiento integrado sin instalación (un directorio local, sin servidor de base de datos ni contraseñas) que realiza un primer escaneo desde la descarga hasta el linaje en aproximadamente 15 minutos. Todo funciona de forma totalmente aislada: sin dependencia de la nube, sin conexión saliente, y el inicio de sesión del lado de origen nunca necesita acceso de lectura a los datos de la tabla.

La plataforma está diseñada para gestionar grandes conjuntos de datos: un escaneo completo de un conjunto de 122 bases de datos (aproximadamente 29 000 unidades de análisis que generan unos 450 000 datos de linaje a nivel de columna) se completa en menos de dos horas en un servidor de 4 núcleos ubicado en el mismo servidor. Los escaneos posteriores se integran en el mismo repositorio canónico, por lo que los datos observados nuevamente permanecen como datos individuales con su historial intacto. Las exportaciones incrementales de delta permiten determinar qué ha cambiado desde el último escaneo sin necesidad de comparar archivos manualmente.

Alimentando Microsoft Purview y otros sistemas derivados.

El Centro de Exportación ofrece ocho tipos de exportación a través del repositorio: linaje a nivel de campo con evidencia, lógica de transformación, impacto del procedimiento, puntos ciegos de cobertura, deltas incrementales, rechazos, calidad del lote y un Archivo CSV de linaje listo para Purview — cada uno en formato CSV, JSONL o Parquet. La exportación de Purview está versionada por contrato y diseñada para su ingesta: una fila por hecho activo, nombres calificados con puntos más partes de nombre separadas, el rol de linaje, una expresión de transformación de una sola línea garantizada y un GUID de hecho estable para realizar actualizaciones idempotentes contra la API de Purview Atlas. Las exportaciones grandes se ejecutan como trabajos asíncronos que se conservan incluso después de cerrar el navegador.

Linaje que puedes defender en una auditoría.

Analice toda una infraestructura de SQL Server y conviértala en datos auditables y verificados mediante hash con la metodología de contabilidad 100%. El primer análisis se ejecuta en aproximadamente 15 minutos y no requiere servidor de base de datos.

Preguntas frecuentes

¿En qué se diferencia SDLP de Gudu SQLFlow?

SQLFlow es una herramienta de análisis interactiva: se le proporciona código SQL y genera el diagrama de linaje a nivel de columna, en cualquiera de los 39 dialectos disponibles. SDLP es una plataforma empresarial basada en el mismo analizador: escanea bases de datos completas de forma programada, almacena cada arista de linaje como un hecho auditable en un repositorio controlado, registra todo lo que no pudo resolver en un registro de rechazos y añade clasificación, análisis de flujo sensible, acceso basado en roles, líneas base y un registro de auditoría encadenado mediante hash. Utilice SQLFlow para comprender los flujos de datos; utilice SDLP para mantener el registro de linaje que su organización certifica.

¿Qué bases de datos admite SDLP?

SDLP ofrece soporte integral para entornos de Microsoft SQL Server: exportador, escáner y repositorio. Se prevé la incorporación de otros tipos de entornos, que heredarán la compatibilidad con dialectos de la misma familia de analizadores SQL generales que impulsa los 39 dialectos de SQLFlow. También puede escanear directorios de archivos SQL directamente.

¿SDLP lee mis datos?

No. SDLP funciona mediante análisis estático del código SQL. El exportador lee los metadatos del catálogo y el texto fuente del módulo con un inicio de sesión de solo lectura que no necesita acceso a las filas de la tabla, y el escáner trabaja completamente a partir de ese paquete exportado. No existe ninguna ruta de código que lea los datos de negocio.

¿Puede SDLP ejecutarse en un entorno aislado de la red?

Sí. SDLP es un software local sin dependencia de la nube ni conexiones salientes. Gracias a su repositorio integrado, solo necesita Java y un directorio local, lo que lo hace práctico en servidores intermedios y máquinas de escaneo aisladas.

¿Qué hace que el linaje de SDLP sea de calidad auditable?

Tres propiedades que trabajan en conjunto: contabilidad 100% (los hechos, junto con un registro de rechazos justificados, abarcan todo el patrimonio), una cadena de evidencia a prueba de manipulaciones (cada hecho se resuelve en un segmento verificado mediante hash de la consulta SQL original) y verificación independiente (una herramienta de validación independiente recalcula la identidad de cada fila almacenada sin confiar en el escáner). Un auditor puede acceder, en tiempo real, a la consulta SQL exacta que generó cualquier número en un informe.

Consulte SDLP en su propio patrimonio.

Un paquete de evaluación listo para usar con una configuración inicial rápida de 15 minutos; no se requiere un servidor de base de datos para el primer análisis.