{"id":5196,"date":"2022-07-22T08:06:19","date_gmt":"2022-07-22T16:06:19","guid":{"rendered":"https:\/\/www.gudusoft.com\/?p=5196"},"modified":"2022-07-22T08:08:29","modified_gmt":"2022-07-22T16:08:29","slug":"why-data-lineage-matters-why-its-so-challenging","status":"publish","type":"post","link":"https:\/\/www.gudusoft.com\/es\/por-que-es-importante-el-linaje-de-datos-y-por-que-es-tan-desafiante\/","title":{"rendered":"\u00bfPor qu\u00e9 es importante el linaje de datos y por qu\u00e9 supone un gran desaf\u00edo?"},"content":{"rendered":"

\u00bfPor qu\u00e9 es importante el linaje de datos y por qu\u00e9 supone un gran desaf\u00edo?<\/h2>\n

El cambio conlleva riesgos. Este es uno de los principios fundamentales del desarrollo de software que la mayor\u00eda aprendemos al principio de nuestras carreras. Sin embargo, a pesar de estas repetidas lecciones de vida, parece que siempre persiste. Nuestra incapacidad para prever el impacto del cambio, incluso uno peque\u00f1o, suele conducir a resultados negativos. Este problema se agrava a medida que aumenta la complejidad de los sistemas de TI interconectados. Es cada vez m\u00e1s dif\u00edcil predecir c\u00f3mo afectar\u00e1n incluso peque\u00f1as modificaciones a los sistemas anteriores o posteriores del cambio. Linaje de datos<\/strong><\/a> logra esto, pero hacerlo bien es extremadamente dif\u00edcil.<\/p>\n

\"Por

Por qu\u00e9 es importante el linaje de datos<\/p><\/div>\n

\u00bfPor qu\u00e9 es importante el linaje de datos?<\/h3>\n

Antiguamente, los datos resid\u00edan en silos con relativamente pocos puntos de conexi\u00f3n entre ellos. Pero hoy en d\u00eda, los datos fluyen en m\u00faltiples direcciones entre m\u00faltiples sistemas. Muchos de estos sistemas comparten datos con organizaciones externas, lo que significa que la informaci\u00f3n tambi\u00e9n fluye a los sistemas internos. Como resultado, es m\u00e1s f\u00e1cil que nunca ignorar la influencia de un solo cambio en varios sistemas.<\/p>\n

Por ejemplo, supongamos que su empresa ofrece una aplicaci\u00f3n m\u00f3vil que permite a los clientes solicitar nuevas llamadas de servicio de forma r\u00e1pida y sencilla. Anteriormente, sus clientes pod\u00edan especificar las variantes de producto que ten\u00edan. Su equipo de dise\u00f1o ha determinado que, dado que ya cuenta con esa informaci\u00f3n en su base de datos de CRM, ya no necesita recopilarla de los usuarios de su aplicaci\u00f3n m\u00f3vil.<\/p>\n

Su tarea era simplificar la aplicaci\u00f3n, as\u00ed que elimin\u00f3 ese campo de entrada y lo reemplaz\u00f3 con una consulta para extraer informaci\u00f3n del producto del cliente de su CRM. En teor\u00eda, la orden de trabajo generada deber\u00eda incluir toda la informaci\u00f3n que su personal de servicio de campo necesita para realizar el trabajo.<\/p>\n

Desafortunadamente, hay un problema: algunos registros de productos de clientes en su sistema CRM contienen valores nulos. Su aplicaci\u00f3n m\u00f3vil buscaba esta informaci\u00f3n, pero arroj\u00f3 resultados no v\u00e1lidos a su sistema de tickets. Su personal de servicio de campo ya no sabe c\u00f3mo prepararse para la siguiente llamada de servicio.<\/p>\n

Esto suena como algo relativamente simple. calidad de los datos<\/a><\/strong> Problema que podr\u00eda haberse previsto si se hubiera revisado m\u00e1s a fondo los datos de CRM. Sin embargo, si los valores nulos en la base de datos de CRM no se introdujeron hasta m\u00e1s tarde, ni siquiera eso podr\u00eda resolver el problema. Por ejemplo, si incorpora datos de clientes de una empresa reci\u00e9n adquirida a su sistema de CRM, es posible que no tenga informaci\u00f3n de producto asociada a esos nuevos registros.<\/p>\n

A veces, estos problemas son m\u00e1s dif\u00edciles de predecir y pueden no ser evidentes de inmediato. Imagine lo que sucede cuando su equipo de marketing decide redefinir sus criterios de segmentaci\u00f3n de clientes. Se a\u00f1ade un nuevo campo de datos para especificar la categor\u00eda del cliente, que luego completa todos los valores del cliente, y el campo anterior no se recomienda.<\/p>\n

Sin embargo, sin que el departamento de marketing lo supiera, los altos ejecutivos de la empresa segu\u00edan consultando datos antiguos. Los paneles que utilizan dependen de datos en campos obsoletos. Cada d\u00eda se a\u00f1aden nuevos clientes, pero nadie introduce ning\u00fan valor en el campo obsoleto. Como consecuencia, los equipos ejecutivos est\u00e1n analizando datos sesgados. De repente, la alta direcci\u00f3n est\u00e1 monitorizando KPI muy diferentes a los del resto de la organizaci\u00f3n. Peor a\u00fan, nadie se percat\u00f3 del problema hasta semanas o meses despu\u00e9s.<\/p>\n

A continuaci\u00f3n, imagine un escenario similar, pero en lugar de alimentar un panel ejecutivo, el sistema de origen alimenta con datos un algoritmo de IA que impulsa las recomendaciones de los clientes en su sitio web de comercio electr\u00f3nico. Cuando una IA se entrena con datos err\u00f3neos, o si estos cambian significativamente, la eficacia de la tecnolog\u00eda puede verse gravemente afectada. En este caso, se distorsiona el motor de recomendaciones de los clientes.<\/p>\n

Abordar los desaf\u00edos del linaje de datos<\/h3>\n

Herramientas de linaje de datos<\/a><\/strong> Proporcionar un enfoque sistem\u00e1tico para comprender el impacto de los cambios proporcionando una hoja de ruta completa de los posibles impactos ascendentes y descendentes.<\/p>\n

Esto equivale a la reducci\u00f3n de riesgos y al control de costes. Si podemos predecir c\u00f3mo los cambios podr\u00edan afectar a otros sistemas, podemos evitar los problemas descritos anteriormente. Esto se traduce en menos esfuerzo desperdiciado, una comercializaci\u00f3n m\u00e1s r\u00e1pida y menores costes. Todos conocemos el principio de que cuando los problemas se identifican en las primeras etapas del proceso de desarrollo, se resuelven con mayor rapidez y menor coste. El linaje de datos proporciona un eslab\u00f3n perdido crucial, y los problemas pueden identificarse incluso antes de que lleguen al control de calidad.<\/p>\n

Tambi\u00e9n hay beneficios para gobernanza de datos<\/a><\/strong> y cumplimiento normativo. Cuando la Uni\u00f3n Europea aprob\u00f3 el Reglamento General de Protecci\u00f3n de Datos (RGPD) en 2016, impuso una serie de nuevos requisitos para los sistemas que contienen informaci\u00f3n personal identificable (PII). Si un cliente le solicita que elimine sus datos, est\u00e1 legalmente obligado a cumplir con esa solicitud. Pero \u00bfqu\u00e9 sucede antes y despu\u00e9s de este cambio? \u00bfInfringir\u00e1 alg\u00fan derecho? \u00bfO parte de la PII del cliente permanecer\u00e1 en otra parte de su sistema, impidi\u00e9ndole cumplir con la ley?<\/p>\n

El linaje de datos aborda estos problemas automatizando el proceso de detecci\u00f3n de impactos previos y posteriores. Proporciona una auditor\u00eda clara que ayuda a determinar el origen de los cambios y c\u00f3mo los datos alcanzaron su estado actual.<\/p>\n

Column-level data lineage is particularly difficult because it needs parsing SQL queries to identify exactly what has changed and how, which means leveraging database logs, but because there are many database vendors, each with their own unique SQL dialect, parsing this information for various databases can be particularly challenging. As each SQL dialect evolves over time, data lineage tools must evolve to accommodate these changes.<\/p>\n

El linaje de datos a nivel de columna cobrar\u00e1 a\u00fan m\u00e1s importancia a medida que los sistemas interconectados ampl\u00eden su alcance y se acelere el flujo de informaci\u00f3n. Hoy en d\u00eda, es una herramienta muy \u00fatil que ahorra tiempo, esfuerzo y dinero. Pronto, el linaje de datos se volver\u00e1 indispensable.<\/p>\n

Conclusi\u00f3n<\/h3>\n

Gracias por leer nuestro art\u00edculo. Esperamos que le ayude a comprender mejor la importancia del linaje de datos y su complejidad. Si desea obtener m\u00e1s informaci\u00f3n sobre el linaje de datos, le recomendamos visitar Flujo de SQL de Gudu<\/strong><\/a> Para m\u00e1s informaci\u00f3n.<\/p>\n

Como una de las mejores herramientas de linaje de datos disponibles en el mercado hoy en d\u00eda, Gudu SQLFlow no solo puede analizar archivos de script SQL, obtener linaje de datos y realizar una visualizaci\u00f3n, sino que tambi\u00e9n permite a los usuarios proporcionar linaje de datos en formato CSV y realizar una visualizaci\u00f3n. (Publicado por Ryan el 23 de julio de 2022)<\/strong><\/p>\n<\/div><\/div><\/div>