{"id":5196,"date":"2022-07-22T08:06:19","date_gmt":"2022-07-22T16:06:19","guid":{"rendered":"https:\/\/www.gudusoft.com\/?p=5196"},"modified":"2022-07-22T08:08:29","modified_gmt":"2022-07-22T16:08:29","slug":"why-data-lineage-matters-why-its-so-challenging","status":"publish","type":"post","link":"https:\/\/www.gudusoft.com\/pt\/por-que-a-linhagem-de-dados-e-importante-por-que-e-tao-desafiador\/","title":{"rendered":"Por que a linhagem de dados \u00e9 importante e por que ela \u00e9 t\u00e3o desafiadora?"},"content":{"rendered":"

Por que a linhagem de dados \u00e9 importante e por que ela \u00e9 t\u00e3o desafiadora?<\/h2>\n

Mudan\u00e7a traz risco. Este \u00e9 um dos princ\u00edpios fundamentais do desenvolvimento de software que a maioria de n\u00f3s aprende no in\u00edcio de nossas carreiras. No entanto, apesar dessas repetidas li\u00e7\u00f5es de vida, elas sempre parecem continuar surgindo. Nossa incapacidade de prever o impacto da mudan\u00e7a, mesmo que pequena, geralmente leva a resultados negativos. Este problema \u00e9 exacerbado \u00e0 medida que a complexidade dos sistemas de TI interconectados aumenta. \u00c9 cada vez mais dif\u00edcil prever como at\u00e9 mesmo pequenas modifica\u00e7\u00f5es afetar\u00e3o os sistemas upstream ou downstream da mudan\u00e7a. Linhagem de dados<\/strong><\/a> consegue isso, mas faz\u00ea-lo bem \u00e9 extremamente dif\u00edcil.<\/p>\n

\"Por

Por que a linhagem de dados \u00e9 importante<\/p><\/div>\n

Por que a linhagem de dados \u00e9 importante?<\/h3>\n

No mundo antigo, os dados residiam em silos com relativamente poucos pontos de conex\u00e3o entre eles. Mas hoje, os dados fluem em v\u00e1rias dire\u00e7\u00f5es entre v\u00e1rios sistemas. Muitos desses sistemas compartilham dados com organiza\u00e7\u00f5es externas, o que significa que as informa\u00e7\u00f5es fluem para sistemas internos tamb\u00e9m. Como resultado, \u00e9 mais f\u00e1cil do que nunca ignorar a influ\u00eancia de uma \u00fanica mudan\u00e7a em v\u00e1rios outros sistemas.<\/p>\n

Por exemplo, digamos que sua empresa oferece um aplicativo m\u00f3vel que permite que os clientes solicitem novas chamadas de servi\u00e7o de forma r\u00e1pida e f\u00e1cil. No passado, seus clientes podiam especificar as variantes de produto que tinham. Sua equipe de design determinou que, como voc\u00ea j\u00e1 tem essas informa\u00e7\u00f5es em seu banco de dados de CRM, n\u00e3o precisa mais coletar essas informa\u00e7\u00f5es dos usu\u00e1rios de seu aplicativo m\u00f3vel.<\/p>\n

Sua tarefa era simplificar o aplicativo, ent\u00e3o voc\u00ea removeu esse campo de entrada e o substituiu por uma consulta para extrair informa\u00e7\u00f5es do produto do cliente do seu CRM. Em teoria, a ordem de servi\u00e7o gerada deve incluir todas as informa\u00e7\u00f5es que seu pessoal de servi\u00e7o de campo precisa para fazer o trabalho.<\/p>\n

Infelizmente, h\u00e1 um problema: alguns registros de produtos de clientes no seu sistema CRM cont\u00eam valores nulos. Seu aplicativo m\u00f3vel estava procurando por essas informa\u00e7\u00f5es, mas forneceu resultados inv\u00e1lidos para seu sistema de tickets. Seu pessoal de servi\u00e7o de campo n\u00e3o sabe mais como se preparar para a pr\u00f3xima chamada de servi\u00e7o.<\/p>\n

Isso parece relativamente simples qualidade dos dados<\/a><\/strong> problema \u2013 um que poderia ter sido previsto se algu\u00e9m tivesse revisado os dados do CRM mais detalhadamente. No entanto, se os valores nulos no banco de dados do CRM n\u00e3o fossem introduzidos at\u00e9 mais tarde, mesmo isso poderia n\u00e3o resolver o problema. Por exemplo, se voc\u00ea incorporar dados de clientes de uma empresa rec\u00e9m-adquirida em seu sistema de CRM, voc\u00ea pode n\u00e3o ter informa\u00e7\u00f5es de produtos associadas a esses novos registros.<\/p>\n

\u00c0s vezes, esses problemas s\u00e3o mais dif\u00edceis de prever e podem n\u00e3o ser imediatamente aparentes. Imagine o que acontece quando sua equipe de marketing decide redefinir seus crit\u00e9rios de segmenta\u00e7\u00e3o de clientes. Um novo campo de dados \u00e9 adicionado para especificar a categoria do cliente, que ent\u00e3o preenche todos os valores do cliente, e o campo antigo n\u00e3o \u00e9 recomendado.<\/p>\n

Sem o conhecimento do departamento de marketing, no entanto, os principais executivos da empresa ainda estavam olhando para dados antigos. Os pain\u00e9is que eles usam dependem de dados em campos obsoletos. Novos clientes est\u00e3o sendo adicionados todos os dias, mas ningu\u00e9m est\u00e1 inserindo nenhum valor no campo obsoleto. Como consequ\u00eancia, as equipes executivas est\u00e3o olhando para dados distorcidos. De repente, a alta ger\u00eancia est\u00e1 rastreando KPIs que s\u00e3o muito diferentes do resto da organiza\u00e7\u00e3o. Pior, ningu\u00e9m sequer percebeu que havia um problema at\u00e9 semanas ou meses depois do fato.<\/p>\n

Em seguida, imagine um cen\u00e1rio semelhante, mas em vez de preencher um painel executivo, o sistema de origem alimenta dados para um algoritmo de IA que direciona recomenda\u00e7\u00f5es de clientes em seu site de e-commerce. Quando uma IA \u00e9 treinada em dados falhos \u2014 ou se os dados mudam significativamente de alguma forma \u2014 isso pode afetar muito a efic\u00e1cia da tecnologia. Nesse caso, isso distorce seu mecanismo de recomenda\u00e7\u00e3o de clientes.<\/p>\n

Enfrentando os desafios da linhagem de dados<\/h3>\n

Ferramentas de linhagem de dados<\/a><\/strong> fornecer uma abordagem sistem\u00e1tica para entender o impacto das mudan\u00e7as, fornecendo um roteiro completo de potenciais impactos a montante e a jusante.<\/p>\n

Isso \u00e9 equivalente \u00e0 redu\u00e7\u00e3o de risco e controle de custos. Se pudermos prever como as mudan\u00e7as podem afetar outros sistemas, podemos evitar os problemas que descrevemos anteriormente. Isso leva a menos esfor\u00e7o desperdi\u00e7ado, tempo de comercializa\u00e7\u00e3o mais r\u00e1pido e custos mais baixos. Estamos todos familiarizados com o princ\u00edpio de que quando os problemas s\u00e3o identificados no in\u00edcio do processo de desenvolvimento, eles s\u00e3o resolvidos mais r\u00e1pido e mais barato. A linhagem de dados fornece um elo cr\u00edtico perdido, e os problemas podem ser identificados antes mesmo de chegarem ao QA.<\/p>\n

Tamb\u00e9m h\u00e1 benef\u00edcios em governan\u00e7a de dados<\/a><\/strong> e conformidade. Quando a Uni\u00e3o Europeia aprovou o Regulamento Geral de Prote\u00e7\u00e3o de Dados (GDPR) em 2016, imp\u00f4s uma s\u00e9rie de novos requisitos em sistemas que cont\u00eam informa\u00e7\u00f5es pessoalmente identific\u00e1veis (PII). Se um cliente solicitar que voc\u00ea exclua seus dados, voc\u00ea \u00e9 legalmente obrigado a atender a essa solicita\u00e7\u00e3o. Mas o que acontece a montante e a jusante dessa mudan\u00e7a? Isso quebrar\u00e1 alguma coisa? Ou algumas das PII do cliente permanecer\u00e3o em outro lugar no seu sistema, mantendo voc\u00ea fora da conformidade com a lei?<\/p>\n

A linhagem de dados aborda essas quest\u00f5es automatizando o processo de detec\u00e7\u00e3o de impactos upstream e downstream. Ela fornece uma auditabilidade clara que pode ajudar a determinar a fonte das altera\u00e7\u00f5es e como os dados atingiram seu estado atual.<\/p>\n

Column-level data lineage is particularly difficult because it needs parsing SQL queries to identify exactly what has changed and how, which means leveraging database logs, but because there are many database vendors, each with their own unique SQL dialect, parsing this information for various databases can be particularly challenging. As each SQL dialect evolves over time, data lineage tools must evolve to accommodate these changes.<\/p>\n

A linhagem de dados em n\u00edvel de coluna se tornar\u00e1 ainda mais importante \u00e0 medida que os sistemas interconectados expandem ainda mais seu escopo e o fluxo de informa\u00e7\u00f5es acelera. Hoje, \u00e9 uma ferramenta muito \u00fatil que economiza tempo, esfor\u00e7o e dinheiro. Em breve, a linhagem de dados se tornar\u00e1 indispens\u00e1vel.<\/p>\n

Conclus\u00e3o<\/h3>\n

Obrigado por ler nosso artigo e esperamos que ele possa lhe dar uma melhor compreens\u00e3o do porqu\u00ea a linhagem de dados importa e por que \u00e9 t\u00e3o desafiadora. Se voc\u00ea quiser saber mais sobre a linhagem de dados, gostar\u00edamos de aconselh\u00e1-lo a visitar Gudu SQLFlow<\/strong><\/a> para maiores informa\u00e7\u00f5es.<\/p>\n

Como uma das melhores ferramentas de linhagem de dados dispon\u00edveis no mercado hoje, o Gudu SQLFlow n\u00e3o s\u00f3 pode analisar arquivos de script SQL, obter linhagem de dados e executar exibi\u00e7\u00e3o visual, mas tamb\u00e9m permitir que os usu\u00e1rios forne\u00e7am linhagem de dados no formato CSV e executem exibi\u00e7\u00e3o visual. (Publicado por Ryan em 23 de julho de 2022)<\/strong><\/p>\n<\/div><\/div><\/div>