{"id":5700,"date":"2022-08-29T06:08:31","date_gmt":"2022-08-29T14:08:31","guid":{"rendered":"https:\/\/www.gudusoft.com\/?p=5700"},"modified":"2022-08-29T06:09:46","modified_gmt":"2022-08-29T14:09:46","slug":"everything-you-need-to-know-about-data-lineage","status":"publish","type":"post","link":"https:\/\/www.gudusoft.com\/pt\/tudo-o-que-voce-precisa-saber-sobre-linhagem-de-dados\/","title":{"rendered":"Tudo o que voc\u00ea precisa saber sobre a linhagem de dados"},"content":{"rendered":"

Tudo o que voc\u00ea precisa saber sobre a linhagem de dados<\/h2>\n

O que \u00e9 linhagem de dados<\/strong><\/a>? Quais s\u00e3o as caracter\u00edsticas da linhagem de dados? Quais s\u00e3o os usos da linhagem de dados? Quais s\u00e3o os m\u00e9todos de coleta de linhagem de dados? Se voc\u00ea est\u00e1 procurando respostas para as perguntas acima, voc\u00ea veio ao lugar certo. Neste artigo, entraremos em detalhes sobre tudo o que voc\u00ea precisa saber sobre linhagem de dados<\/strong>.<\/p>\n

\"Tudo

Tudo o que voc\u00ea precisa saber sobre a linhagem de dados<\/p><\/div>\n

Tudo o que voc\u00ea precisa saber sobre linhagem de dados \u2013 O que \u00e9 linhagem de dados?<\/strong><\/p>\n

Em todo o processo de gera\u00e7\u00e3o, processamento e integra\u00e7\u00e3o de dados, circula\u00e7\u00e3o e morte final, um relacionamento se formar\u00e1 naturalmente entre os dados. Esse relacionamento entre dados \u00e9 expresso ao se basear em um relacionamento semelhante na sociedade humana, que \u00e9 chamado de relacionamento de linhagem de dados. A linhagem de dados \u00e9 um dos componentes de metadados<\/strong><\/a>.<\/p>\n

Ele pode ser usado para analisar o caminho de linhagem da tabela e campos da fonte de dados para a tabela atual, se o relacionamento entre os campos de linhagem \u00e9 satisfeito, a consist\u00eancia dos dados da preocupa\u00e7\u00e3o e a racionalidade do design da tabela. Ele pode ser usado para analisar o impacto de mudan\u00e7as em dados upstream em dados downstream e rastrear a fonte de problemas upstream quando ocorrem mudan\u00e7as em dados downstream.<\/p>\n

Tudo o que voc\u00ea precisa saber sobre a linhagem de dados \u2013 As caracter\u00edsticas da linhagem de dados<\/strong><\/p>\n

    \n
  1. Atribui\u00e7\u00e3o: Em termos gerais, dados espec\u00edficos pertencem a uma organiza\u00e7\u00e3o ou indiv\u00edduo espec\u00edfico, e os dados t\u00eam atribui\u00e7\u00e3o.<\/li>\n
  2. Multisource: Os mesmos dados podem ter m\u00faltiplas fontes. Um dado pode ser gerado pelo processamento de m\u00faltiplos dados, e esse processo de processamento pode ser m\u00faltiplo.<\/li>\n
  3. Rastreabilidade: O relacionamento da linhagem dos dados reflete o ciclo de vida dos dados e reflete todo o processo dos dados, da gera\u00e7\u00e3o ao desaparecimento, com rastreabilidade.<\/li>\n
  4. Hier\u00e1rquico: Os relacionamentos de linhagem de dados s\u00e3o hier\u00e1rquicos. As informa\u00e7\u00f5es de descri\u00e7\u00e3o dos dados, como a classifica\u00e7\u00e3o, indu\u00e7\u00e3o e resumo dos dados, formam novos dados, e as informa\u00e7\u00f5es de descri\u00e7\u00e3o de diferentes graus formam o n\u00edvel dos dados.<\/li>\n<\/ol>\n

    Tudo o que voc\u00ea precisa saber sobre a linhagem de dados \u2013 Os usos da linhagem de dados<\/strong><\/p>\n

      \n
    1. Rastreabilidade de dados: O relacionamento da linhagem de dados reflete os detalhes dos dados, o que pode nos ajudar a rastrear a fonte dos dados e rastrear o processo de processamento de dados. Quando os dados s\u00e3o anormais, \u00e9 necess\u00e1rio rastrear a causa da anormalidade e controlar o risco a um n\u00edvel apropriado. Especialmente com o desenvolvimento das empresas, h\u00e1 muitas fontes de dados e diferentes n\u00edveis de qualidade, o que inevitavelmente levar\u00e1 a um impacto nos resultados dos dados. Portanto, a capacidade de rastreabilidade de dados \u00e9 muito valiosa.<\/li>\n
    2. An\u00e1lise de Impacto: Com mais e mais aplica\u00e7\u00f5es de dados, a cadeia de fluxo de dados est\u00e1 ficando cada vez mais longa. Para mudan\u00e7as no neg\u00f3cio principal de uma fonte, as aplica\u00e7\u00f5es de an\u00e1lise downstream devem ser mantidas em sincronia. Sem an\u00e1lise de impacto, acesso anormal ser\u00e1 causado a cada servi\u00e7o de dados. Este \u00e9 frequentemente um requisito central do setor de desenvolvimento para facilitar avalia\u00e7\u00f5es de impacto.<\/li>\n
    3. O Valor dos Dados: Como medir o valor dos dados \u00e9 um problema muito dif\u00edcil. Para avaliar o valor dos dados, voc\u00ea precisa de uma base. A linhagem dos dados fornece dados de refer\u00eancia em v\u00e1rios aspectos para facilitar a avalia\u00e7\u00e3o. P\u00fablico de dados<\/strong>:Quanto mais demandantes de dados, maior o valor dos dados.
      \nAtualizar magnitude<\/strong>:Quanto maior a quantidade de dados atualizados, maior o valor dos dados.
      \nFrequ\u00eancia de atualiza\u00e7\u00e3o<\/strong>:Quanto mais frequente for a atualiza\u00e7\u00e3o, maior ser\u00e1 o valor dos dados.<\/li>\n
    4. Avalia\u00e7\u00e3o da qualidade: Este \u00e9 o requisito de an\u00e1lise de dados<\/strong><\/a> aplica\u00e7\u00f5es, e \u00e9 necess\u00e1rio controlar a qualidade dos dados do resultado final. Quando problemas de dados s\u00e3o encontrados, \u00e9 necess\u00e1rio rastrear ainda mais a fonte de dados, analisar as causas dos problemas de qualidade e, ent\u00e3o, resolv\u00ea-los. A partir do diagrama de linhagem de dados, o processo de processamento de dados pode ser facilmente obtido, e ent\u00e3o os poss\u00edveis problemas de qualidade podem ser analisados.<\/li>\n
    5. O Ciclo de Vida: Por meio da linhagem de dados, todo o ciclo de vida dos dados pode ser obtido intuitivamente. Para dados menos valiosos, considere hierarquiza\u00e7\u00e3o, arquivamento ou at\u00e9 mesmo destrui\u00e7\u00e3o.<\/li>\n
    6. Requisitos de conformidade: Esta \u00e9 frequentemente a necessidade da alta ger\u00eancia. Para conformidade regulat\u00f3ria, todos os pontos e fontes de fluxo de dados s\u00e3o os pontos-chave que precisam ser regulados. Portanto, \u00e9 necess\u00e1ria uma compreens\u00e3o abrangente do relacionamento entre os dados.<\/li>\n
    7. Controle de Seguran\u00e7a: Esta \u00e9 frequentemente uma necessidade de conformidade de seguran\u00e7a para entender como os dados s\u00e3o usados? Quem \u00e9 o p\u00fablico? Tudo isso est\u00e1 dispon\u00edvel na linhagem de dados. Eles tamb\u00e9m fornecer\u00e3o a base para o gerenciamento de permiss\u00f5es (n\u00edvel de tabela, autoriza\u00e7\u00e3o de n\u00edvel de campo), garantindo assim a seguran\u00e7a dos dados de um n\u00edvel mais alto. Combinado com os identificadores de seguran\u00e7a nos metadados (por exemplo, quais dados precisam ser dessensibilizados, etc.), o gerenciamento e o controle de seguran\u00e7a de todo o dom\u00ednio podem ser realizados.<\/li>\n
    8. Design de Arquitetura: A linhagem de dados fornece a possibilidade de entender os dados da perspectiva do processamento de dados. Em alguns cen\u00e1rios, isso faz todo o sentido. Por exemplo, quando um projeto antigo espec\u00edfico \u00e9 encerrado e um novo projeto \u00e9 necess\u00e1rio para assumir, sem uma tabela de mapeamento de fluxo de dados, levar\u00e1 muito tempo para organizar, e \u00e9 dif\u00edcil garantir a integridade e a corre\u00e7\u00e3o da migra\u00e7\u00e3o.<\/li>\n
    9. Ativos de Dados: Para a gest\u00e3o da empresa, o fluxo geral de dados pode ser compreendido por meio da linhagem de dados. Isso \u00e9 de grande benef\u00edcio para a formula\u00e7\u00e3o da estrat\u00e9gia de ativos de dados da empresa.<\/li>\n
    10. Necessidades de P&D: Para o pessoal de P&D de dados, se houver linhagem de dados, \u00e9 conveniente encontrar e entender a l\u00f3gica de processamento de dados e solucionar problemas.<\/li>\n<\/ol>\n

      Tudo o que voc\u00ea precisa saber sobre a linhagem de dados \u2013 Os m\u00e9todos de coleta de linhagem de dados<\/strong><\/p>\n

        \n
      1. An\u00e1lise autom\u00e1tica: A an\u00e1lise autom\u00e1tica \u00e9 atualmente o principal m\u00e9todo de coleta. O m\u00e9todo espec\u00edfico \u00e9 analisar instru\u00e7\u00f5es SQL, procedimentos armazenados, procedimentos ETL e outros arquivos. Devido ao c\u00f3digo complexo e ambiente de aplica\u00e7\u00e3o e outros motivos, de acordo com a experi\u00eancia de fabricantes internacionais, a an\u00e1lise autom\u00e1tica pode cobrir 70-95% de dados corporativos, mas atualmente \u00e9 imposs\u00edvel atingir 100%.<\/li>\n
      2. Rastreamento do Sistema: Ou seja, no processo de fluxo de processamento de dados, o programa de processamento de dados \u00e9 respons\u00e1vel por enviar informa\u00e7\u00f5es de linhagem de dados. Por exemplo, na se\u00e7\u00e3o de anota\u00e7\u00e3o, adicione uma descri\u00e7\u00e3o de linhagem, etc. A vantagem dessa abordagem \u00e9 que a coleta \u00e9 precisa, oportuna e com suporte refinado; \u00e9 claro, a desvantagem \u00e9 que \u00e9 intrusiva. No entanto, se a empresa adotar uma plataforma de processamento unificada, esse m\u00e9todo \u00e9 altamente recomendado.<\/li>\n
      3. Machine Learning: Este m\u00e9todo calcula a similaridade de dados com base nas depend\u00eancias entre conjuntos de dados. A vantagem deste m\u00e9todo \u00e9 que n\u00e3o h\u00e1 depend\u00eancia de ferramentas e neg\u00f3cios, e a desvantagem \u00e9 que a taxa de precis\u00e3o precisa ser confirmada manualmente.<\/li>\n
      4. Coleta Manual: O \u00faltimo \u00e9 o m\u00e9todo \u201cuniversal\u201d, que consiste em organizar a linhagem de dados manualmente por P&D.<\/li>\n<\/ol>\n

        Tudo o que voc\u00ea precisa saber sobre a linhagem de dados \u2013 A aplica\u00e7\u00e3o da linhagem de dados<\/strong><\/p>\n

        Com base na capacidade da linhagem de dados, os seguintes aplicativos s\u00e3o comumente usados:<\/p>\n

          \n
        1. Especificando uma tabela\/campo, para rastrear seu objeto multin\u00edvel avan\u00e7ado.<\/li>\n
        2. Especificando a tabela\/campo, para associar seu objeto multin\u00edvel reverso.<\/li>\n
        3. N\u00e3o limitado a um \u00fanico objeto, voc\u00ea pode entender o fluxo geral de dados de uma escala maior (por exemplo, dentro de um projeto, etc.). Isso faz sentido para an\u00e1lise de objetos quentes, limpeza de dados, etc.<\/li>\n
        4. Ou seja, partindo da perspectiva de \u201copera\u00e7\u00f5es\u201d, analise suas opera\u00e7\u00f5es para frente e para tr\u00e1s. Isso faz sentido para solu\u00e7\u00e3o de problemas, an\u00e1lise de qualidade e mais.<\/li>\n
        5. Al\u00e9m do nosso senso usual de linhagem, h\u00e1 uma linhagem mais generalizada. N\u00e3o h\u00e1 apenas um relacionamento de n\u00edvel de dados entre objetos, mas tamb\u00e9m um relacionamento de n\u00edvel de refer\u00eancia, ou seja, o uso associado entre objetos, incluindo, mas n\u00e3o se limitando a tabelas, visualiza\u00e7\u00f5es, modelos, relat\u00f3rios, trabalhos e assim por diante. Isso \u00e9 significativo para avalia\u00e7\u00e3o de valor de dados, gerenciamento de ativos de dados, etc.<\/li>\n
        6. Para explora\u00e7\u00e3o de dados tradicional, ela \u00e9 frequentemente conclu\u00edda de acordo com a defini\u00e7\u00e3o de hierarquia de dados. Quando h\u00e1 linhagem de dados, outro m\u00e9todo de explora\u00e7\u00e3o \u00e9 fornecido, ou seja, uma explora\u00e7\u00e3o passo a passo de acordo com a l\u00f3gica de processamento de dados.<\/li>\n<\/ol>\n

          Conclus\u00e3o<\/h3>\n

          Obrigado por ler nosso artigo e esperamos que ele possa ser \u00fatil para voc\u00ea. Se voc\u00ea quiser saber mais sobre a linhagem de dados, gostar\u00edamos de aconselh\u00e1-lo a visitar Gudu SQLFlow<\/strong><\/a> para maiores informa\u00e7\u00f5es.<\/p>\n

          Como um dos melhores ferramentas de linhagem de dados<\/strong><\/a> dispon\u00edvel no mercado hoje, o Gudu SQLFlow n\u00e3o s\u00f3 pode analisar arquivos de script SQL, obter linhagem de dados e executar exibi\u00e7\u00e3o visual, mas tamb\u00e9m permitir que os usu\u00e1rios forne\u00e7am linhagem de dados em formato CSV e executem exibi\u00e7\u00e3o visual.Publicado por Ryan em 29 de agosto de 2022<\/strong>)<\/p>\n<\/div><\/div><\/div>