Técnicas de linhagem de dados, melhores práticas e ferramentas

O que é linhagem de dados? Quais são os técnicas de linhagem de dados, melhores práticas e ferramentas? Neste artigo, responderemos a essas perguntas uma por uma.

A linhagem de dados documenta a passagem de dados pelos sistemas de TI de uma empresa, mostrando como os dados se movem entre eles, transformando-os para diferentes usos no processo. Ela usa metadados (dados sobre dados) para permitir que usuários finais e profissionais de gerenciamento de dados rastreiem o histórico de ativos de dados e obtenham informações sobre sua importância comercial ou atributos técnicos.

Por exemplo, os registros de linhagem de dados podem ajudar cientistas de dados, outro analistas de dados, e os usuários corporativos entendem os dados que utilizam e garantem que sejam relevantes para suas necessidades de informação. A linhagem dos dados também desempenha um papel importante governança de dados, mestre gerenciamento de dadose programas de conformidade. Entre outras coisas nessas iniciativas, simplifica dois procedimentos-chave de governança de dados: analisar a causa raiz de qualidade dos dados questões e o impacto das alterações no conjunto de dados.

Técnicas de linhagem de dados, melhores práticas e ferramentas

As informações de linhagem de dados são coletadas principalmente de sistemas operacionais (ao processar dados) e de armazéns de dados e lagos de dados – onde conjuntos de dados são armazenados para aplicações de BI e análise. Além da documentação detalhada, diagramas de fluxo de dados e diagramas podem ser criados para fornecer uma visão visual da linhagem de dados mapeada para processos de negócios. Para simplificar o acesso do usuário final às informações de linhagem, elas são frequentemente incorporadas a um catálogo de dados, que lista ativos de dados e os metadados associados a eles.

Por que a linhagem de dados é importante?

Informações sobre a linhagem dos dados são essenciais para os esforços de gerenciamento e análise de dados. Os detalhes da linhagem ajudam as empresas a gerenciar e usar os dados de forma eficaz. Sem acesso a esses detalhes, será difícil para as empresas explorarem plenamente o potencial valor comercial dos dados.

Os seguintes são os benefícios que a linhagem de dados oferece:

Análises mais precisas e úteis. Ao tornar as equipes de análise e os usuários de negócios cientes da origem dos dados e do seu significado, a linhagem de dados melhora a capacidade de encontrar os dados necessários para uso em BI e ciência de dados com mais rapidez. Isso leva a melhores resultados analíticos e aumenta a probabilidade de os esforços de análise de dados fornecerem informações significativas para orientar as decisões de negócios.

Melhor governança de dados. A linhagem de dados também ajuda a rastrear dados e executar outras partes importantes do processo de governança. Ela ajuda os gerentes de governança de dados e os membros da equipe a garantir que os dados sejam válidos, limpos e consistentes, e que sejam protegidos, gerenciados e utilizados adequadamente.

Maior segurança de dados e proteção da privacidade. As empresas podem usar informações de linhagem de dados para identificar dados sensíveis que exigem segurança particularmente forte. Elas também podem ser usadas para definir diferentes níveis de acesso do usuário de acordo com as políticas de segurança e privacidade de dados, e para avaliar potenciais riscos de dados como parte de uma estratégia de gerenciamento de riscos corporativos.

Melhore a conformidade regulatória. A linhagem de dados oferece melhores proteções de segurança, o que pode ajudar as empresas a garantir a conformidade com as leis de privacidade de dados e outras regulamentações. Uma linhagem de dados bem documentada também facilita a realização de auditorias internas de conformidade e relatórios de conformidade.

Simplifique o gerenciamento de dados. Além de melhorias na qualidade dos dados, a linhagem de dados facilita uma variedade de outras tarefas de gerenciamento de dados. Exemplos incluem o gerenciamento de migrações de dados, a eliminação de silos de dados e a detecção e o tratamento de lacunas em conjuntos de dados.

Linhagem de dados, classificação de dados e proveniência de dados

A linhagem de dados também está intimamente relacionada aos dois processos de gerenciamento de dados: classificação e proveniência de dados. Vamos ver o que são e como diferem e se relacionam com a linhagem de dados.

• Classificação de dados. Isso envolve a atribuição de dados a diferentes categorias com base em suas características, principalmente para fins de segurança e conformidade. A classificação é usada para classificar os dados de acordo com sua sensibilidade, por exemplo, como informações pessoais, proprietárias, confidenciais ou públicas. Isso separa os conjuntos de dados que exigem níveis mais altos de segurança e controles de acesso mais rigorosos daqueles que não exigem. A linhagem de dados fornece informações sobre um conjunto de dados que ajudam a classificá-lo.
• Proveniência dos dados. Às vezes, é considerado sinônimo de linhagem de dados, ou proveniência de dados, que é vista como um foco mais restrito na proveniência dos dados, incluindo seu sistema de origem e como foram gerados. Nesse caso, linhagem e proveniência de dados podem trabalhar juntas, com esta última fornecendo documentação de alto nível sobre a origem dos dados e seu significado.

Linhagem de dados e governança de dados

A essência da governança de dados é criar políticas corporativas de dados e garantir que as pessoas as cumpram. Tais políticas podem abranger diferentes intenções e incluir diretivas relativas à proteção, verificação e uso de dados. Gerentes de governança de dados e administradores de dados deve reunir as necessidades de dados dos usuários empresariais e trabalhar com os membros do comitê de governança de dados para tomar decisões para concordar com definições comuns de dados, especificar métricas de qualidade de dados e desenvolver políticas e procedimentos relacionados.

No entanto, existe uma lacuna entre a definição de políticas de governança de dados e sua implementação, e preencher essa lacuna é um enorme desafio. É aí que entra a linhagem de dados. Ela documenta as fontes e os fluxos de dados, permitindo que as equipes de governança monitorem como os dados se movem pelo sistema e como são modificados e utilizados. As informações de linhagem ajudam a garantir a segurança dos dados e os controles de acesso adequados, além de armazenar, manter e utilizar os dados de acordo com as políticas de governança.

A linhagem de dados também pode simplificar tarefas específicas relacionadas à governança. Por exemplo, sem uma maneira de determinar onde erros de dados foram introduzidos no sistema, pode ser difícil para administradores de dados e analistas de qualidade de dados identificá-los e corrigi-los. Isso tem consequências: se falhas de dados não forem descobertas, as empresas podem ser afetadas por resultados analíticos inconsistentes ou imprecisos, levando a decisões comerciais ruins.

Na análise da causa raiz de erros de dados, os registros de linhagem fornecem visibilidade sobre a sequência de etapas de processamento pelas quais um conjunto de dados passou. As empresas podem verificar os níveis de qualidade em cada etapa para identificar as fontes de erros nos dados. Trabalhando de trás para frente, a partir do ponto em que o erro foi descoberto, os administradores de dados podem verificar se os dados atendem às expectativas iniciais ou se continham erros naquele momento. Ao identificar a etapa em que os dados estão em conformidade na entrada, mas apresentam falhas na saída, a equipe envolvida em um programa de governança de dados pode eliminar a causa raiz dos erros, e não apenas corrigir dados incorretos.

A linhagem de dados também é útil ao executar análises de impacto para entender problemas causados por mudanças no formato e na estrutura dos dados de origem, um problema comum no ambiente de dados cada vez mais dinâmico de hoje.

Quando os dados mudam, podem ocorrer consequências indesejadas a jusante. Ao trabalhar desde o ponto de criação ou coleta dos dados, os administradores de dados podem contar com a documentação da linhagem dos dados para ajudar a rastrear dependências de dados e identificar os estágios de processamento afetados pelas alterações. Esses estágios podem então ser redesenhados para acomodar as alterações e garantir que os dados permaneçam consistentes em todos os sistemas.

Técnicas de linhagem de dados principais

As empresas podem utilizar diversas técnicas para coletar e registrar informações sobre a linhagem de dados. Elas não são necessariamente mutuamente exclusivas, e as empresas podem utilizar mais de uma tecnologia de linhagem, dependendo dos requisitos de suas aplicações e da natureza de seu ambiente de dados. Os métodos disponíveis incluem:

Técnicas de linhagem de dados, melhores práticas e ferramentas

Técnicas Principais de Linhagem de Dados – 1. Marcação de dados. Ao examinar metadados, rótulos podem ser aplicados a conjuntos de dados para ajudar a descrevê-los e caracterizá-los para fins de linhagem de dados. A marcação pode ser feita manualmente por administradores de dados, outros membros da equipe de governança de dados e usuários finais, ou automaticamente por software. Por exemplo, ferramentas de linhagem de dados e os recursos de linhagem incorporados ao software de governança de dados geralmente incluem algoritmos automatizados, que os usuários podem executar para rotular conjuntos de dados.

Principais Técnicas de Linhagem de Dados – 2. Linhagem baseada em padrões. Essa abordagem busca padrões em múltiplos conjuntos de dados, como elementos de dados, linhas e colunas semelhantes. Sua presença indica que os conjuntos de dados estão relacionados entre si e podem fazer parte de um fluxo de dados, enquanto diferenças nos valores ou atributos dos dados indicam que os dados foram transformados à medida que se moviam de um sistema para outro. Transformações de dados e os fluxos de dados podem então ser registrados como parte de um registro de linhagem de dados.

Principais Técnicas de Linhagem de Dados – 3. Linhagem baseada em análise sintática. Nesse caso, as ferramentas de linhagem de dados analisam a lógica de transformação de dados, arquivos de log de tempo de execução, fluxos de trabalho de integração de dados e outros códigos de processamento de dados para identificar e extrair informações de linhagem. A análise sintática fornece uma abordagem de ponta a ponta para rastrear a linhagem de dados em diferentes sistemas e pode ser mais precisa do que a linhagem baseada em esquema, mas também mais complexa.

Técnicas-chave de linhagem de dados – 4. Outra abordagem é totalmente manual: entreviste usuários de negócios, analistas de BI, cientistas de dados, administradores de dados, desenvolvedores de integração de dados e outros funcionários para entender como os dados se movem pelo sistema e são usados e modificados. As informações coletadas podem ser usadas para mapear fluxos e transformações de dados, talvez como um ponto de partida para o planejamento da linhagem de dados antes da implantação de técnicas mais automatizadas.

Melhores práticas de linhagem de dados

Aqui estão algumas práticas recomendadas para ajudar a manter o processo de linhagem de dados no caminho certo e garantir que ele forneça informações precisas e úteis sobre seu conjunto de dados:

• Envolva executivos e usuários da empresa desde o início. Um programa de governança de dados requer apoio e envolvimento executivo para ser bem-sucedido, e o mesmo se aplica à linhagem de dados. O acesso ao suporte da alta gerência é um requisito para aprovação e financiamento. Gerentes e funcionários da empresa também devem ser envolvidos para garantir que as equipes de gerenciamento de dados entendam completamente como os dados são usados nos processos de negócios e para verificar a relevância e a validade das informações sobre a linhagem de dados.
• Documente a linhagem de dados técnicos e de negócios. A linhagem de negócios analisa cuidadosamente a origem dos dados, como eles fluem e seu contexto de negócios. A linhagem de tecnologia fornece detalhes sobre transformações, integrações e pipelines de dados, bem como uma combinação de visualizações de linhagem em nível de tabela, coluna e consulta. A coleta dessas duas informações fornece informações úteis para usuários de negócios e equipes de análise, por um lado, e para arquitetos de dados, modeladores de dados, analistas de qualidade de dados e outros profissionais de TI, por outro.
• Correlacione a linhagem de dados às necessidades reais de negócios e TI. A linhagem de dados não deve ser um exercício acadêmico. Para gerar os benefícios esperados, ela precisa ajudar a viabilizar melhores decisões e estratégias de negócios, bem como uma governança de dados mais eficaz, melhor qualidade dos dados e outros benefícios na gestão de dados. Caso contrário, é provável que seja um investimento desperdiçado.
• Implemente uma abordagem corporativa para a linhagem de dados. Concentrar-se no processo de linhagem de dados para determinados conjuntos de dados também não é tão útil quanto poderia ser. Para realmente valer a pena, deve ser um esforço abrangente que envolva todos os dados da empresa, com um único repositório de metadados para apoiar o esforço de linhagem.
• Crie um catálogo de dados que contenha informações de linhagem de dados incorporadas. Encontrar e compreender dados relevantes costuma ser um grande desafio para usuários de BI e analytics. Ao criar um catálogo de dados, as equipes de gerenciamento de dados podem fornecer um inventário dos ativos de dados disponíveis, que também inclui informações de linhagem.

O que procurar em uma ferramenta de linhagem de dados?

A coleta manual de metadados e a documentação da linhagem de dados exigem um investimento significativo de recursos. Também é propenso a erros e pode causar grandes problemas, especialmente porque as empresas dependem cada vez mais da análise de dados para impulsionar suas operações. Portanto, para melhorar a governança de dados, é preciso buscar ferramentas para gerenciar representações de linhagem de dados e mapeá-las automaticamente em toda a empresa.

Se você decidir prosseguir com o processo de avaliação técnica para uma possível compra, procure ferramentas de linhagem de dados que possam:

• Acesse localmente uma ampla gama de fontes e produtos de dados, investigue os metadados que eles contêm e colete-os para governança de dados, cada vez mais por meio do uso de inteligência artificial e algoritmos de aprendizado de máquina;
• Agregar metadados capturados em um repositório centralizado;
• Inferir tipos de dados e corresponder usos comuns de dados de referência a elementos de dados de diferentes sistemas;
• Fornecer aos usuários finais uma apresentação simplificada de metadados agregados e dar suporte à colaboração para validar descrições de metadados;
• Um mapeamento de ponta a ponta de como os dados fluem pelos sistemas de uma organização;
• Gerar uma representação visual da linhagem de dados;
• Fornece uma API para que os desenvolvedores possam criar aplicativos que possam consultar registros de linhagem;
• Crie índices invertidos que mapeiem nomes de elementos de dados para seus usos em diferentes estágios de processamento;
• Fornecer recursos de pesquisa para rastrear rapidamente o fluxo de dados de um ponto de origem de dados até um destino posterior;
• Permite que os usuários monitorem o fluxo de dados direto e reverso.

Conclusão

Agradecemos a leitura do nosso artigo e esperamos que ele possa ajudá-lo a entender melhor as técnicas, melhores práticas e ferramentas de linhagem de dados. Se quiser saber mais sobre técnicas e ferramentas de linhagem de dados, recomendamos que visite Gudu SQLFlow para maiores informações.

Como uma das melhores ferramentas de linhagem de dados disponíveis no mercado hoje, o Gudu SQLFlow não só pode analisar arquivos de script SQL, obter linhagem de dados e executar exibição visual, mas também permitir que os usuários forneçam linhagem de dados no formato CSV e executem exibição visual. (Publicado por Ryan em 8 de agosto de 2022)