linhagem de dados<\/strong><\/a> A partir do DBCAT (diret\u00f3rio de dados), o Tokern tamb\u00e9m permite criar a linhagem de dados com base no hist\u00f3rico de consultas ou em scripts ETL, tornando-o ideal para integra\u00e7\u00e3o com ferramentas de BI e ETL. O Tokern armazena o cat\u00e1logo de dados e a linhagem em um banco de dados PostgreSQL. Os usu\u00e1rios podem acessar esse banco de dados para an\u00e1lises adicionais usando SQL ou integr\u00e1-lo a outros mecanismos de visualiza\u00e7\u00e3o e an\u00e1lise.<\/p>\nO mecanismo de visualiza\u00e7\u00e3o Kedro-Viz e a biblioteca de an\u00e1lise de grafos de rede NetworkX s\u00e3o os respons\u00e1veis pelas excelentes capacidades de visualiza\u00e7\u00e3o e an\u00e1lise do Tokenn. Essas bibliotecas ajudam voc\u00ea a rastrear, visualizar e analisar dados de linhagem em n\u00edvel de coluna. Voc\u00ea tamb\u00e9m pode interagir com os dados de linhagem usando o SDK ou a API do Tokenn.<\/p>\n
Al\u00e9m de suas capacidades de linhagem de dados de \u00faltima gera\u00e7\u00e3o, o Tokern utiliza o PIICatcher para fornecer detec\u00e7\u00e3o de PII (Informa\u00e7\u00f5es de Identifica\u00e7\u00e3o Pessoal) e PHI (Informa\u00e7\u00f5es Pessoais de Sa\u00fade). A ferramenta integrada combina express\u00f5es regulares com diversas bibliotecas padr\u00e3o de PNL (Processamento de Linguagem Natural) para detec\u00e7\u00e3o de PII, como Spacy e Stanford NER.<\/p>\n
Melhores ferramentas de linhagem de dados de c\u00f3digo aberto \u2013 2. Egeria<\/h3>\n
Vis\u00e3o geral da Eg\u00e9ria:<\/strong><\/p>\nDescrito como o primeiro padr\u00e3o de metadados de c\u00f3digo aberto do mundo, o Egeria oferece uma maneira de integrar perfeitamente ferramentas de engenharia de dados para uma visualiza\u00e7\u00e3o confi\u00e1vel e consistente dos metadados. Al\u00e9m de catalogar e pesquisar metadados, o padr\u00e3o permite que os usu\u00e1rios criem solu\u00e7\u00f5es mais avan\u00e7adas para rastreamento de linhagem de dados, verifica\u00e7\u00e3o da qualidade dos dados, identifica\u00e7\u00e3o de informa\u00e7\u00f5es pessoais identific\u00e1veis (PII) e muito mais.<\/p>\n
Muitas arquiteturas de engenharia de dados envolvem uma grande quantidade de comunica\u00e7\u00e3o desnecess\u00e1ria entre v\u00e1rias ferramentas de dados. A Egeria se afasta disso e, em vez disso, adota um modelo de raio e roda, onde tudo passa pela Egeria. Dessa forma, os usu\u00e1rios precisam usar apenas uma ferramenta para se comunicar.<\/p>\n
Caracter\u00edsticas da linhagem de dados da Egeria:<\/strong><\/p>\nA linhagem de dados no Egeria utiliza padr\u00f5es abertos bem conhecidos para capturar e armazenar uma linhagem de dados chamada OpenLineage. O OpenLineage tamb\u00e9m oferece uma vis\u00e3o mais abrangente dos seus dados, fornecendo um hist\u00f3rico horizontal e vertical dos dados de rastreamento.<\/p>\n
A Egeria monitora os eventos do Kafka emitidos pelo sistema de origem para capturar informa\u00e7\u00f5es de linhagem de dados. Ap\u00f3s obter essas informa\u00e7\u00f5es, a Egeria instrui os gerenciadores de linhagem a encontrar e vincular os gr\u00e1ficos de linhagem que a Egeria n\u00e3o consegue identificar. Depois disso, a linhagem est\u00e1 pronta para uso comercial.<\/p>\n
As funcionalidades de linhagem de dados do Egeria est\u00e3o bem alinhadas com as funcionalidades de descoberta e gerenciamento de dados, proveni\u00eancia de metadados e outras. Essas funcionalidades, juntamente com o design e a arquitetura de linhagem do Egeria, fazem dele uma ferramenta de governan\u00e7a e linhagem de dados robusta e bem estruturada.<\/p>\n
Melhores ferramentas de c\u00f3digo aberto para linhagem de dados \u2013 3. Paquiderme<\/h3>\n
Vis\u00e3o geral dos paquidermes:<\/strong><\/p>\nAssim como o Tokenn que acabamos de mencionar, o Pachyderm \u00e9 outra ferramenta especializada em linhagem de dados. Em vez de se concentrar em data warehouses na nuvem, ele visa permitir que os desenvolvedores criem pipelines de aprendizado de m\u00e1quina de forma independente de linguagem e framework.<\/p>\n
Implementou um sistema de controle de vers\u00e3o, como o LakeFS ou o Git, para manter a linhagem dos objetos de dados. As altera\u00e7\u00f5es nesses objetos (como commits) s\u00e3o capturadas e armazenadas pelo Pachyderm para manter um registro de auditoria completo e imut\u00e1vel dos eventos. Os registros de auditoria permitem visualizar e analisar a linhagem dos dados, al\u00e9m de possibilitar a reprodu\u00e7\u00e3o de dados e c\u00f3digo a qualquer momento para fins de depura\u00e7\u00e3o ou conformidade.<\/p>\n
Caracter\u00edsticas da linhagem de dados dos paquidermes:<\/strong><\/p>\nPara alcan\u00e7ar um rastreamento de linhagem de dados e versionamento perfeitos, o Pachyderm utiliza um reposit\u00f3rio central que usa armazenamentos de objetos como o AWS S3 em um sistema de arquivos personalizado chamado PFS (Pachyderm File System). O PFS ajuda seu armazenamento de objetos (como o S3) a se tornar a \u00fanica fonte verdadeira de seus dados, com todo o seu hist\u00f3rico.<\/p>\n
O Pachyderm tamb\u00e9m imp\u00f5e invari\u00e2ncia na sua fonte de dados, o que permite atribuir IDs globais a eventos de linhagem e objetos de dados. O Pachyderm permite tratar diagramas de linhagem de dados imut\u00e1veis como DAGs (grafos ac\u00edclicos direcionados) na interface do usu\u00e1rio. Ambos os recursos s\u00e3o ben\u00e9ficos ao trabalhar com pipelines de aprendizado de m\u00e1quina, quando se deseja rastrear os resultados at\u00e9 suas entradas.<\/p>\n
O Pachyderm integra-se com os bancos de dados, data warehouses e data lakes mais utilizados. Al\u00e9m disso, voc\u00ea pode importar dados de qualquer banco de dados para o Pachyderm usando uma ferramenta de ingest\u00e3o baseada em SQL. No entanto, o Pachyderm possui limita\u00e7\u00f5es como ferramenta de linhagem de dados de uso geral, raz\u00e3o pela qual a maioria dos clientes corporativos do Pachyderm o utiliza para lidar com MLOps, ETL de dados n\u00e3o estruturados e cargas de trabalho de PNL (Processamento de Linguagem Natural).<\/p>\n
![\"Melhores](\"https:\/\/www.gudusoft.com\/wp-content\/uploads\/2022\/07\/Best_Open_Source_Data_Lineage_Tools.png\")