{"id":5146,"date":"2022-07-16T01:43:52","date_gmt":"2022-07-16T09:43:52","guid":{"rendered":"https:\/\/www.gudusoft.com\/?p=5146"},"modified":"2022-09-17T14:20:34","modified_gmt":"2022-09-17T22:20:34","slug":"best-open-source-data-governance-tools","status":"publish","type":"post","link":"https:\/\/www.gudusoft.com\/pt\/melhores-ferramentas-de-governanca-de-dados-de-codigo-aberto\/","title":{"rendered":"7 melhores ferramentas de governan\u00e7a de dados de c\u00f3digo aberto a serem consideradas em 2022"},"content":{"rendered":"

7 melhores ferramentas de governan\u00e7a de dados de c\u00f3digo aberto em 2022<\/h2>\n

Encontrando um bom c\u00f3digo aberto ferramenta de governan\u00e7a de dados<\/strong><\/a> pode ser um desafio por muitas raz\u00f5es. Em primeiro lugar, o maior obst\u00e1culo em decidir qualquer coisa relacionada a governan\u00e7a de dados<\/a><\/strong> \u00e9 a falta de uma abordagem padronizada \u2013 os objetivos n\u00e3o s\u00e3o bem definidos. Al\u00e9m disso, os recursos de governan\u00e7a de dados da maioria das ferramentas de c\u00f3digo aberto n\u00e3o s\u00e3o claros. Voc\u00ea deve vasculhar as p\u00e1ginas de documenta\u00e7\u00e3o e o reposit\u00f3rio GitHub para determinar se uma ferramenta espec\u00edfica \u00e9 apropriada para um caso de uso espec\u00edfico.<\/p>\n

Al\u00e9m disso, os recursos de governan\u00e7a de dados da maioria das ferramentas de c\u00f3digo aberto n\u00e3o s\u00e3o claros, ent\u00e3o voc\u00ea deve examinar as p\u00e1ginas de documenta\u00e7\u00e3o e os reposit\u00f3rios do GitHub para determinar se uma ferramenta espec\u00edfica \u00e9 apropriada para um caso de uso espec\u00edfico. Para simplificar seu processo de avalia\u00e7\u00e3o, compilamos uma lista das melhores ferramentas de governan\u00e7a de dados de c\u00f3digo aberto em 2022.<\/p>\n

\"Melhores

Melhores ferramentas de governan\u00e7a de dados de c\u00f3digo aberto<\/p><\/div>\n

Melhores ferramentas de governan\u00e7a de dados de c\u00f3digo aberto \u2013 1. Amundsen<\/h3>\n

O Amundsen foi originalmente constru\u00eddo na Lyft e atualmente \u00e9 hospedado e mantido pela LF AI & Data Foundation. Em termos de governan\u00e7a de dados, ele aborda principalmente a seguran\u00e7a de dados e a conformidade com as leis de privacidade e soberania de dados. A ideia \u00e9 marcar e categorizar todos os dados na camada de metadados.<\/p>\n

Ao usar o Amundsen, voc\u00ea pode pesquisar metadados e aprender quem est\u00e1 usando os dados e com que frequ\u00eancia eles os usam. Voc\u00ea pode ter uma no\u00e7\u00e3o dos dados observando esses padr\u00f5es de acesso a dados, mas essa abordagem \u00e9 mais reativa. Para uma abordagem mais proativa, voc\u00ea precisa de controles de acesso refinados para impedir que as pessoas acessem dados com base em pol\u00edticas de acesso a dados de equipe, fun\u00e7\u00e3o, indiv\u00edduo, sistema e assim por diante.<\/p>\n

Embora voc\u00ea ainda n\u00e3o tenha o RBAC, controle de acesso baseado em fun\u00e7\u00f5es no Amundsen, voc\u00ea ainda tem alguns recursos essenciais de governan\u00e7a de dados, como marca\u00e7\u00e3o e categoriza\u00e7\u00e3o de metadados.<\/p>\n

Devido aos recursos limitados de governan\u00e7a de dados dispon\u00edveis com o backend Neo4J padr\u00e3o, Amundsen decidiu adicionar suporte para Apache Atlas. Como o Apache Atlas \u00e9 um dos mais maduros gerenciamento de metadados<\/strong><\/a> plataformas, muitos recursos foram testados e aprovados em v\u00e1rios sistemas, trazendo confiabilidade para cataloga\u00e7\u00e3o de dados e solu\u00e7\u00f5es de governan\u00e7a. Amundsen tem um bom suporte para linhagem de dados<\/a><\/strong> e propaga\u00e7\u00e3o de r\u00f3tulos\/emblemas (usando linhagem).<\/p>\n

Os backends Neo4j ou Atlas s\u00e3o geralmente adequados para a maioria das empresas. Algumas pessoas querem funcionalidades mais avan\u00e7adas de suas solu\u00e7\u00f5es de cataloga\u00e7\u00e3o e governan\u00e7a de dados.<\/p>\n

Melhores ferramentas de governan\u00e7a de dados de c\u00f3digo aberto \u2013 2. DataHub<\/h3>\n

O LinkedIn criou o DataHub depois que o WhereHows n\u00e3o era mais uma solu\u00e7\u00e3o vi\u00e1vel para a crescente demanda por ferramentas de busca e descoberta de metadados. Antes do DataHub, o LinkedIn havia usado outras ferramentas em conjunto com o WhereHows para adicionar alguns recursos de governan\u00e7a de dados.<\/p>\n

O DataHub permite que voc\u00ea tenha controle de acesso refinado sobre metadados. O acesso \u00e9 orientado por pol\u00edticas que voc\u00ea pode declarar na Web UI e na GraphQL API. A estrat\u00e9gia do DataHub se aplica em dois n\u00edveis: plataforma e metadados. As pol\u00edticas de plataforma permitem que voc\u00ea controle as permiss\u00f5es do usu\u00e1rio para o DataHub, por exemplo, quais recursos e at\u00e9 que ponto os usu\u00e1rios podem visualiz\u00e1-los e us\u00e1-los.<\/p>\n

Voc\u00ea pode aplicar essas pol\u00edticas a usu\u00e1rios individuais ou grupos. As pol\u00edticas de metadados, por outro lado, permitem que voc\u00ea controle quais usu\u00e1rios t\u00eam acesso a diferentes entidades de metadados, gr\u00e1ficos, fontes de dados, pain\u00e9is e assim por diante, e quais a\u00e7\u00f5es eles podem executar neles. No entanto, o DataHub n\u00e3o permite que voc\u00ea controle permiss\u00f5es de leitura no momento.<\/p>\n

V\u00e1rios outros recursos fazem parte do roteiro do DataHub, mas ainda n\u00e3o h\u00e1 um cronograma claramente definido. Um dos principais recursos de governan\u00e7a de dados \u00e9 o RBAC, controle de acesso baseado em fun\u00e7\u00e3o, para entidades e aspectos (registros PDL). O RBAC n\u00e3o apenas fornece controle de acesso mais fino sobre metadados, mas tamb\u00e9m ajuda com melhor gerenciamento de r\u00f3tulos, controle de acesso de pr\u00e9-visualiza\u00e7\u00e3o de dados e muito mais.<\/p>\n

Em termos de governan\u00e7a\/privacidade: o DataHub oferece suporte \u00e0 classifica\u00e7\u00e3o de n\u00edvel de conjunto de dados, movimenta\u00e7\u00e3o de dados governada, exclus\u00e3o autom\u00e1tica de dados, exporta\u00e7\u00e3o de dados e muito mais. Eles planejam tornar open source alguns recursos de conformidade como parte de seu roteiro.<\/p>\n

Melhores ferramentas de governan\u00e7a de dados de c\u00f3digo aberto \u2013 3. Apache Atlas<\/h3>\n

Como um dos primeiros cat\u00e1logos de dados de c\u00f3digo aberto a integrar recursos de governan\u00e7a de dados, o projeto Apache Atlas teve um ciclo de desenvolvimento um tanto lento, sem mencionar que o projeto foi criado especificamente para o ecossistema Hadoop. Ele funciona com qualquer coisa integrada ao Hive.<\/p>\n

O Apache Atlas \u00e9 particularmente bom em classifica\u00e7\u00e3o, com a capacidade de criar categorias de sensibilidade, expira\u00e7\u00e3o e qualidade de dados em tempo real, o que nos leva \u00e0 linhagem de dados, outro recurso popular do Apache Atlas. O Atlas implementa a verdadeira linhagem de dados, ou seja, a linhagem \u00e9 operacional.<\/p>\n

Ao usar dados de linhagem, o Apache Atlas pode propagar propriedades de metadados para entidades em uma hierarquia de linhagem, um recurso que voc\u00ea n\u00e3o encontrar\u00e1 em outras ferramentas de governan\u00e7a de dados.<\/p>\n

O Apache Atlas tamb\u00e9m tem uma s\u00e9rie de recursos de privacidade e seguran\u00e7a de dados DE. Por exemplo, ele tem controle de acesso refinado sobre entidades e categorias e funciona bem com o Apache Ranger para autoriza\u00e7\u00e3o e mascaramento de dados. Quando trabalham juntos, esses recursos formam uma rede eficaz de privacidade e seguran\u00e7a de dados, permitindo que os dados sejam protegidos ou classificados como PII, sens\u00edveis, etc. Notavelmente, ele tamb\u00e9m fornece uma estrutura para controlar quem pode acessar PII e dados sens\u00edveis.<\/p>\n

Melhores ferramentas de governan\u00e7a de dados de c\u00f3digo aberto \u2013 4. Magda<\/h3>\n

Desenvolvido pela Data61, o bra\u00e7o de ci\u00eancia de dados da CSIRO (Commonwealth Scientific and Industrial Research Organisation of Australia), MAGDA \u00e9 uma sigla que significa Making Australian Government Data Available. A CSIRO implantou o Magda para criar um portal de dados abertos contendo mais de 70.000 conjuntos de dados dos governos federal e estadual da Austr\u00e1lia, e eles disponibilizaram o projeto para outros usarem.<\/p>\n

Embora os recursos mais ricos e maduros do Magda continuem sendo pesquisa e descoberta, ele tamb\u00e9m fornece suporte poderoso para marca\u00e7\u00e3o e defini\u00e7\u00e3o de t\u00f3picos de conjuntos de dados. Al\u00e9m disso, o Magda tem op\u00e7\u00f5es de visualiza\u00e7\u00e3o de dados integradas, incluindo planilhas e gr\u00e1ficos interativos. Outras ferramentas como o Amundsen precisam ser integradas ao Superset. Uma ressalva: a integra\u00e7\u00e3o com ferramentas como o Superset para visualiza\u00e7\u00e3o de dados \u00e9 mais escal\u00e1vel.<\/p>\n

While Magda does not currently support RBAC (role-based access control), it does support features that allow strict control of access to resources ingested into Magda. Magda uses Kubernetes to remain cloud-independent. It uses the open policy broker standard to manage access policies, which facilitates different types of access control, such as role-based, attribute-based, and so on.<\/p>\n

Melhores ferramentas de governan\u00e7a de dados de c\u00f3digo aberto \u2013 5. Metadados abertos<\/h3>\n

Anunciado em agosto de 2021, Metadados Abertos<\/strong> define especifica\u00e7\u00f5es para padronizar metadados usando uma abordagem de esquema em primeiro lugar, consistindo em um armazenamento de metadados centralizado e uma estrutura de ingest\u00e3o que oferece suporte a conectores populares na pilha de dados.<\/p>\n

O Open Metadata adota uma abordagem diferente para marca\u00e7\u00e3o, que permite marcar propriet\u00e1rios de dados com conjuntos de dados, e tamb\u00e9m permite marcar conjuntos de dados em v\u00e1rias camadas com base em sua import\u00e2ncia. O Open Metadata tamb\u00e9m implementa todo o controle de vers\u00e3o de metadados, o que significa que com as entidades do banco de dados (tabelas, visualiza\u00e7\u00f5es, modo), marca\u00e7\u00e3o, a propriedade do conjunto de dados informa\u00e7\u00f5es detalhadas e vocabul\u00e1rio comercial relacionado a todos os metadados para controle de vers\u00e3o, todas as informa\u00e7\u00f5es sobre altera\u00e7\u00f5es, como quem alterou a altera\u00e7\u00e3o e quando alter\u00e1-la.<\/p>\n

Melhores ferramentas de governan\u00e7a de dados de c\u00f3digo aberto \u2013 6.Egeria<\/h3>\n

Lan\u00e7ado em 2019 e mantido pela divis\u00e3o de IA e Dados da Linux Foundation, o Egeria foi projetado para trocar facilmente metadados entre ferramentas e plataformas de forma neutra em rela\u00e7\u00e3o a fornecedores. Outras ferramentas fazem isso por meio de SDKs e APIs, mas suas capacidades s\u00e3o limitadas, enquanto o Egeria faz um bom trabalho nisso porque \u00e9 constru\u00eddo em torno dos princ\u00edpios de independ\u00eancia de plataforma, facilidade de extensibilidade e acessibilidade de dados.<\/p>\n

Enquanto todas as outras ferramentas que vimos at\u00e9 agora abordam quest\u00f5es de governan\u00e7a e gerenciamento de metadados principalmente da perspectiva do usu\u00e1rio, a Egeria tenta resolver problemas para usu\u00e1rios e sistemas, e funciona bem com uma variedade de ferramentas de dados.<\/p>\n

A Egeria oferece a voc\u00ea um controle muito granular e refinado sobre seus metadados por meio de regi\u00f5es de governan\u00e7a, datas de validade, arquivamento de metadados, proveni\u00eancia de metadados e muito mais, alguns dos quais s\u00e3o exclusivos da Egeria. Tamb\u00e9m vale a pena mencionar que ele vem com, mas n\u00e3o est\u00e1 limitado a, mais de 800 predefinidos tipos de metadados<\/a><\/strong>. Voc\u00ea tamb\u00e9m pode definir seus pr\u00f3prios tipos com base nas necessidades do seu neg\u00f3cio, o que significa que a Egeria \u00e9 flex\u00edvel o suficiente para se adaptar \u00e0s suas necessidades comerciais.<\/p>\n

Melhores ferramentas de governan\u00e7a de dados de c\u00f3digo aberto \u2013 7. Truedat<\/h3>\n

Finalmente, o TrueDat, sem d\u00favida o \u00fanico maduro ferramenta de governan\u00e7a de dados de c\u00f3digo aberto<\/strong> na lista, foi criado pela BlueTab (agora IBM) ap\u00f3s entender as necessidades do mercado como provedor de solu\u00e7\u00f5es de dados e encontrar lacunas no espa\u00e7o de governan\u00e7a de dados.<\/p>\n

O TrueDat possui um conjunto de recursos sobrepostos com as outras ferramentas mencionadas acima, incluindo cat\u00e1logos de dados<\/a><\/strong>, mecanismos de busca, recursos de linhagem de dados e assim por diante. Ainda assim, os recursos mais populares s\u00e3o os vocabul\u00e1rio empresarial<\/a><\/strong> e a capacidade de compartilhar dados entre equipes, com controles detalhados que se concentram no gerenciamento de dados e no gerenciamento de propriedade de dados, classifica\u00e7\u00e3o e assim por diante.<\/p>\n

Existem outros recursos que tornam o TrueDat completamente \u00fanico nesta lista, um dos quais \u00e9 um recurso de compartilhamento de dados semelhante ao compartilhamento de dados do Snowflake que torna mais f\u00e1cil para as equipes compartilharem e colaborarem de forma mais eficaz. Al\u00e9m disso, para garantir um alto grau de seguran\u00e7a e controle sobre os dados, os recursos de assinatura e notifica\u00e7\u00e3o podem ser usados para registrar eventos de altera\u00e7\u00e3o em trilhas de auditoria e monitor\u00e1-los em tempo real.<\/p>\n

Conclus\u00e3o<\/h3>\n

Obrigado por ler nosso artigo e esperamos que ele possa ser \u00fatil quando voc\u00ea estiver procurando as melhores ferramentas de governan\u00e7a de dados de c\u00f3digo aberto. Se voc\u00ea quiser encontrar mais informa\u00e7\u00f5es sobre ferramentas de governan\u00e7a de dados de c\u00f3digo aberto, gostar\u00edamos de aconselh\u00e1-lo a visitar Gudu SQLFlow<\/strong><\/a> para maiores informa\u00e7\u00f5es.<\/p>\n

Como um dos\u00a0melhores ferramentas de linhagem de dados<\/a><\/strong>\u00a0dispon\u00edvel no mercado hoje, o Gudu SQLFlow pode n\u00e3o apenas analisar arquivos de script SQL, obter linhagem de dados e executar exibi\u00e7\u00e3o visual, mas tamb\u00e9m permitir que os usu\u00e1rios forne\u00e7am\u00a0linhagem de dados<\/strong>\u00a0no formato CSV e executar exibi\u00e7\u00e3o visual.\u00a0(Publicado por Ryan em 16 de julho de 2022)<\/strong><\/p>\n<\/div><\/div><\/div>