{"id":4806,"date":"2022-06-29T07:12:28","date_gmt":"2022-06-29T15:12:28","guid":{"rendered":"https:\/\/www.gudusoft.com\/?p=4806"},"modified":"2022-06-29T07:16:43","modified_gmt":"2022-06-29T15:16:43","slug":"metadata-architecture-evolution","status":"publish","type":"post","link":"https:\/\/www.gudusoft.com\/pt\/evolucao-da-arquitetura-de-metadados\/","title":{"rendered":"Evolu\u00e7\u00e3o da Arquitetura de Metadados | Gudu SQLFlow"},"content":{"rendered":"<div class=\"fusion-fullwidth fullwidth-box fusion-builder-row-1 fusion-flex-container nonhundred-percent-fullwidth non-hundred-percent-height-scrolling\" style=\"background-color: rgba(255,255,255,0);background-position: center center;background-repeat: no-repeat;border-width: 0px 0px 0px 0px;border-color:#e8eaf0;border-style:solid;\" ><div class=\"fusion-builder-row fusion-row fusion-flex-align-items-flex-start\" style=\"max-width:1310.4px;margin-left: calc(-4% \/ 2 );margin-right: calc(-4% \/ 2 );\"><div class=\"fusion-layout-column fusion_builder_column fusion-builder-column-0 fusion_builder_column_1_1 1_1 fusion-flex-column\"><div class=\"fusion-column-wrapper fusion-flex-justify-content-flex-start fusion-content-layout-column\" style=\"background-position:left top;background-repeat:no-repeat;-webkit-background-size:cover;-moz-background-size:cover;-o-background-size:cover;background-size:cover;padding: 0px 0px 0px 0px;\"><div class=\"fusion-text fusion-text-1\" style=\"line-height:26px;\"><h2>Evolu\u00e7\u00e3o da Arquitetura de Metadados<\/h2>\n<p><a href=\"https:\/\/www.gudusoft.com\/pt\/o-que-e-gerenciamento-de-metadados\/\"><strong>Gerenciamento de metadados<\/strong><\/a> \u00e9 a funda\u00e7\u00e3o e fonte da <strong><a href=\"https:\/\/www.gudusoft.com\/pt\/category\/data-governance-101\/\">governan\u00e7a de dados<\/a><\/strong> sistema. Em diferentes est\u00e1gios de desenvolvimento tecnol\u00f3gico, seu status e papel na governan\u00e7a de dados corporativos s\u00e3o muito diferentes. Hoje, os dados t\u00eam as caracter\u00edsticas de multifonte, heterogeneidade e diferen\u00e7a de valor, e essas caracter\u00edsticas s\u00e3o aceleradas e amplificadas no processo de crescimento louco de dados. Al\u00e9m disso, depois que o poder de computa\u00e7\u00e3o das empresas geralmente aumentou significativamente, h\u00e1 uma forte expectativa de que os dados sejam minerados de forma mais profunda para exercer maior valor.<\/p>\n<p>Como equipe de suporte de dados corporativos, a pergunta que mais ouvimos no dia a dia \u00e9 &quot;como obter o conjunto de dados correto&quot;. Percebemos que, embora tenhamos constru\u00eddo armazenamento de dados altamente escal\u00e1vel, computa\u00e7\u00e3o em tempo real e muito mais, nossas equipes ainda est\u00e3o perdendo tempo encontrando os conjuntos de dados certos para desenvolver e analisar. Ou seja, ainda n\u00e3o temos o gerenciamento de ativos de dados. Na verdade, h\u00e1 muitas empresas que oferecem solu\u00e7\u00f5es de c\u00f3digo aberto para os problemas acima, ou seja, ferramentas de descoberta de dados e gerenciamento de metadados.<\/p>\n<p>No entanto, por ser limitado pelas necessidades de desenvolvimento de neg\u00f3cios e tecnologia de v\u00e1rias empresas em v\u00e1rios est\u00e1gios, a sele\u00e7\u00e3o de fun\u00e7\u00f5es, aplica\u00e7\u00f5es e dire\u00e7\u00f5es de foco para a constru\u00e7\u00e3o de plataformas de gerenciamento relevantes por empresas geralmente varia amplamente. Este artigo tem como objetivo apresentar a evolu\u00e7\u00e3o arquitet\u00f4nica de <a href=\"https:\/\/www.gudusoft.com\/pt\/top-10-ferramentas-de-gerenciamento-de-metadados\/\"><strong>ferramentas de gerenciamento de metadados<\/strong><\/a>.<\/p>\n<p>Simplificando, o gerenciamento de metadados \u00e9 a organiza\u00e7\u00e3o e o gerenciamento eficientes de ativos de dados usando metadados. Ele tamb\u00e9m pode ajudar profissionais de dados a coletar, organizar, acessar e enriquecer metadados, e dar suporte a aplicativos de camada superior, como mapas de dados, especifica\u00e7\u00e3o de dados, controle de custos, inspe\u00e7\u00e3o de qualidade e auditoria de seguran\u00e7a.<\/p>\n<p>Trinta anos atr\u00e1s, um ativo de dados poderia ser apenas uma tabela em um banco de dados Oracle. No entanto, na empresa moderna, temos uma variedade desconcertante de diferentes tipos de ativos de dados. Pode ser uma tabela de banco de dados relacional, um objeto em um banco de dados n\u00e3o relacional, um peda\u00e7o de dados de streaming em tempo real, um indicador, um retrato ou um mostrador ou um painel em uma ferramenta de BI.<\/p>\n<p>Um sistema moderno de gerenciamento de metadados deve cobrir todos os tipos de ativos de dados e ser capaz de ajudar os trabalhadores de dados a fazer melhor uso dos ativos de dados relacionados. Portanto, as principais fun\u00e7\u00f5es do sistema de gerenciamento de metadados aplic\u00e1veis hoje s\u00e3o as seguintes:<\/p>\n<ul>\n<li>Pesquisa e descoberta: tabelas de dados, campos, tags, informa\u00e7\u00f5es de uso;<\/li>\n<li>Controle de acesso: grupos de controle de acesso, usu\u00e1rios, pol\u00edticas;<\/li>\n<li><a href=\"https:\/\/www.gudusoft.com\/pt\/whats-data-lineage-why-important\/\"><strong>Linhagem de dados<\/strong><\/a>: execu\u00e7\u00e3o de pipeline, consulta;<\/li>\n<li>Conformidade: classifica\u00e7\u00e3o dos tipos de anota\u00e7\u00e3o de privacidade\/conformidade de dados;<\/li>\n<li>Gerenciamento de dados: configura\u00e7\u00e3o da fonte de dados, configura\u00e7\u00e3o de ingest\u00e3o, configura\u00e7\u00e3o de reten\u00e7\u00e3o, pol\u00edtica de limpeza de dados;<\/li>\n<li>Interpretabilidade e reprodutibilidade da IA: defini\u00e7\u00e3o de recursos, defini\u00e7\u00e3o de modelo, execu\u00e7\u00e3o de treinamento, declara\u00e7\u00e3o de problema;<\/li>\n<li>Manipula\u00e7\u00e3o de dados: execu\u00e7\u00e3o de pipeline, parti\u00e7\u00e3o de dados processados, estat\u00edsticas de dados;<\/li>\n<li><a href=\"https:\/\/www.gudusoft.com\/pt\/como-melhorar-a-qualidade-dos-dados\/\"><strong>Qualidade dos dados<\/strong><\/a>: defini\u00e7\u00e3o de regra de qualidade de dados, resultado de execu\u00e7\u00e3o de regra, estat\u00edsticas de dados.<\/li>\n<\/ul>\n<h3>Evolu\u00e7\u00e3o da Arquitetura de Metadados:<\/h3>\n<p>O<strong> primeira gera\u00e7\u00e3o<\/strong> <strong>arquitetura de metadados<\/strong> \u00e9 geralmente baseado em extra\u00e7\u00e3o. Metadados s\u00e3o obtidos conectando e consultando fontes de dados (Hive, Kafka, etc.), e apenas servi\u00e7os de armazenamento e consulta externos s\u00e3o necess\u00e1rios. Geralmente \u00e9 um front-end monol\u00edtico cl\u00e1ssico que se conecta ao armazenamento prim\u00e1rio para consultas (geralmente MySQL\/Postgres), um \u00edndice de pesquisa (geralmente Elasticsearch) que atende consultas de pesquisa quando a consulta atinge o limite de \u201cconsulta recursiva\u201d de um banco de dados relacional, pode ser atualizado para usar um banco de dados de gr\u00e1fico (geralmente Neo4j) como o \u00edndice de consulta.<\/p>\n<div id=\"attachment_4814\" style=\"width: 922px\" class=\"wp-caption aligncenter\"><img aria-describedby=\"caption-attachment-4814\" decoding=\"async\" class=\"wp-image-4814 size-full\" src=\"https:\/\/www.gudusoft.com\/wp-content\/uploads\/2022\/06\/Metadata_Architecture-2.png\" alt=\"Arquitetura de Metadados\" width=\"912\" height=\"401\" srcset=\"https:\/\/www.gudusoft.com\/wp-content\/uploads\/2022\/06\/Metadata_Architecture-2-200x88.png 200w, https:\/\/www.gudusoft.com\/wp-content\/uploads\/2022\/06\/Metadata_Architecture-2-300x132.png 300w, https:\/\/www.gudusoft.com\/wp-content\/uploads\/2022\/06\/Metadata_Architecture-2-400x176.png 400w, https:\/\/www.gudusoft.com\/wp-content\/uploads\/2022\/06\/Metadata_Architecture-2-600x264.png 600w, https:\/\/www.gudusoft.com\/wp-content\/uploads\/2022\/06\/Metadata_Architecture-2-768x338.png 768w, https:\/\/www.gudusoft.com\/wp-content\/uploads\/2022\/06\/Metadata_Architecture-2-800x352.png 800w, https:\/\/www.gudusoft.com\/wp-content\/uploads\/2022\/06\/Metadata_Architecture-2.png 912w\" sizes=\"(max-width: 912px) 100vw, 912px\" \/><p id=\"caption-attachment-4814\" class=\"wp-caption-text\">Arquitetura de Metadados<\/p><\/div>\n<p>As vantagens dessa arquitetura de metadados s\u00e3o \u00f3bvias: a arquitetura \u00e9 simples e pode ser constru\u00edda rapidamente com apenas armazenamento e um mecanismo de busca, com alta efici\u00eancia e baixo custo. Mas as defici\u00eancias tamb\u00e9m s\u00e3o \u00f3bvias: ela tem um impacto consider\u00e1vel no desempenho da fonte de dados e h\u00e1 muitos requisitos para o tempo de extra\u00e7\u00e3o, frequ\u00eancia e carga. Al\u00e9m disso, como os requisitos de tempo real est\u00e3o ficando cada vez maiores, essa arquitetura de metadados est\u00e1 se tornando cada vez mais inaplic\u00e1vel.<\/p>\n<p>O produto de c\u00f3digo aberto Amundsen tem uma arquitetura de primeira gera\u00e7\u00e3o, mas se concentra na fun\u00e7\u00e3o de obter classifica\u00e7\u00e3o de pesquisa, o que \u00e9 muito poderoso.<\/p>\n<p>O<strong> segunda gera\u00e7\u00e3o<\/strong> <strong>arquitetura de metadados<\/strong> \u00e9 uma arquitetura de aplicativo de tr\u00eas camadas baseada em divis\u00e3o de servi\u00e7os. Essa arquitetura divide o aplicativo monol\u00edtico de servi\u00e7os de metadados. O servi\u00e7o fornece uma API que permite que metadados sejam gravados no sistema usando um mecanismo push, e uma API de leitura de metadados para programas que precisam ler metadados programaticamente.<\/p>\n<div id=\"attachment_4817\" style=\"width: 892px\" class=\"wp-caption aligncenter\"><img aria-describedby=\"caption-attachment-4817\" decoding=\"async\" class=\"wp-image-4817 size-full\" src=\"https:\/\/www.gudusoft.com\/wp-content\/uploads\/2022\/06\/Metadata_Architecture-3.png\" alt=\"Arquitetura de Metadados\" width=\"882\" height=\"500\" srcset=\"https:\/\/www.gudusoft.com\/wp-content\/uploads\/2022\/06\/Metadata_Architecture-3-200x113.png 200w, https:\/\/www.gudusoft.com\/wp-content\/uploads\/2022\/06\/Metadata_Architecture-3-300x170.png 300w, https:\/\/www.gudusoft.com\/wp-content\/uploads\/2022\/06\/Metadata_Architecture-3-400x227.png 400w, https:\/\/www.gudusoft.com\/wp-content\/uploads\/2022\/06\/Metadata_Architecture-3-600x340.png 600w, https:\/\/www.gudusoft.com\/wp-content\/uploads\/2022\/06\/Metadata_Architecture-3-768x435.png 768w, https:\/\/www.gudusoft.com\/wp-content\/uploads\/2022\/06\/Metadata_Architecture-3-800x454.png 800w, https:\/\/www.gudusoft.com\/wp-content\/uploads\/2022\/06\/Metadata_Architecture-3.png 882w\" sizes=\"(max-width: 882px) 100vw, 882px\" \/><p id=\"caption-attachment-4817\" class=\"wp-caption-text\">Arquitetura de Metadados<\/p><\/div>\n<p>A vantagem dessa arquitetura \u00e9 que ela \u00e9 implementada com base no m\u00e9todo push, que constr\u00f3i uma ponte entre o produtor de metadados e o servi\u00e7o de metadados, e resolve o problema em tempo real. A desvantagem \u00e9 que n\u00e3o h\u00e1 logs. Quando algo d\u00e1 errado, pode ser dif\u00edcil inicializar (recriar) ou corrigir \u00edndices de pesquisa e gr\u00e1fico de forma confi\u00e1vel. Os sistemas de metadados de segunda gera\u00e7\u00e3o podem frequentemente ser um portal confi\u00e1vel de pesquisa e descoberta para os ativos de dados de uma empresa, abordando as principais necessidades dos trabalhadores de dados, e Marquez tem uma arquitetura de metadados de segunda gera\u00e7\u00e3o.<\/p>\n<p>O<strong> arquitetura de metadados de terceira gera\u00e7\u00e3o<\/strong> \u00e9 uma arquitetura de gerenciamento de metadados baseada em eventos, que \u00e9 baseada em log push + desacoplamento de modelo. Os usu\u00e1rios podem interagir com o banco de dados de metadados de diferentes maneiras, de acordo com suas necessidades, e podem definir modelos de metadados estendidos.<\/p>\n<div id=\"attachment_4820\" style=\"width: 892px\" class=\"wp-caption aligncenter\"><img aria-describedby=\"caption-attachment-4820\" decoding=\"async\" class=\"wp-image-4820 size-full\" src=\"https:\/\/www.gudusoft.com\/wp-content\/uploads\/2022\/06\/Metadata_Architecture-4.png\" alt=\"Arquitetura de Metadados\" width=\"882\" height=\"535\" srcset=\"https:\/\/www.gudusoft.com\/wp-content\/uploads\/2022\/06\/Metadata_Architecture-4-200x121.png 200w, https:\/\/www.gudusoft.com\/wp-content\/uploads\/2022\/06\/Metadata_Architecture-4-300x182.png 300w, https:\/\/www.gudusoft.com\/wp-content\/uploads\/2022\/06\/Metadata_Architecture-4-400x243.png 400w, https:\/\/www.gudusoft.com\/wp-content\/uploads\/2022\/06\/Metadata_Architecture-4-600x364.png 600w, https:\/\/www.gudusoft.com\/wp-content\/uploads\/2022\/06\/Metadata_Architecture-4-768x466.png 768w, https:\/\/www.gudusoft.com\/wp-content\/uploads\/2022\/06\/Metadata_Architecture-4-800x485.png 800w, https:\/\/www.gudusoft.com\/wp-content\/uploads\/2022\/06\/Metadata_Architecture-4.png 882w\" sizes=\"(max-width: 882px) 100vw, 882px\" \/><p id=\"caption-attachment-4820\" class=\"wp-caption-text\">Arquitetura de Metadados<\/p><\/div>\n<p>Suas principais vantagens s\u00e3o: flexibilidade, alta escalabilidade, pesquisa de baixa lat\u00eancia, capacidade de executar pesquisas de texto completo e classifica\u00e7\u00e3o em atributos de metadados, consultas de gr\u00e1fico que suportam relacionamentos de metadados e recursos completos de varredura e an\u00e1lise. A desvantagem \u00e9: h\u00e1 muitos componentes dependentes e o custo de opera\u00e7\u00e3o e manuten\u00e7\u00e3o \u00e9 alto. Os sistemas representativos da arquitetura de metadados de terceira gera\u00e7\u00e3o s\u00e3o Altas e DataHub.<\/p>\n<p>Uma representa\u00e7\u00e3o visual simples do cen\u00e1rio atual da plataforma de gerenciamento de metadados (incluindo n\u00e3o-open source):<\/p>\n<p><img decoding=\"async\" class=\"size-full wp-image-4821 aligncenter\" src=\"https:\/\/www.gudusoft.com\/wp-content\/uploads\/2022\/06\/Metadata_Architecture-5.png\" alt=\"\" width=\"848\" height=\"403\" srcset=\"https:\/\/www.gudusoft.com\/wp-content\/uploads\/2022\/06\/Metadata_Architecture-5-200x95.png 200w, https:\/\/www.gudusoft.com\/wp-content\/uploads\/2022\/06\/Metadata_Architecture-5-300x143.png 300w, https:\/\/www.gudusoft.com\/wp-content\/uploads\/2022\/06\/Metadata_Architecture-5-400x190.png 400w, https:\/\/www.gudusoft.com\/wp-content\/uploads\/2022\/06\/Metadata_Architecture-5-600x285.png 600w, https:\/\/www.gudusoft.com\/wp-content\/uploads\/2022\/06\/Metadata_Architecture-5-768x365.png 768w, https:\/\/www.gudusoft.com\/wp-content\/uploads\/2022\/06\/Metadata_Architecture-5-800x380.png 800w, https:\/\/www.gudusoft.com\/wp-content\/uploads\/2022\/06\/Metadata_Architecture-5.png 848w\" sizes=\"(max-width: 848px) 100vw, 848px\" \/><\/p>\n<h3>Conclus\u00e3o<\/h3>\n<p>Obrigado por ler nosso artigo e esperamos que ele possa ajud\u00e1-lo a ter um melhor entendimento da evolu\u00e7\u00e3o da arquitetura de metadados. Se voc\u00ea quiser aprender mais sobre metadados, gostar\u00edamos de aconselh\u00e1-lo a visitar <a href=\"https:\/\/www.gudusoft.com\/pt\/\"><strong>Gudu SQLFlow<\/strong><\/a> para maiores informa\u00e7\u00f5es.<\/p>\n<p>Como um dos\u00a0<strong><a href=\"https:\/\/www.dpriver.com\/blog\/2022\/05\/11\/best-data-lineage-tools\/\" target=\"_blank\" rel=\"noopener noreferrer\">melhores ferramentas de linhagem de dados<\/a><\/strong>\u00a0dispon\u00edvel no mercado hoje, o Gudu SQLFlow n\u00e3o s\u00f3 pode analisar arquivos de script SQL, obter linhagem de dados e executar exibi\u00e7\u00e3o visual, mas tamb\u00e9m permitir que os usu\u00e1rios forne\u00e7am linhagem de dados em formato CSV e executem exibi\u00e7\u00e3o visual.\u00a0<strong>(Publicado por Ryan em 29 de junho de 2022)<\/strong><\/p>\n<\/div><\/div><\/div><style type=\"text\/css\">.fusion-body .fusion-builder-column-0{width:100% !important;margin-top : 0px;margin-bottom : 0px;}.fusion-builder-column-0 > .fusion-column-wrapper {padding-top : 0px !important;padding-right : 0px !important;margin-right : 1.92%;padding-bottom : 0px !important;padding-left : 0px !important;margin-left : 1.92%;}@media only screen and (max-width:1024px) {.fusion-body .fusion-builder-column-0{width:100% !important;}.fusion-builder-column-0 > .fusion-column-wrapper {margin-right : 1.92%;margin-left : 1.92%;}}@media only screen and (max-width:640px) {.fusion-body .fusion-builder-column-0{width:100% !important;}.fusion-builder-column-0 > .fusion-column-wrapper {margin-right : 1.92%;margin-left : 1.92%;}}<\/style><\/div><style type=\"text\/css\">.fusion-body .fusion-flex-container.fusion-builder-row-1{ padding-top : 0px;margin-top : 0px;padding-right : 0px;padding-bottom : 0px;margin-bottom : 0px;padding-left : 0px;}<\/style><\/div>","protected":false},"excerpt":{"rendered":"","protected":false},"author":27,"featured_media":4825,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":[],"categories":[178],"tags":[137,152,234,233,151,235,214],"_links":{"self":[{"href":"https:\/\/www.gudusoft.com\/pt\/wp-json\/wp\/v2\/posts\/4806"}],"collection":[{"href":"https:\/\/www.gudusoft.com\/pt\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/www.gudusoft.com\/pt\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/www.gudusoft.com\/pt\/wp-json\/wp\/v2\/users\/27"}],"replies":[{"embeddable":true,"href":"https:\/\/www.gudusoft.com\/pt\/wp-json\/wp\/v2\/comments?post=4806"}],"version-history":[{"count":14,"href":"https:\/\/www.gudusoft.com\/pt\/wp-json\/wp\/v2\/posts\/4806\/revisions"}],"predecessor-version":[{"id":4827,"href":"https:\/\/www.gudusoft.com\/pt\/wp-json\/wp\/v2\/posts\/4806\/revisions\/4827"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/www.gudusoft.com\/pt\/wp-json\/wp\/v2\/media\/4825"}],"wp:attachment":[{"href":"https:\/\/www.gudusoft.com\/pt\/wp-json\/wp\/v2\/media?parent=4806"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/www.gudusoft.com\/pt\/wp-json\/wp\/v2\/categories?post=4806"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/www.gudusoft.com\/pt\/wp-json\/wp\/v2\/tags?post=4806"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}