{"id":4770,"date":"2022-06-27T20:45:43","date_gmt":"2022-06-28T04:45:43","guid":{"rendered":"https:\/\/www.gudusoft.com\/?p=4770"},"modified":"2022-09-17T14:26:49","modified_gmt":"2022-09-17T22:26:49","slug":"open-source-metadata-management-tool","status":"publish","type":"post","link":"https:\/\/www.gudusoft.com\/pt\/ferramenta-de-gerenciamento-de-metadados-de-codigo-aberto\/","title":{"rendered":"Marquez: Uma ferramenta de gerenciamento de metadados de c\u00f3digo aberto"},"content":{"rendered":"<div class=\"fusion-fullwidth fullwidth-box fusion-builder-row-1 fusion-flex-container nonhundred-percent-fullwidth non-hundred-percent-height-scrolling\" style=\"background-color: rgba(255,255,255,0);background-position: center center;background-repeat: no-repeat;border-width: 0px 0px 0px 0px;border-color:#e8eaf0;border-style:solid;\" ><div class=\"fusion-builder-row fusion-row fusion-flex-align-items-flex-start\" style=\"max-width:1310.4px;margin-left: calc(-4% \/ 2 );margin-right: calc(-4% \/ 2 );\"><div class=\"fusion-layout-column fusion_builder_column fusion-builder-column-0 fusion_builder_column_1_1 1_1 fusion-flex-column\"><div class=\"fusion-column-wrapper fusion-flex-justify-content-flex-start fusion-content-layout-column\" style=\"background-position:left top;background-repeat:no-repeat;-webkit-background-size:cover;-moz-background-size:cover;-o-background-size:cover;background-size:cover;padding: 0px 0px 0px 0px;\"><div class=\"fusion-text fusion-text-1\" style=\"line-height:26px;\"><h2>Marquez: Uma ferramenta de gerenciamento de metadados de c\u00f3digo aberto<\/h2>\n<p>Marquez \u00e9 um servi\u00e7o de metadados de c\u00f3digo aberto para coleta, agrega\u00e7\u00e3o e visualiza\u00e7\u00e3o de metadados do ecossistema de dados. Ele mant\u00e9m o consumo e a produ\u00e7\u00e3o do conjunto de dados, fornece visibilidade global do tempo de execu\u00e7\u00e3o do trabalho e da frequ\u00eancia de acesso ao conjunto de dados, fornece gerenciamento centralizado do ciclo de vida do conjunto de dados e muito mais. A WeWork lan\u00e7ou e tornou o Marquez de c\u00f3digo aberto.<\/p>\n<div id=\"attachment_4774\" style=\"width: 810px\" class=\"wp-caption aligncenter\"><img aria-describedby=\"caption-attachment-4774\" decoding=\"async\" class=\"size-fusion-800 wp-image-4774\" src=\"https:\/\/www.gudusoft.com\/wp-content\/uploads\/2022\/06\/Open_Source_Metadata_Management_Tool-800x827.png\" alt=\"Ferramenta de gerenciamento de metadados de c\u00f3digo aberto\" width=\"800\" height=\"827\" srcset=\"https:\/\/www.gudusoft.com\/wp-content\/uploads\/2022\/06\/Open_Source_Metadata_Management_Tool-200x207.png 200w, https:\/\/www.gudusoft.com\/wp-content\/uploads\/2022\/06\/Open_Source_Metadata_Management_Tool-290x300.png 290w, https:\/\/www.gudusoft.com\/wp-content\/uploads\/2022\/06\/Open_Source_Metadata_Management_Tool-400x413.png 400w, https:\/\/www.gudusoft.com\/wp-content\/uploads\/2022\/06\/Open_Source_Metadata_Management_Tool-600x620.png 600w, https:\/\/www.gudusoft.com\/wp-content\/uploads\/2022\/06\/Open_Source_Metadata_Management_Tool-768x794.png 768w, https:\/\/www.gudusoft.com\/wp-content\/uploads\/2022\/06\/Open_Source_Metadata_Management_Tool-800x827.png 800w, https:\/\/www.gudusoft.com\/wp-content\/uploads\/2022\/06\/Open_Source_Metadata_Management_Tool-991x1024.png 991w, https:\/\/www.gudusoft.com\/wp-content\/uploads\/2022\/06\/Open_Source_Metadata_Management_Tool.png 1078w\" sizes=\"(max-width: 800px) 100vw, 800px\" \/><p id=\"caption-attachment-4774\" class=\"wp-caption-text\">Ferramenta de gerenciamento de metadados de c\u00f3digo aberto<\/p><\/div>\n<h3>Caracter\u00edsticas do M\u00e1rquez:<\/h3>\n<p>1. O gerenciamento centralizado de metadados oferece suporte a:<\/p>\n<ul>\n<li><strong><a href=\"https:\/\/www.gudusoft.com\/pt\/whats-data-lineage-why-important\/\">Linhagem de dados<\/a><\/strong><\/li>\n<li>Governan\u00e7a de dados<\/li>\n<li>Sa\u00fade dos dados<\/li>\n<li>Descoberta e explora\u00e7\u00e3o de dados<\/li>\n<\/ul>\n<p>2. Modelo de dados preciso de alta dimens\u00e3o:<\/p>\n<ul>\n<li>Empregos<\/li>\n<li>Conjuntos de dados<\/li>\n<\/ul>\n<p>3. Colete metadados facilmente por meio de APIs de metadados especificadas:<\/p>\n<ul>\n<li>Preste aten\u00e7\u00e3o aos dados do conjunto de dados<\/li>\n<li>Reforce a propriedade do trabalho e do conjunto de dados<\/li>\n<li>Opera\u00e7\u00e3o e design simples com depend\u00eancias m\u00ednimas<\/li>\n<\/ul>\n<p>4. A API RESTful suporta integra\u00e7\u00e3o complexa com outros sistemas:<\/p>\n<ul>\n<li>\u00a0Fluxo de ar<\/li>\n<li>Amundsen<\/li>\n<li>\u00a0Punhal<\/li>\n<li>Projetado para promover um ecossistema de dados saud\u00e1vel, onde os membros da equipe de uma organiza\u00e7\u00e3o podem compartilhar facilmente e confiar com seguran\u00e7a nos conjuntos de dados uns dos outros.<\/li>\n<\/ul>\n<h3>Por que escolher M\u00e1rquez?<\/h3>\n<p>O Marquez oferece suporte a consultas de linhagem de dados altamente flex\u00edveis em conjuntos de dados completos, ao mesmo tempo em que correlaciona de forma confi\u00e1vel e eficiente os trabalhos e suas depend\u00eancias (upstream e downstream) entre a gera\u00e7\u00e3o e o consumo de conjuntos de dados.<\/p>\n<h3>O Design de M\u00e1rquez<\/h3>\n<p>Marquez \u00e9 um sistema modular que permite <a href=\"https:\/\/www.gudusoft.com\/pt\/o-que-e-gerenciamento-de-metadados\/\"><strong>gerenciamento de metadados<\/strong><\/a> como uma solu\u00e7\u00e3o de-plataforma altamente escal\u00e1vel e extens\u00edvel. Consiste nos seguintes sistemas:<\/p>\n<ul>\n<li>Reposit\u00f3rio de metadados: armazena todos os metadados de trabalhos e conjuntos de dados, incluindo hist\u00f3rico completo de execu\u00e7\u00f5es de trabalhos e estat\u00edsticas em n\u00edvel de trabalho (por exemplo: tempo total de execu\u00e7\u00e3o, tempo m\u00e9dio de execu\u00e7\u00e3o, sucesso\/falha, etc.).<\/li>\n<li>API de metadados: uma API RESTful permite que um conjunto diversificado de clientes colete metadados sobre a produ\u00e7\u00e3o e o consumo de conjuntos de dados.<\/li>\n<li>Interface de metadados: para descoberta de conjuntos de dados, conex\u00e3o de v\u00e1rios conjuntos de dados e explora\u00e7\u00e3o de seus gr\u00e1ficos de depend\u00eancia.<\/li>\n<\/ul>\n<div id=\"attachment_4778\" style=\"width: 810px\" class=\"wp-caption aligncenter\"><img aria-describedby=\"caption-attachment-4778\" decoding=\"async\" class=\"size-fusion-800 wp-image-4778\" src=\"https:\/\/www.gudusoft.com\/wp-content\/uploads\/2022\/06\/Open_Source_Metadata_Management_Tool-2-800x715.png\" alt=\"Ferramenta de gerenciamento de metadados de c\u00f3digo aberto\" width=\"800\" height=\"715\" srcset=\"https:\/\/www.gudusoft.com\/wp-content\/uploads\/2022\/06\/Open_Source_Metadata_Management_Tool-2-200x179.png 200w, https:\/\/www.gudusoft.com\/wp-content\/uploads\/2022\/06\/Open_Source_Metadata_Management_Tool-2-300x268.png 300w, https:\/\/www.gudusoft.com\/wp-content\/uploads\/2022\/06\/Open_Source_Metadata_Management_Tool-2-400x358.png 400w, https:\/\/www.gudusoft.com\/wp-content\/uploads\/2022\/06\/Open_Source_Metadata_Management_Tool-2-600x536.png 600w, https:\/\/www.gudusoft.com\/wp-content\/uploads\/2022\/06\/Open_Source_Metadata_Management_Tool-2-768x687.png 768w, https:\/\/www.gudusoft.com\/wp-content\/uploads\/2022\/06\/Open_Source_Metadata_Management_Tool-2-800x715.png 800w, https:\/\/www.gudusoft.com\/wp-content\/uploads\/2022\/06\/Open_Source_Metadata_Management_Tool-2.png 915w\" sizes=\"(max-width: 800px) 100vw, 800px\" \/><p id=\"caption-attachment-4778\" class=\"wp-caption-text\">Ferramenta de gerenciamento de metadados de c\u00f3digo aberto<\/p><\/div>\n<p>Para facilitar a ado\u00e7\u00e3o e permitir que diferentes aplicativos de processamento de dados tenham a coleta de metadados como um requisito central de seu design, a Marquez fornece clientes espec\u00edficos de linguagem que implementam a API de metadados. Como parte do lan\u00e7amento inicial, ele oferece suporte a Java e Python.<\/p>\n<p>A API de metadados \u00e9 uma abstra\u00e7\u00e3o para registrar informa\u00e7\u00f5es sobre a produ\u00e7\u00e3o e o uso de conjuntos de dados. \u00c9 uma camada sem estado de baixa lat\u00eancia e alta disponibilidade respons\u00e1vel por encapsular metadados persistentes e informa\u00e7\u00f5es de linhagem de cole\u00e7\u00e3o. A API permite que os clientes coletem e\/ou obtenham informa\u00e7\u00f5es de conjuntos de dados de um reposit\u00f3rio de metadados.<\/p>\n<p>Metadados precisam ser coletados, organizados e armazenados para consultas explorat\u00f3rias ricas por meio da UI de metadados. O reposit\u00f3rio de metadados \u00e9 um cat\u00e1logo abstrato de informa\u00e7\u00f5es de conjuntos de dados compactadas e limpas pela API de metadados.<\/p>\n<h3>O Modelo de Dados de Marquez<\/h3>\n<p>O modelo de dados de Marquez enfatiza a imutabilidade e o processamento just-in-time de conjuntos de dados. Os conjuntos de dados s\u00e3o gerados por execu\u00e7\u00f5es de trabalho, e o valor importa. As execu\u00e7\u00f5es de trabalho s\u00e3o vinculadas a c\u00f3digos de vers\u00e3o e produzem uma ou mais sa\u00eddas de vers\u00e3o imut\u00e1veis. As altera\u00e7\u00f5es no conjunto de dados s\u00e3o registradas em v\u00e1rios pontos da execu\u00e7\u00e3o do trabalho, incluindo o sucesso ou a falha da execu\u00e7\u00e3o em si, por meio de chamadas para a API leve.<\/p>\n<p>A figura abaixo mostra os metadados coletados e catalogados para um determinado trabalho em v\u00e1rias execu\u00e7\u00f5es e as altera\u00e7\u00f5es de s\u00e9ries temporais aplicadas ao seu conjunto de dados de entrada.<\/p>\n<div id=\"attachment_4780\" style=\"width: 810px\" class=\"wp-caption aligncenter\"><img aria-describedby=\"caption-attachment-4780\" decoding=\"async\" class=\"size-fusion-800 wp-image-4780\" src=\"https:\/\/www.gudusoft.com\/wp-content\/uploads\/2022\/06\/Open_Source_Metadata_Management_Tool-3-800x260.png\" alt=\"Ferramenta de gerenciamento de metadados de c\u00f3digo aberto\" width=\"800\" height=\"260\" srcset=\"https:\/\/www.gudusoft.com\/wp-content\/uploads\/2022\/06\/Open_Source_Metadata_Management_Tool-3-200x65.png 200w, https:\/\/www.gudusoft.com\/wp-content\/uploads\/2022\/06\/Open_Source_Metadata_Management_Tool-3-300x98.png 300w, https:\/\/www.gudusoft.com\/wp-content\/uploads\/2022\/06\/Open_Source_Metadata_Management_Tool-3-400x130.png 400w, https:\/\/www.gudusoft.com\/wp-content\/uploads\/2022\/06\/Open_Source_Metadata_Management_Tool-3-600x195.png 600w, https:\/\/www.gudusoft.com\/wp-content\/uploads\/2022\/06\/Open_Source_Metadata_Management_Tool-3-768x250.png 768w, https:\/\/www.gudusoft.com\/wp-content\/uploads\/2022\/06\/Open_Source_Metadata_Management_Tool-3-800x260.png 800w, https:\/\/www.gudusoft.com\/wp-content\/uploads\/2022\/06\/Open_Source_Metadata_Management_Tool-3-1024x333.png 1024w, https:\/\/www.gudusoft.com\/wp-content\/uploads\/2022\/06\/Open_Source_Metadata_Management_Tool-3.png 1080w\" sizes=\"(max-width: 800px) 100vw, 800px\" \/><p id=\"caption-attachment-4780\" class=\"wp-caption-text\">Ferramenta de gerenciamento de metadados de c\u00f3digo aberto<\/p><\/div>\n<ul>\n<li>Job: O job cont\u00e9m um propriet\u00e1rio, nome exclusivo, vers\u00e3o e uma descri\u00e7\u00e3o opcional. Um job define uma ou mais entradas de vers\u00e3o como depend\u00eancias e uma ou mais sa\u00eddas de vers\u00e3o como artefatos. Observe que um job pode definir apenas conjuntos de dados de entrada ou apenas conjuntos de dados de sa\u00edda.<\/li>\n<li>Vers\u00e3o do trabalho: Uma vers\u00e3o imut\u00e1vel somente leitura do trabalho, com um link referenciado exclusivamente, codificado no armazenamento para garantir a reprodu\u00e7\u00e3o do c\u00f3digo-fonte. Uma vers\u00e3o do trabalho associa um ou mais conjuntos de dados de entrada e sa\u00edda a uma defini\u00e7\u00e3o de trabalho (o fluxo de dados por v\u00e1rios trabalhos \u00e9 importante para documentar informa\u00e7\u00f5es de linhagem). Essas associa\u00e7\u00f5es categorizam links de origem e fornecem um fluxo visual poderoso de dados.<\/li>\n<li>Conjunto de dados: Um conjunto de dados tem um propriet\u00e1rio, nome exclusivo, esquema, vers\u00e3o e uma descri\u00e7\u00e3o opcional. O conjunto de dados est\u00e1 contido na fonte de dados. As fontes de dados podem agrupar conjuntos de dados f\u00edsicos em suas fontes f\u00edsicas. Cada conjunto de dados tem um ponteiro de vers\u00e3o para o conjunto de altera\u00e7\u00f5es hist\u00f3rico, mantido pelo Marquez. Quando as altera\u00e7\u00f5es do conjunto de dados s\u00e3o confirmadas de volta para o Marquez, um ID de vers\u00e3o exclusivo \u00e9 gerado, armazenado e, em seguida, definido para a vers\u00e3o atual, e o ponteiro \u00e9 atualizado internamente.<\/li>\n<li>Vers\u00e3o do conjunto de dados: a vers\u00e3o imut\u00e1vel somente leitura do conjunto de dados. Cada vers\u00e3o pode ser lida de forma independente, tem um ID exclusivo e mapeia para altera\u00e7\u00f5es no conjunto de dados para preservar seu estado em um ponto espec\u00edfico no tempo. O ID da vers\u00e3o mais recente \u00e9 atualizado somente quando as altera\u00e7\u00f5es no conjunto de dados s\u00e3o registradas. Para calcular IDs de vers\u00e3o distintos, o Marquez aplica recursos de controle de vers\u00e3o a um conjunto de propriedades correspondentes ao conjunto de dados da fonte de dados subjacente.<\/li>\n<\/ul>\n<h3>Conclus\u00e3o<\/h3>\n<p>Obrigado por ler nosso artigo e esperamos que ele possa ajud\u00e1-lo a ter um melhor entendimento do Marquez: uma ferramenta de gerenciamento de metadados de c\u00f3digo aberto. Se voc\u00ea quiser saber mais sobre gerenciamento de metadados, gostar\u00edamos de aconselh\u00e1-lo a visitar <a href=\"https:\/\/www.gudusoft.com\/pt\/\"><strong>Gudu SQLFlow<\/strong><\/a> para maiores informa\u00e7\u00f5es.<\/p>\n<p>Como um dos\u00a0<strong><a href=\"https:\/\/www.dpriver.com\/blog\/2022\/05\/11\/best-data-lineage-tools\/\" target=\"_blank\" rel=\"noopener noreferrer\">melhores ferramentas de linhagem de dados<\/a><\/strong>\u00a0dispon\u00edvel no mercado hoje, o Gudu SQLFlow n\u00e3o s\u00f3 pode analisar arquivos de script SQL, obter linhagem de dados e executar exibi\u00e7\u00e3o visual, mas tamb\u00e9m permitir que os usu\u00e1rios forne\u00e7am linhagem de dados em formato CSV e executem exibi\u00e7\u00e3o visual.\u00a0<strong>(Publicado por Ryan em 28 de junho de 2022)<\/strong><\/p>\n<\/div><\/div><\/div><style type=\"text\/css\">.fusion-body .fusion-builder-column-0{width:100% !important;margin-top : 0px;margin-bottom : 0px;}.fusion-builder-column-0 > .fusion-column-wrapper {padding-top : 0px !important;padding-right : 0px !important;margin-right : 1.92%;padding-bottom : 0px !important;padding-left : 0px !important;margin-left : 1.92%;}@media only screen and (max-width:1024px) {.fusion-body .fusion-builder-column-0{width:100% !important;}.fusion-builder-column-0 > .fusion-column-wrapper {margin-right : 1.92%;margin-left : 1.92%;}}@media only screen and (max-width:640px) {.fusion-body .fusion-builder-column-0{width:100% !important;}.fusion-builder-column-0 > .fusion-column-wrapper {margin-right : 1.92%;margin-left : 1.92%;}}<\/style><\/div><style type=\"text\/css\">.fusion-body .fusion-flex-container.fusion-builder-row-1{ padding-top : 0px;margin-top : 0px;padding-right : 0px;padding-bottom : 0px;margin-bottom : 0px;padding-left : 0px;}<\/style><\/div>","protected":false},"excerpt":{"rendered":"","protected":false},"author":27,"featured_media":4786,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":[],"categories":[178],"tags":[230,228,152,227,229,232,231],"_links":{"self":[{"href":"https:\/\/www.gudusoft.com\/pt\/wp-json\/wp\/v2\/posts\/4770"}],"collection":[{"href":"https:\/\/www.gudusoft.com\/pt\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/www.gudusoft.com\/pt\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/www.gudusoft.com\/pt\/wp-json\/wp\/v2\/users\/27"}],"replies":[{"embeddable":true,"href":"https:\/\/www.gudusoft.com\/pt\/wp-json\/wp\/v2\/comments?post=4770"}],"version-history":[{"count":14,"href":"https:\/\/www.gudusoft.com\/pt\/wp-json\/wp\/v2\/posts\/4770\/revisions"}],"predecessor-version":[{"id":4790,"href":"https:\/\/www.gudusoft.com\/pt\/wp-json\/wp\/v2\/posts\/4770\/revisions\/4790"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/www.gudusoft.com\/pt\/wp-json\/wp\/v2\/media\/4786"}],"wp:attachment":[{"href":"https:\/\/www.gudusoft.com\/pt\/wp-json\/wp\/v2\/media?parent=4770"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/www.gudusoft.com\/pt\/wp-json\/wp\/v2\/categories?post=4770"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/www.gudusoft.com\/pt\/wp-json\/wp\/v2\/tags?post=4770"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}