{"id":4639,"date":"2022-06-24T23:29:41","date_gmt":"2022-06-25T07:29:41","guid":{"rendered":"https:\/\/www.gudusoft.com\/?p=4639"},"modified":"2022-06-27T18:36:48","modified_gmt":"2022-06-28T02:36:48","slug":"metadata-management-for-data-warehouses","status":"publish","type":"post","link":"https:\/\/www.gudusoft.com\/pt\/gerenciamento-de-metadados-para-data-warehouses\/","title":{"rendered":"Gerenciamento de metadados para data warehouses | Gudu SQLFlow"},"content":{"rendered":"

Gerenciamento de Metadados para Data Warehouses<\/h2>\n

Gerenciamento de metadados<\/a><\/strong> \u00e9 a base do empreendimento governan\u00e7a de dados<\/a><\/strong> e a melhoria de Armaz\u00e9m de dados<\/a><\/strong>. Como algu\u00e9m que frequentemente trabalha com dados, a primeira tarefa \u00e9 entender o gerenciamento de metadados. Este artigo vai classificar o conceito de metadados e introduzir o gerenciamento de metadados para data warehouses.<\/p>\n

O que \u00e9 gerenciamento de metadados para data warehouses?<\/h3>\n

Antes de prosseguir, vamos descobrir o que s\u00e3o metadados<\/strong> e o que \u00e9 um data warehouse<\/strong>.<\/p>\n

Metadados<\/strong>, tamb\u00e9m conhecidos como dados intermedi\u00e1rios e dados de retransmiss\u00e3o, s\u00e3o dados sobre dados. Na maioria das vezes, metadados podem ser divididos em metadados de neg\u00f3cios e metadados t\u00e9cnicos de acordo com os diferentes significados que representam.<\/p>\n

UM Armaz\u00e9m de dados<\/strong> \u00e9 um reposit\u00f3rio central de informa\u00e7\u00f5es que podem ser analisadas para tomar melhores decis\u00f5es. Normalmente, os dados fluem regularmente para um data warehouse a partir de sistemas transacionais, bancos de dados relacionais e outras fontes. Analistas de neg\u00f3cios, engenheiros de dados<\/a><\/strong>, cientistas de dados<\/strong><\/a>, e os tomadores de decis\u00e3o acessam dados por meio de ferramentas de intelig\u00eancia empresarial (BI), clientes SQL e outros aplicativos anal\u00edticos.<\/p>\n

\"Gerenciamento

Gerenciamento de Metadados para Data Warehouses<\/p><\/div>\n

Ent\u00e3o, o que \u00e9 gerenciamento de metadados para data warehouses?<\/strong><\/p>\n

Os metadados no data warehouse registram principalmente a defini\u00e7\u00e3o de cada tema, o relacionamento de mapeamento entre diferentes n\u00edveis, o status dos dados do data warehouse de monitoramento e o status de execu\u00e7\u00e3o da tarefa. ETL<\/strong><\/a>. Geralmente, os metadados s\u00e3o armazenados e gerenciados uniformemente por meio do reposit\u00f3rio de metadados, e seu principal objetivo \u00e9 obter coordena\u00e7\u00e3o e consist\u00eancia no design, implanta\u00e7\u00e3o, opera\u00e7\u00e3o e gerenciamento do data warehouse.<\/p>\n

Metadados s\u00e3o uma parte importante do sistema de gerenciamento de data warehouse. O gerenciamento de metadados \u00e9 um componente-chave no data warehouse empresarial. Ele percorre todo o processo de constru\u00e7\u00e3o do data warehouse e afeta diretamente a constru\u00e7\u00e3o, o uso e a manuten\u00e7\u00e3o do data warehouse.<\/p>\n

Por que os data warehouses precisam de gerenciamento de metadados?<\/h3>\n
    \n
  1. Imprescind\u00edvel para a constru\u00e7\u00e3o de data warehouse<\/strong>: O data warehouse \u00e9 obtido de dados externos, dados de neg\u00f3cios e documentos por meio de algumas ferramentas ETL. Sem uma regra clara e clara, \u00e9 imposs\u00edvel realizar esse processo.<\/li>\n
  2. Ajuda a entender rapidamente o sistema de data warehouse<\/strong>: Por um lado, o data warehouse \u00e9 essencialmente um projeto importante de um departamento ou mesmo de uma empresa, e o tempo de desenvolvimento \u00e9 longo. Haver\u00e1 inevitavelmente um fluxo de pessoas no meio. Se n\u00e3o houver metadados claros, isso ter\u00e1 um grande impacto em todo o sistema e em todo o projeto. Por outro lado, o data warehouse serve como exporta\u00e7\u00e3o de dados anal\u00edticos para todo o departamento e empresa, n\u00e3o apenas para o pessoal de dados. A camada DM \u00e9 inevit\u00e1vel para pessoas de neg\u00f3cios e DIM para outros desenvolvedores. Se houver metadados claros para descrever o sistema de data warehouse, isso economizar\u00e1 muito tempo de comunica\u00e7\u00e3o entre as duas partes.<\/li>\n
  3. Comunica\u00e7\u00e3o eficiente e precisa<\/strong>: Por um lado, os metadados de gerenciamento nos metadados registram as permiss\u00f5es de dados de diferentes usu\u00e1rios, fun\u00e7\u00f5es e departamentos. Se houver dados que precisam ser notificados, voc\u00ea pode consultar rapidamente o sistema para se comunicar por e-mails em massa, etc., para evitar a situa\u00e7\u00e3o de falta de pessoas e muitas pessoas no link de comunica\u00e7\u00e3o. Por outro lado, ao se comunicar com produtos ou se comunicar com P&D, voc\u00ea pode confirmar o significado de indicadores e dimens\u00f5es de comunica\u00e7\u00e3o m\u00fatua com base em metadados de neg\u00f3cios, para evitar a ambiguidade da comunica\u00e7\u00e3o na raiz e, assim, melhorar a efici\u00eancia da comunica\u00e7\u00e3o.<\/li>\n
  4. Garantido<\/strong> qualidade dos dados<\/strong><\/a>:Os metadados ideais descrevem a estrutura do data warehouse, o esquema do warehouse, as dimens\u00f5es, medidas, hierarquias, defini\u00e7\u00f5es dos bancos de dados em todos os lugares e a localiza\u00e7\u00e3o e o conte\u00fado do data marts<\/a><\/strong>. Portanto, podemos julgar com certeza quais dados s\u00e3o definitivamente precisos, quais dados podem estar com defeito e quais dados est\u00e3o definitivamente com defeito. Simplificando, cada campo deve ter seu intervalo de valor, defini\u00e7\u00e3o de neg\u00f3cio e outras informa\u00e7\u00f5es. Uma vez que os metadados s\u00e3o definidos, eles podem ser aplicados \u00e0 detec\u00e7\u00e3o de qualidade de dados, avalia\u00e7\u00e3o, etc., de modo a realmente melhorar a qualidade de dados das empresas por meio do processo de gerenciamento de qualidade de dados.<\/li>\n
  5. Reduza os custos de constru\u00e7\u00e3o do sistema de dados<\/strong>: Se os metadados estiverem bem estabelecidos, as informa\u00e7\u00f5es ser\u00e3o obtidas com mais precis\u00e3o e rapidez, de modo que a constru\u00e7\u00e3o do sistema de dados n\u00e3o ser\u00e1 retrabalhada ou menos retrabalhada, a carga de trabalho de an\u00e1lise ser\u00e1 reduzida, o entendimento unificado e a efici\u00eancia da comunica\u00e7\u00e3o de todas as partes ser\u00e3o fortalecidos e o custo de desenvolvimento ser\u00e1 minimizado.<\/li>\n
  6. Analise rapidamente o impacto da mudan\u00e7a<\/strong>: Como os metadados s\u00e3o mantidos e gerenciados centralmente com relacionamentos de refer\u00eancia, quando ocorrem altera\u00e7\u00f5es, o sistema de gerenciamento de metadados pode ser usado para analisar em tempo real as fun\u00e7\u00f5es comerciais afetadas, os sistemas de aplicativos, o pessoal envolvido e se a supervis\u00e3o est\u00e1 envolvida.<\/li>\n
  7. Prepare-se para o futuro<\/strong>: Sistemas de aplica\u00e7\u00e3o de n\u00edvel estrat\u00e9gico de empresas, como big data, intelig\u00eancia artificial, lago de dados<\/strong><\/a>, data center e intelig\u00eancia empresarial podem contar com um bom gerenciamento de metadados para exercer seus devidos efeitos.<\/li>\n<\/ol>\n

    Cen\u00e1rios de aplica\u00e7\u00e3o de metadados<\/h3>\n
      \n
    1. An\u00e1lise de impacto<\/strong>: Durante o desenvolvimento, frequentemente encontramos os seguintes problemas: Se eu quiser alterar uma tabela ou ETL, qual ser\u00e1 o impacto? Se n\u00e3o houver metadados, ent\u00e3o podemos precisar percorrer todos os scripts e dados para obter a resposta desejada; no entanto, se houver gerenciamento de metadados maduro, ent\u00e3o podemos obter a resposta diretamente e economizar muito tempo.<\/li>\n
    2. An\u00e1lise de linhagem de dados<\/strong><\/a>: A an\u00e1lise de linhagem de dados \u00e9 um meio t\u00e9cnico usado para rastrear de forma abrangente o processo de processamento de dados, de modo a encontrar todos os objetos de metadados relacionados a partir de um objeto de dados e o relacionamento entre esses objetos de metadados. O relacionamento entre objetos de metadados se refere especificamente ao relacionamento de entrada e sa\u00edda do fluxo de dados que representa esses objetos de metadados. Ap\u00f3s o sistema de gerenciamento de metadados ser formado, podemos analisar a sa\u00fade dos dados, distribui\u00e7\u00e3o de dados, concentra\u00e7\u00e3o e calor dos dados no data warehouse por meio da an\u00e1lise de relacionamento de linhagem.<\/li>\n
    3. Gerenciamento de automa\u00e7\u00e3o ETL<\/strong>: No warehouse, uma grande parte do ETL s\u00e3o etapas chatas e repetitivas. Por exemplo, na camada do sistema de origem-ODS: entrada de tabela \u2013 sa\u00edda de tabela. Outro exemplo \u00e9 ODS-DW: entrada SQL \u2013 limpeza de dados \u2013 processamento de dados \u2013 sa\u00edda de tabela. As regras acima s\u00e3o, na verdade, parte dos metadados. Isso pode ser alcan\u00e7ado em teoria, escreva um script fixo e, em seguida, selecione-o por meio do front-end \u2013 ou interface de API. Dessa forma, o ETL repetido pode ser gerenciado automaticamente para reduzir o custo de tempo do desenvolvimento de ETL.<\/li>\n
    4. Gest\u00e3o da qualidade dos dados<\/strong>: A l\u00f3gica da limpeza de dados pode ser simplesmente dividida em diferentes tipos de dados e colunas de processamento especiais designadas. Precisamos apenas especificar regras de limpeza padr\u00e3o para diferentes tipos de dados e l\u00f3gica de processamento especial para algumas colunas especiais para obter uma limpeza de dados inteligente e r\u00e1pida. O gerenciamento de qualidade de dados pertence \u00e0 interse\u00e7\u00e3o da governan\u00e7a de dados e do gerenciamento de metadados e \u00e9 mais inclinado \u00e0 governan\u00e7a de dados.<\/li>\n
    5. Gest\u00e3o de seguran\u00e7a de dados<\/strong>: No data center que Ali defende, todos os indicadores de interface de dados ser\u00e3o exportados do data warehouse. Portanto, em teoria, voc\u00ea s\u00f3 precisa configurar a permiss\u00e3o de gerenciamento de metadados nesses metadados para obter o gerenciamento de seguran\u00e7a de dados para toda a empresa.<\/li>\n<\/ol>\n

      Conclus\u00e3o<\/h3>\n

      Obrigado por ler nosso artigo e esperamos que ele possa ajud\u00e1-lo a ter uma melhor compreens\u00e3o de gerenciamento de metadados para data warehouses<\/strong>. Se voc\u00ea quiser saber mais sobre gerenciamento de metadados para data warehouses, gostar\u00edamos de aconselh\u00e1-lo a visitar Gudu SQLFlow<\/a><\/strong> para maiores informa\u00e7\u00f5es.<\/p>\n

      Como um dos\u00a0melhores ferramentas de linhagem de dados<\/a><\/strong> dispon\u00edvel no mercado hoje, o Gudu SQLFlow n\u00e3o s\u00f3 pode analisar arquivos de script SQL, obter linhagem de dados e executar exibi\u00e7\u00e3o visual, mas tamb\u00e9m permitir que os usu\u00e1rios forne\u00e7am linhagem de dados em formato CSV e executem exibi\u00e7\u00e3o visual.\u00a0(Publicado por Ryan em 25 de junho de 2022)<\/strong><\/p>\n<\/div><\/div><\/div>