{"id":4867,"date":"2022-06-30T21:20:16","date_gmt":"2022-07-01T05:20:16","guid":{"rendered":"https:\/\/www.gudusoft.com\/?p=4867"},"modified":"2022-09-17T14:25:47","modified_gmt":"2022-09-17T22:25:47","slug":"enterprise-metadata-management-platform","status":"publish","type":"post","link":"https:\/\/www.gudusoft.com\/pt\/plataforma-de-gerenciamento-de-metadados-corporativos\/","title":{"rendered":"Plataforma de gerenciamento de metadados corporativos na era do Big Data"},"content":{"rendered":"

Plataforma de gerenciamento de metadados corporativos<\/h2>\n

Sob a influ\u00eancia de todos os tipos de digitaliza\u00e7\u00e3o, \u00e9 crucial integrar e utilizar os diversos metadados no ambiente empresarial. Para as empresas, a escolha de um ferramenta de gerenciamento de metadados<\/strong><\/a> que lhes conv\u00e9m maximizar\u00e1 o papel dos metadados para ajudar as empresas a atingir seus objetivos estrat\u00e9gicos em termos de dados.<\/p>\n

Diferentes fun\u00e7\u00f5es em uma empresa podem ter expectativas diferentes em rela\u00e7\u00e3o \u00e0s ferramentas de metadados, mas essas expectativas podem ser basicamente mapeadas para os dez principais recursos das ferramentas de gerenciamento de metadados. \u00c9 claro que esses recursos s\u00e3o suportados por tecnologias-chave. "O gerenciamento de metadados ser\u00e1 a infraestrutura central da informatiza\u00e7\u00e3o empresarial do futuro."<\/p>\n

Na verdade, no ambiente de big data, se a empresa n\u00e3o gerencia uma variedade de informa\u00e7\u00f5es complexas por meio gerenciamento de metadados<\/strong><\/a>, \u00e9 dif\u00edcil utilizar as informa\u00e7\u00f5es de forma eficaz. No entanto, muitas empresas est\u00e3o gradualmente descobrindo que o valor diretamente agregado pela gest\u00e3o de metadados \u00e0 inova\u00e7\u00e3o empresarial \u00e9 muito limitado.<\/p>\n

\"\"

Gerenciamento de Metadados Empresariais<\/p><\/div>\n

Qual \u00e9 o estado atual do gerenciamento de metadados?<\/h3>\n

As principais raz\u00f5es pelas quais a gest\u00e3o de metadados n\u00e3o pode trazer valor direto \u00e0 inova\u00e7\u00e3o empresarial residem nos quatro aspectos seguintes:<\/p>\n

    \n
  1. Escopo de gest\u00e3o restrito<\/strong>:O \u00e2mbito actualmente restrito da gest\u00e3o de metadados reflecte-se principalmente em dois aspectos: primeiro, apenas os metadados relacionados com armaz\u00e9ns de dados<\/strong><\/a> s\u00e3o gerenciados, e o gerenciamento de metadados n\u00e3o se estende a todo o n\u00edvel corporativo; em segundo lugar, mesmo na \u00e1rea de data warehouses, apenas parte dos metadados t\u00e9cnicos \u00e9 gerenciada. A falta de metadados t\u00e9cnicos impede que o sistema de metadados mostre a situa\u00e7\u00e3o real do sistema corporativo. A falta de metadados de neg\u00f3cios resulta em apenas um conjunto de estruturas de tabelas sem significados comerciais espec\u00edficos.<\/li>\n
  2. Dificuldade de integra\u00e7\u00e3o de neg\u00f3cios<\/strong>Devido \u00e0 falta de integra\u00e7\u00e3o com os neg\u00f3cios, muitas empresas, ap\u00f3s conclu\u00edrem o sistema de gerenciamento de metadados, descobrem que apenas o pessoal interno do departamento de gerenciamento de dados o utiliza, e que pessoas de outros departamentos n\u00e3o conseguem utiliz\u00e1-lo. Todos os sistemas devem servir aos neg\u00f3cios. Um sistema usado por apenas um departamento \u00e9 inerte. \u00c9 muito importante que todos os departamentos utilizem o sistema de gerenciamento de metadados.<\/li>\n
  3. Falta de cen\u00e1rios de aplica\u00e7\u00e3o<\/strong>:Atualmente, a maioria dos cen\u00e1rios de aplica\u00e7\u00e3o de metadados se limita \u00e0s fun\u00e7\u00f5es internas do sistema de metadados, como an\u00e1lise de linhagem, gerenciamento de vers\u00e3o, etc. Essas fun\u00e7\u00f5es s\u00e3o usadas por empresas na informatiza\u00e7\u00e3o, mas, na verdade, o papel dos metadados n\u00e3o se reflete apenas nessas fun\u00e7\u00f5es limitadas.<\/li>\n
  4. Tecnologia imperfeita<\/strong>: A tecnologia imperfeita levou ao surgimento da s\u00e9rie de problemas acima. A escalabilidade n\u00e3o \u00e9 forte, de modo que muitas ferramentas de gerenciamento de metadados n\u00e3o conseguem gerenciar os dados e a estrutura da empresa; a capacidade de coleta \u00e9 baixa, resultando em apenas registros auxiliares manuais, altos custos de m\u00e3o de obra e incapacidade de estabelecer um link completo de informa\u00e7\u00f5es; o desempenho em tempo real n\u00e3o \u00e9 alto, resultando no gerenciamento de metadados de muitas empresas ainda no est\u00e1gio T+1 (ou mesmo n\u00e3o T+1), incapazes de compreender o status dos ativos de dados em tempo real e incapazes de acompanhar a velocidade de crescimento dos dados corporativos.<\/li>\n<\/ol>\n

    H\u00e1 uma demanda crescente por gerenciamento de metadados empresariais no mercado hoje:<\/h3>\n

    1. A digitaliza\u00e7\u00e3o est\u00e1 acelerando e a quantidade de dados na empresa cresceu exponencialmente.<\/strong><\/p>\n

    Com o advento da era digital, muitas informa\u00e7\u00f5es complexas e mut\u00e1veis podem ser transformadas em dados mensur\u00e1veis e inseridas no computador para processamento unificado. Estudos relevantes mostram que os dados coletados e utilizados pelas empresas aumentar\u00e3o exponencialmente a cada ano. Gerenciar com efic\u00e1cia essas enormes quantidades de dados requer gerenciamento de metadados corporativos.<\/p>\n

    2. O surgimento de tecnologias relacionadas a big data permite que as empresas vejam novas oportunidades.<\/strong><\/p>\n

    As tecnologias relacionadas a big data permitem que o valor dos dados corporativos seja totalmente explorado, mas big data geralmente significa a coleta, dissemina\u00e7\u00e3o e compartilhamento de muitas fontes de dados, como dados pessoais m\u00f3veis, dados de redes sociais, dados p\u00fablicos, dados da Internet das Coisas, etc. O processo precisa do suporte do gerenciamento de metadados corporativos.<\/p>\n

    3. Aumento da demanda empresarial por governan\u00e7a de dados.<\/strong><\/p>\n

    Hoje em dia, as empresas est\u00e3o atentas \u00e0 forma como utilizam o big data, mas a premissa da aplica\u00e7\u00e3o do big data \u00e9 ter dados de alta qualidade<\/strong><\/a>Hoje em dia, muitas empresas possuem diversos formatos de dados internos e padr\u00f5es diferentes. As aplica\u00e7\u00f5es de big data geralmente come\u00e7am com governan\u00e7a de dados<\/strong><\/a>. Como um meio importante de governan\u00e7a de dados empresariais, o gerenciamento de dados inevitavelmente atrair\u00e1 a aten\u00e7\u00e3o de empresas nacionais e estrangeiras.<\/p>\n

    Como desbloquear totalmente o valor comercial do gerenciamento de metadados?<\/h3>\n

    Metadados tamb\u00e9m definem atributos de acordo com cen\u00e1rios de neg\u00f3cios reais. Metadados ter\u00e3o atributos comuns, como nome e tipo. Diferentes tipos de metadados tamb\u00e9m ter\u00e3o seus pr\u00f3prios atributos espec\u00edficos. Como metadados tamb\u00e9m s\u00e3o dados, eles devem ser armazenados no banco de dados. O reposit\u00f3rio de metadados refere-se \u00e0 tabela f\u00edsica do banco de dados que armazena metadados. Normalmente, um banco de dados relacional de c\u00f3digo aberto (MySQL) \u00e9 usado para realizar o armazenamento de metadados. A seguir, descrevemos como gerenciar metadados sob v\u00e1rios aspectos:<\/p>\n

    1. Determine o escopo dos metadados.<\/strong><\/p>\n

    Primeiro, determine o escopo das fontes de metadados. No trabalho pr\u00e1tico, nem todos os dados precisam ser gerenciados por metadados. Normalmente, escolhemos dados corporativos para o gerenciamento de metadados. Dados n\u00e3o corporativos n\u00e3o ser\u00e3o inclu\u00eddos no escopo do gerenciamento, principalmente porque o gerenciamento de metadados visa fornecer \u00e0s empresas e aos desenvolvedores uma compreens\u00e3o r\u00e1pida dos dados corporativos.<\/p>\n

    Ap\u00f3s a defini\u00e7\u00e3o das regras, \u00e9 necess\u00e1rio identificar quais sistemas de neg\u00f3cios, bancos de dados, usu\u00e1rios de banco de dados e tabelas precisam de gerenciamento de metadados, com base na situa\u00e7\u00e3o real da empresa. Obviamente, tamb\u00e9m \u00e9 poss\u00edvel realizar a extra\u00e7\u00e3o de metadados n\u00e3o estruturados, como Word, PDF, etc.<\/p>\n

    2. Acessar metadados<\/strong><\/p>\n

    Os metadados s\u00e3o acessados, geralmente, a partir do sistema de origem. Se a empresa j\u00e1 possui um data warehouse ou os requisitos de tempo real n\u00e3o s\u00e3o altos, para economizar a carga de trabalho de desenvolvimento, os metadados existentes ser\u00e3o acessados a partir do data warehouse e os n\u00e3o conectados ser\u00e3o acessados a partir do sistema de origem. No entanto, essa solu\u00e7\u00e3o tamb\u00e9m \u00e9 arriscada. Se os dados do data warehouse forem inconsistentes com o sistema de origem, isso levar\u00e1 a erros de metadados. A maior parte da extra\u00e7\u00e3o de metadados agora \u00e9 feita por meio da automa\u00e7\u00e3o de configura\u00e7\u00e3o.<\/p>\n

    3. Estabelecer padr\u00f5es de metadados.<\/strong><\/p>\n

    Durante o processo de classifica\u00e7\u00e3o, pode haver alguns bancos de dados ou defini\u00e7\u00f5es de dados n\u00e3o padronizados, resultando na incapacidade de gerenciar metadados. Em seguida, \u00e9 necess\u00e1rio estabelecer uma especifica\u00e7\u00e3o de gerenciamento de metadados para reverter os dados de origem do front-end para retifica\u00e7\u00e3o, principalmente para garantir a integridade e a consist\u00eancia dos metadados.<\/p>\n

    De acordo com os requisitos de diferentes tipos de empresas, os metadados estar\u00e3o dispon\u00edveis para diferentes grupos. Portanto, o processo de gerenciamento de permiss\u00f5es de metadados precisa ser definido nas especifica\u00e7\u00f5es, incluindo a camada de permiss\u00e3o de metadados, o processo de solicita\u00e7\u00e3o de permiss\u00e3o de metadados, o processo de libera\u00e7\u00e3o de metadados e o processo de aprova\u00e7\u00e3o de metadados.<\/p>\n

    4. Manuten\u00e7\u00e3o de metadados.<\/strong><\/p>\n

    A manuten\u00e7\u00e3o de metadados consiste principalmente em manter e gerenciar os metadados que foram divulgados. Se os metadados divulgados online precisarem ser ajustados ou otimizados, eles dever\u00e3o passar pelo processo de divulga\u00e7\u00e3o de metadados novamente, e a modifica\u00e7\u00e3o direta dos metadados n\u00e3o \u00e9 permitida. Por motivos de seguran\u00e7a, todas as opera\u00e7\u00f5es com metadados devem ser registradas no log de opera\u00e7\u00f5es de metadados.<\/p>\n

    Voc\u00ea pode criar cat\u00e1logos para metadados, pendurar metadados diferentes nos cat\u00e1logos correspondentes e projetar os cat\u00e1logos correspondentes de acordo com processos de neg\u00f3cios, dom\u00ednios de assuntos de neg\u00f3cios e processos de desenvolvimento, principalmente com base nos requisitos da empresa.<\/p>\n

    5. Pesquisa, an\u00e1lise e relat\u00f3rios de metadados.<\/strong><\/p>\n

    H\u00e1 uma p\u00e1gina separada para oferecer suporte \u00e0 busca r\u00e1pida, precisa ou difusa, de metadados, e para encontrar os metadados correspondentes inserindo informa\u00e7\u00f5es importantes. Metadados tamb\u00e9m podem ser considerados um tipo de ativo de dados, portanto, precisamos gerar um relat\u00f3rio de ativos de metadados, a partir do qual possamos entender rapidamente a popularidade do acesso aos metadados, o valor dos dados, o custo dos dados, a distribui\u00e7\u00e3o dos dados e outras informa\u00e7\u00f5es relacionadas.<\/p>\n

    Quais s\u00e3o as aplica\u00e7\u00f5es dos metadados?<\/h3>\n

    As empresas possuem neg\u00f3cios diversificados e produtos complexos, gerando uma grande quantidade de dados em diversos sistemas e aplica\u00e7\u00f5es. Com metadados, podemos entender quais dados a empresa possui, o que os dados representam, de onde v\u00eam, como fluem no sistema, etc., realizar o gerenciamento de metadados e construir aplica\u00e7\u00f5es de metadados, como termos de neg\u00f3cios, padr\u00f5es de dados, dicion\u00e1rios de dados, cat\u00e1logos de ativos de dados, etc. linhagem de dados<\/strong><\/a> an\u00e1lise, mapas de dados, etc. Falaremos principalmente sobre relacionamento de linhagem de dados e mapa de dados a seguir.<\/p>\n

    1. An\u00e1lise de linhagem de dados<\/strong><\/p>\n

    A linhagem de dados \u00e9 uma aplica\u00e7\u00e3o importante de metadados, que pode descrever a rela\u00e7\u00e3o entre dados e dados. Por exemplo, esta tabela \u00e9 extra\u00edda de um determinado sistema. Qual \u00e9 a rela\u00e7\u00e3o entre este campo e aquele campo, incluindo a rela\u00e7\u00e3o de linhagem do cluster, a rela\u00e7\u00e3o de linhagem do sistema, a rela\u00e7\u00e3o de linhagem no n\u00edvel da tabela e a rela\u00e7\u00e3o de linhagem do campo? Ela aponta para a fonte upstream dos dados e rastreia a fonte upstream.<\/p>\n

    Os dados de rastreabilidade ascendente e descendente em n\u00edvel de tabela e de campo podem mostrar claramente o contexto l\u00f3gico do processamento de dados, localizar rapidamente o intervalo de impacto de campos de dados anormais, delinear com precis\u00e3o o intervalo m\u00ednimo de retrocesso de dados e reduzir o custo de compreens\u00e3o dos dados e resolu\u00e7\u00e3o de problemas de dados. A an\u00e1lise de linhagem pode atender aos requisitos regulat\u00f3rios e de conformidade especiais dos dados apresentados em diversos setores, incluindo sa\u00fade, finan\u00e7as, bancos e manufatura, entre outros.<\/p>\n

    Al\u00e9m disso, a an\u00e1lise de impacto tamb\u00e9m faz parte da aplica\u00e7\u00e3o de relacionamento de linhagem, que \u00e9 usada para analisar o fluxo de dados downstream. Quando o sistema \u00e9 atualizado, ele pode notificar o sistema downstream sobre altera\u00e7\u00f5es e exclus\u00f5es din\u00e2micas na estrutura de dados em tempo h\u00e1bil. Por meio da an\u00e1lise de impacto dependente de dados, \u00e9 poss\u00edvel localizar rapidamente quais sistemas downstream, quais tabelas e quais campos ser\u00e3o afetados pela modifica\u00e7\u00e3o de metadados, reduzindo assim os riscos decorrentes de atualiza\u00e7\u00f5es do sistema.<\/p>\n

    2. Mapa de dados<\/strong><\/p>\n

    Em todo o sistema de dados, o mapa de dados assume o papel de um gerenciador. Ele exibe as informa\u00e7\u00f5es dos dados de forma gr\u00e1fica e indica diversos par\u00e2metros de informa\u00e7\u00e3o necess\u00e1rios para o c\u00e1lculo dos dados. Ele pode ser utilizado n\u00e3o apenas por desenvolvedores de dados, mas tamb\u00e9m por produtos. E a opera\u00e7\u00e3o tamb\u00e9m \u00e9 muito intuitiva. Ele cont\u00e9m as seguintes partes:<\/p>\n