Plataforma de gerenciamento de metadados corporativos

Sob a influência de todos os tipos de digitalização, é crucial integrar e utilizar os diversos metadados no ambiente empresarial. Para as empresas, a escolha de um ferramenta de gerenciamento de metadados que lhes convém maximizará o papel dos metadados para ajudar as empresas a atingir seus objetivos estratégicos em termos de dados.

Diferentes funções em uma empresa podem ter expectativas diferentes em relação às ferramentas de metadados, mas essas expectativas podem ser basicamente mapeadas para os dez principais recursos das ferramentas de gerenciamento de metadados. É claro que esses recursos são suportados por tecnologias-chave. "O gerenciamento de metadados será a infraestrutura central da informatização empresarial do futuro."

Na verdade, no ambiente de big data, se a empresa não gerencia uma variedade de informações complexas por meio gerenciamento de metadados, é difícil utilizar as informações de forma eficaz. No entanto, muitas empresas estão gradualmente descobrindo que o valor diretamente agregado pela gestão de metadados à inovação empresarial é muito limitado.

Gerenciamento de Metadados Empresariais

Qual é o estado atual do gerenciamento de metadados?

As principais razões pelas quais a gestão de metadados não pode trazer valor direto à inovação empresarial residem nos quatro aspectos seguintes:

1. Escopo de gestão restrito:O âmbito actualmente restrito da gestão de metadados reflecte-se principalmente em dois aspectos: primeiro, apenas os metadados relacionados com armazéns de dados são gerenciados, e o gerenciamento de metadados não se estende a todo o nível corporativo; em segundo lugar, mesmo na área de data warehouses, apenas parte dos metadados técnicos é gerenciada. A falta de metadados técnicos impede que o sistema de metadados mostre a situação real do sistema corporativo. A falta de metadados de negócios resulta em apenas um conjunto de estruturas de tabelas sem significados comerciais específicos.
2. Dificuldade de integração de negóciosDevido à falta de integração com os negócios, muitas empresas, após concluírem o sistema de gerenciamento de metadados, descobrem que apenas o pessoal interno do departamento de gerenciamento de dados o utiliza, e que pessoas de outros departamentos não conseguem utilizá-lo. Todos os sistemas devem servir aos negócios. Um sistema usado por apenas um departamento é inerte. É muito importante que todos os departamentos utilizem o sistema de gerenciamento de metadados.
3. Falta de cenários de aplicação:Atualmente, a maioria dos cenários de aplicação de metadados se limita às funções internas do sistema de metadados, como análise de linhagem, gerenciamento de versão, etc. Essas funções são usadas por empresas na informatização, mas, na verdade, o papel dos metadados não se reflete apenas nessas funções limitadas.
4. Tecnologia imperfeita: A tecnologia imperfeita levou ao surgimento da série de problemas acima. A escalabilidade não é forte, de modo que muitas ferramentas de gerenciamento de metadados não conseguem gerenciar os dados e a estrutura da empresa; a capacidade de coleta é baixa, resultando em apenas registros auxiliares manuais, altos custos de mão de obra e incapacidade de estabelecer um link completo de informações; o desempenho em tempo real não é alto, resultando no gerenciamento de metadados de muitas empresas ainda no estágio T+1 (ou mesmo não T+1), incapazes de compreender o status dos ativos de dados em tempo real e incapazes de acompanhar a velocidade de crescimento dos dados corporativos.

Há uma demanda crescente por gerenciamento de metadados empresariais no mercado hoje:

1. A digitalização está acelerando e a quantidade de dados na empresa cresceu exponencialmente.

Com o advento da era digital, muitas informações complexas e mutáveis podem ser transformadas em dados mensuráveis e inseridas no computador para processamento unificado. Estudos relevantes mostram que os dados coletados e utilizados pelas empresas aumentarão exponencialmente a cada ano. Gerenciar com eficácia essas enormes quantidades de dados requer gerenciamento de metadados corporativos.

2. O surgimento de tecnologias relacionadas a big data permite que as empresas vejam novas oportunidades.

As tecnologias relacionadas a big data permitem que o valor dos dados corporativos seja totalmente explorado, mas big data geralmente significa a coleta, disseminação e compartilhamento de muitas fontes de dados, como dados pessoais móveis, dados de redes sociais, dados públicos, dados da Internet das Coisas, etc. O processo precisa do suporte do gerenciamento de metadados corporativos.

3. Aumento da demanda empresarial por governança de dados.

Hoje em dia, as empresas estão atentas à forma como utilizam o big data, mas a premissa da aplicação do big data é ter dados de alta qualidadeHoje em dia, muitas empresas possuem diversos formatos de dados internos e padrões diferentes. As aplicações de big data geralmente começam com governança de dados. Como um meio importante de governança de dados empresariais, o gerenciamento de dados inevitavelmente atrairá a atenção de empresas nacionais e estrangeiras.

Como desbloquear totalmente o valor comercial do gerenciamento de metadados?

Metadados também definem atributos de acordo com cenários de negócios reais. Metadados terão atributos comuns, como nome e tipo. Diferentes tipos de metadados também terão seus próprios atributos específicos. Como metadados também são dados, eles devem ser armazenados no banco de dados. O repositório de metadados refere-se à tabela física do banco de dados que armazena metadados. Normalmente, um banco de dados relacional de código aberto (MySQL) é usado para realizar o armazenamento de metadados. A seguir, descrevemos como gerenciar metadados sob vários aspectos:

1. Determine o escopo dos metadados.

Primeiro, determine o escopo das fontes de metadados. No trabalho prático, nem todos os dados precisam ser gerenciados por metadados. Normalmente, escolhemos dados corporativos para o gerenciamento de metadados. Dados não corporativos não serão incluídos no escopo do gerenciamento, principalmente porque o gerenciamento de metadados visa fornecer às empresas e aos desenvolvedores uma compreensão rápida dos dados corporativos.

Após a definição das regras, é necessário identificar quais sistemas de negócios, bancos de dados, usuários de banco de dados e tabelas precisam de gerenciamento de metadados, com base na situação real da empresa. Obviamente, também é possível realizar a extração de metadados não estruturados, como Word, PDF, etc.

2. Acessar metadados

Os metadados são acessados, geralmente, a partir do sistema de origem. Se a empresa já possui um data warehouse ou os requisitos de tempo real não são altos, para economizar a carga de trabalho de desenvolvimento, os metadados existentes serão acessados a partir do data warehouse e os não conectados serão acessados a partir do sistema de origem. No entanto, essa solução também é arriscada. Se os dados do data warehouse forem inconsistentes com o sistema de origem, isso levará a erros de metadados. A maior parte da extração de metadados agora é feita por meio da automação de configuração.

3. Estabelecer padrões de metadados.

Durante o processo de classificação, pode haver alguns bancos de dados ou definições de dados não padronizados, resultando na incapacidade de gerenciar metadados. Em seguida, é necessário estabelecer uma especificação de gerenciamento de metadados para reverter os dados de origem do front-end para retificação, principalmente para garantir a integridade e a consistência dos metadados.

De acordo com os requisitos de diferentes tipos de empresas, os metadados estarão disponíveis para diferentes grupos. Portanto, o processo de gerenciamento de permissões de metadados precisa ser definido nas especificações, incluindo a camada de permissão de metadados, o processo de solicitação de permissão de metadados, o processo de liberação de metadados e o processo de aprovação de metadados.

4. Manutenção de metadados.

A manutenção de metadados consiste principalmente em manter e gerenciar os metadados que foram divulgados. Se os metadados divulgados online precisarem ser ajustados ou otimizados, eles deverão passar pelo processo de divulgação de metadados novamente, e a modificação direta dos metadados não é permitida. Por motivos de segurança, todas as operações com metadados devem ser registradas no log de operações de metadados.

Você pode criar catálogos para metadados, pendurar metadados diferentes nos catálogos correspondentes e projetar os catálogos correspondentes de acordo com processos de negócios, domínios de assuntos de negócios e processos de desenvolvimento, principalmente com base nos requisitos da empresa.

5. Pesquisa, análise e relatórios de metadados.

Há uma página separada para oferecer suporte à busca rápida, precisa ou difusa, de metadados, e para encontrar os metadados correspondentes inserindo informações importantes. Metadados também podem ser considerados um tipo de ativo de dados, portanto, precisamos gerar um relatório de ativos de metadados, a partir do qual possamos entender rapidamente a popularidade do acesso aos metadados, o valor dos dados, o custo dos dados, a distribuição dos dados e outras informações relacionadas.

Quais são as aplicações dos metadados?

As empresas possuem negócios diversificados e produtos complexos, gerando uma grande quantidade de dados em diversos sistemas e aplicações. Com metadados, podemos entender quais dados a empresa possui, o que os dados representam, de onde vêm, como fluem no sistema, etc., realizar o gerenciamento de metadados e construir aplicações de metadados, como termos de negócios, padrões de dados, dicionários de dados, catálogos de ativos de dados, etc. linhagem de dados análise, mapas de dados, etc. Falaremos principalmente sobre relacionamento de linhagem de dados e mapa de dados a seguir.

1. Análise de linhagem de dados

A linhagem de dados é uma aplicação importante de metadados, que pode descrever a relação entre dados e dados. Por exemplo, esta tabela é extraída de um determinado sistema. Qual é a relação entre este campo e aquele campo, incluindo a relação de linhagem do cluster, a relação de linhagem do sistema, a relação de linhagem no nível da tabela e a relação de linhagem do campo? Ela aponta para a fonte upstream dos dados e rastreia a fonte upstream.

Os dados de rastreabilidade ascendente e descendente em nível de tabela e de campo podem mostrar claramente o contexto lógico do processamento de dados, localizar rapidamente o intervalo de impacto de campos de dados anormais, delinear com precisão o intervalo mínimo de retrocesso de dados e reduzir o custo de compreensão dos dados e resolução de problemas de dados. A análise de linhagem pode atender aos requisitos regulatórios e de conformidade especiais dos dados apresentados em diversos setores, incluindo saúde, finanças, bancos e manufatura, entre outros.

Além disso, a análise de impacto também faz parte da aplicação de relacionamento de linhagem, que é usada para analisar o fluxo de dados downstream. Quando o sistema é atualizado, ele pode notificar o sistema downstream sobre alterações e exclusões dinâmicas na estrutura de dados em tempo hábil. Por meio da análise de impacto dependente de dados, é possível localizar rapidamente quais sistemas downstream, quais tabelas e quais campos serão afetados pela modificação de metadados, reduzindo assim os riscos decorrentes de atualizações do sistema.

2. Mapa de dados

Em todo o sistema de dados, o mapa de dados assume o papel de um gerenciador. Ele exibe as informações dos dados de forma gráfica e indica diversos parâmetros de informação necessários para o cálculo dos dados. Ele pode ser utilizado não apenas por desenvolvedores de dados, mas também por produtos. E a operação também é muito intuitiva. Ele contém as seguintes partes:

• Localização de pesquisa rápida: pesquise dados relevantes por meio do mecanismo de pesquisa, suportando consultas precisas, consultas difusas, consultas de nomes de tabelas, consultas de campos, consultas de observações e outros métodos;
• Apresentação gráfica padronizada: utilize uma forma gráfica para organizar a lógica da página. Por exemplo, o nível de qualidade dos dados é marcado na forma de um ícone de Wi-Fi, que é conveniente e visível a olho nu, e conveniente para as informações essenciais exigidas pelo usuário;
• Acumule informações de dados históricos: em muitos cenários, os dados históricos não precisam ser recalculados, e a extração direta pode evitar, em grande parte, o desenvolvimento repetido. Por exemplo, para as estatísticas de novos usuários, as informações históricas dos usuários podem ser extraídas e associadas ao registro diário de login dos usuários para gerar novos usuários diariamente;
• Ferramentas de análise de associação direta: como as informações de dados são armazenadas diretamente na plataforma, o plug-in de relatório pode ser chamado para ver rapidamente as informações intuitivas do relatório, sem a necessidade de processamento e desenvolvimento secundários, o que melhora muito a eficiência do desenvolvimento.

Com isso, a equipe de negócios pode entender o que são os dados da empresa e compreendê-los melhor por meio da conotação comercial dos dados; a equipe técnica pode compreender a situação geral dos dados, estabelecer tabelas de banco de dados de acordo com os padrões de dados, atender a licitações e alcançar a padronização dos dados. A linhagem e o mapeamento de dados tornarão o contexto dos dados particularmente claro, e você não sentirá mais que os dados são uma bagunça.

Conclusão

Agradecemos a leitura do nosso artigo e esperamos que ele possa ajudá-lo a compreender melhor o gerenciamento de metadados corporativos. Se quiser saber mais sobre o gerenciamento de metadados corporativos, recomendamos que visite Gudu SQLFlow para maiores informações.

Como um dos melhores ferramentas de linhagem de dados disponível no mercado hoje, o Gudu SQLFlow não só pode analisar arquivos de script SQL, obter linhagem de dados e executar exibição visual, mas também permitir que os usuários forneçam linhagem de dados em formato CSV e executem exibição visual. (Publicado por Ryan em 1 de julho de 2022)