O que é repositório de metadados?

UM repositório de metadados é um banco de dados criado para armazenar metadados. Metadados são informações sobre a estrutura que contém os dados reais. Metadados são frequentemente considerados como “dados sobre dados”, mas isso é enganoso. Um perfil de dados é um exemplo de um “dado sobre dados” real. Metadados adicionam uma camada de abstração a essa definição – são dados sobre a estrutura que contém os dados. Metadados podem descrever a estrutura de quaisquer dados sobre qualquer assunto armazenados em qualquer formato.

Repositórios de metadados bem projetados geralmente contêm dados muito além da simples definição de várias estruturas de dados. Um repositório típico armazena dezenas a centenas de diferentes informações sobre cada estrutura de dados.

Repositório de Metadados

Definição de Repositório de Metadados:

O repositório de metadados é responsável por armazenar fisicamente e categorizar metadados. Os dados no repositório de metadados devem ser genéricos, integrados, atuais e históricos.

Genérico: O metamodelo deve armazenar metadados em termos genéricos, não em formas definidas específicas do aplicativo. Então, se o padrão do seu banco de dados mudar de um produto para outro, você não precisa mudar o metamodelo físico do repositório de metadados. A funcionalidade de um repositório de metadados tudo-em-um permite que metadados para todos os domínios de negócios sejam realizados de forma integrada: cobrindo todos os domínios e áreas de assunto da organização. O repositório de metadados deve ter metadados atuais e históricos acessíveis. O repositório de metadados costumava ser chamado de dicionário de dados.

À medida que a demanda pelo uso de metadados para inteligência empresarial aumentou, também aumentou o escopo dos repositórios de metadados. O dicionário de dados mais antigo é o mais próximo de onde a tecnologia interage com os negócios. O dicionário de dados é todo o campo do repositório de metadados no estágio inicial, mas à medida que o escopo se expande, o glossário de negócios e suas tags de várias tags de estado que aparecem no lado comercial aparecem no lado técnico, e o consumo de metadados técnicos, sua linhagem e conexões tornam-se uma fonte de repositórios, relatórios valiosos que unem negócios e tecnologia, ajudam a tornar gerenciamento de dados facilitar as decisões e avaliar o custo da mudança.

O repositório de metadados explora toda a empresa governança de dados, qualidade dos dados e gerenciamento de dados mestres (dados mestres e de referência) e integra essas informações valiosas com metadados integrados em toda a organização para fornecer um sistema de suporte à decisão para estruturas de dados, mesmo que reflita apenas estruturas consumidas de vários sistemas.

Repositório e Registro

Os repositórios têm funcionalidade adicional em comparação aos registros. Os repositórios de metadados não apenas armazenam metadados, como registros de metadados, mas também adicionam relacionamentos a registros relacionados. tipos de metadados. Os metadados relevantes no fluxo desde a entrada na organização até as entregas são considerados linhagem para aquele ponto de dados.

Metadados relacionados a outros tipos de metadados relacionados são chamados de link. Ao fornecer uma arquitetura que se relaciona a todos os pontos de metadados em uma organização e mantém sua integridade para lidar com mudanças, um repositório de metadados fornece o material fundamental para entender o fluxo completo de dados, suas definições e seu impacto. Um recurso igualmente importante é manter o controle de versão, embora esta declaração de comparação esteja aberta para discussão. Essas definições ainda estão em desenvolvimento, então a precisão das definições precisa ser melhorada.

O propósito do registro é definir elementos de metadados e mantê-los em toda a organização. O modelo de dados e outras equipes de gerenciamento de dados consultam o registro para quaisquer alterações. Um repositório de metadados extrai metadados de vários sistemas de metadados em uma organização e reflete o conteúdo upstream. Os repositórios nunca agem como upstreams, enquanto os registros são usados como upstreams para alterações de metadados.

Motivos para usar o repositório de metadados:

Um repositório de metadados permite que todas as estruturas do contêiner de dados de uma organização sejam integradas em um local integrado. Isso abre uma riqueza de informações de recursos para tomar decisões comerciais calculadas. A ferramenta usa uma forma comum de modelo de dados para integrar todos os modelos, trazendo todos os aplicativos e programas de uma organização para um formato.

Mais importante, aplicar definições de negócios e processos de negócios pode aproximar negócios e tecnologia, o que ajudará as organizações a desenvolver um roteiro sólido com metas claras. Com informações centralizadas, as empresas terão maior controle sobre as mudanças e poderão executar análises de impacto em ferramentas.

Frequentemente, as empresas gastam muito tempo e dinheiro tomando decisões com base em descobertas e pesquisas sobre impacto para fazer alterações ou adicionar novas estruturas de dados ou remover estruturas do gerenciamento de dados de uma organização. Com um repositório bem estruturado e bem mantido, o tempo necessário para mover um produto da ideia para a entrega é mínimo (considerando que outras variáveis sejam constantes).

Projetar um repositório de metadados

Cada sistema de gerenciamento de banco de dados (DBMS) e ferramenta de banco de dados tem sua própria linguagem para os componentes de metadados nele. Os aplicativos de banco de dados já têm seus próprios repositórios ou registros que devem fornecer toda a funcionalidade necessária para acessar os dados armazenados neles. Os fornecedores não querem que outras empresas consigam migrar facilmente dados de seus produtos para produtos de concorrentes, então eles são proprietários no manuseio de metadados. Ferramentas CASE, dicionários DBMS, Ferramentas ETL, ferramentas de limpeza de dados, ferramentas OLAP e mineração de dados ferramentas processam e armazenam metadados de diferentes maneiras. Apenas um repositório de metadados pode ser projetado para armazenar os componentes de metadados em todas essas ferramentas.

Um repositório de metadados deve armazenar metadados em quatro categorias: propriedade, características descritivas, regras e políticas e características físicas. Propriedade, mostrando o proprietário dos dados e o proprietário do aplicativo. As características descritivas definem nomes, tipos e comprimentos, bem como definições que descrevem dados comerciais ou processos comerciais. Regras e políticas definirão segurança, limpeza de dados, cronogramas de dados e relacionamentos. As características físicas definem a fonte ou origem e a localização física.

Assim como construir um modelo de dados lógico para criar um banco de dados, um metamodelo lógico pode ajudar a identificar os requisitos de metadados de dados empresariais. O repositório de metadados será centralizado, descentralizado ou distribuído.

Um design centralizado significa fornecer um banco de dados para o repositório de metadados que armazena metadados para todos os aplicativos em toda a empresa. Um repositório de metadados centralizado tem a mesma funcionalidade de um banco de dados centralizado. É mais fácil de gerenciar, pois todos os dados estão em um banco de dados, mas a desvantagem é que pode haver gargalos.

Repositórios de metadados descentralizados armazenam metadados em vários bancos de dados que são separados por localização e/ou unidade de negócios. Isso torna o gerenciamento do repositório mais complexo em comparação a um repositório de metadados centralizado, mas tem a vantagem de que os metadados podem ser divididos em departamentos.

Os repositórios de metadados distribuídos usam uma abordagem descentralizada, mas, diferentemente dos repositórios de metadados descentralizados, os metadados permanecem em sua aplicação original.

Conclusão

Obrigado por ler nosso artigo e esperamos que ele possa ajudá-lo a ter um melhor entendimento do repositório de metadados. Se você quiser saber mais sobre o repositório de metadados, gostaríamos de aconselhá-lo a visitar Gudu SQLFlow para mais informações. Como um dos melhores ferramentas de linhagem de dados disponível no mercado hoje, o Gudu SQLFlow não só pode analisar arquivos de script SQL, obter linhagem de dados e executar exibição visual, mas também permitir que os usuários forneçam linhagem de dados em formato CSV e executem exibição visual. (Publicado por Ryan em 2 de julho de 2022)