Diferentes tipos de metadados

Metadados são dados usados para definir tipos de dados. Eles descrevem principalmente as informações dos dados em si, incluindo fonte, tamanho, formato ou outras características dos dados. Em campos de banco de dados, metadados são usados para interpretar o conteúdo do banco de dados. Quando lago de dados insight (DLI) cria uma tabela, define metadados, que consistem em três colunas: nome da coluna, tipo e descrição da coluna. Neste artigo, examinaremos mais de perto os diferentes tipos de metadados e como eles são usados.

Tipos de Metadados

1. Classificação por Tipos de Metadados

• Metadados sobre dados básicos: Dados básicos referem-se a todos os dados gerenciados por fontes de dados, armazéns de dados, data marts, e aplicações. Metadados de dados básicos incluem definição, toda descrição de estrutura.
• Metadados para processamento de dados: Informações sobre carregamento de dados, processamento de atualização, processamento analítico e gerenciamento, como extração de dados, transformação de dados, e regras de agregação.
• Metadados sobre a estrutura organizacional da empresa: incluem especificamente dados de gerenciamento e informações relacionadas à empresa, como acesso de usuários a data warehouses, fontes de dados e informações de permissão de data marts.

2. Classificação por Nível de Abstração

• Metadados em nível de conceito: Inclui a descrição completa do negócio, como definição das principais entidades comerciais, características e seus inter-relacionamentos, uso do sistema, consultas definidas, visualizações e aplicativos existentes.
• Metadados de nível lógico: Inclui o esquema relacional do banco de dados, o modelo lógico multidimensional, etc., e as regras para extração/transformação de dados são geralmente descritas em pseudocódigo ou linguagem matemática.
• Metadados de nível físico: Isso inclui código SQL correspondente a regras de negócios, arquivos de índice para relacionamentos e código para aplicativos analíticos.

3. Classificação por tarefas realizadas por metadados

De acordo com a classificação de tarefas dos metadados no data warehouse, eles podem ser divididos em metadados estáticos e metadados dinâmicos.

Metadados estáticos está relacionado principalmente a estruturas de dados e inclui os seguintes elementos:

• Nome-classe: um símbolo usado para diferenciar dados ao fornecer identificação ao sistema.
• Descrição-classe: Descreve vários elementos de dados no data warehouse.
• Formato-classe: Fornece as regras de expressão de dados no data warehouse.
• Tipo de dados: O tipo de dados no data warehouse.
• Classe de relacionamento: Descreve o relacionamento entre vários objetos de dados no data warehouse. Por exemplo, há um relacionamento de compra entre um cliente e um item.
• Classe de domínio: Usado para descrever o intervalo válido de valores para dados no data warehouse.
• Classe de regra de negócios: Usado para descrever as regras que os dados no data warehouse devem obedecer no processamento de negócios. Por exemplo, Customer_ID representa o número do cliente, começando com A para clientes coletivos e B para clientes individuais.

Metadados dinâmicos está principalmente relacionado ao estado e ao uso dos dados, incluindo os seguintes elementos:

• Qualidade dos dados mesa: Usado para descrever a precisão, integridade, consistência e validade dos dados no data warehouse.
• Informações estatísticas: Conte os usuários que acessam os dados, o tempo de acesso e o número de acessos. Essas estatísticas têm alto valor de referência para a melhoria do desempenho do data warehouse.
• Classe de status: Usado para rastrear a saúde do data warehouse. Por exemplo, o último horário de backup dos dados, o tempo necessário para o backup, as condições de erro, etc. O status de execução desses sistemas ajuda os gerentes de data warehouse a entender o desempenho do data warehouse.
• Classe de processamento: Usado para descrever as características de uso e gerenciamento do sistema de data warehouse. Por exemplo, como usar os dados, uma fórmula geral que resume os dados, etc.

4. Classificação do ponto de vista do usuário

Este método de classificação está relacionado ao propósito para o qual os metadados são usados. Do ponto de vista do usuário, este método de classificação não tem um padrão unificado e, na prática, é frequentemente dividido de acordo com os princípios de hábito, viabilidade e aplicação.

Geralmente é dividido em duas categorias: metadados técnicos e metadados de negócios. Metadados técnicos são sobre o desenvolvimento, manutenção e gerenciamento de todas as análises, design, desenvolvimento, gerenciamento e outros metadados intimamente relacionados à tecnologia no ambiente de tecnologia da informação. É o elo técnico que conecta ferramentas de desenvolvimento, aplicativos e sistemas. Metadados de negócios tornam os serviços de um ambiente empresarial mais compreensíveis para usuários finais, fornecendo navegação, navegação e consulta de dados fáceis para a interpretação de objetivos e processos de negócios.

Metadados técnicos inclui dados de descrição para bancos de dados, data warehouses, dicionários de dados de data marts, códigos de regras de conversão de dados e similares. Por exemplo:

• Informações descritivas sobre a arquitetura e o esquema do sistema operacional, data warehouse e sistema OLAP, estrutura de tabela, restrições de atributos, informações de exibição, etc.
• Uma descrição dos mapeamentos e dependências físicas e de nível de implementação entre diferentes fontes de informação, data warehouses e sistemas OLAP.
• Extraia metadados de agendamento, incluindo a extração do relacionamento complexo de agendamento e o mapeamento entre dados de origem e dados de destino.
• Metadados para sincronização de tempo.
• Informações de permissão do usuário.

Metadados comerciais inclui documentação específica do aplicativo (perfis de usuário, mapas de armazenamento, dicas de uso, auxílios de navegação, etc.), conceitos e termos de negócios, detalhes de consultas e relatórios predefinidos, informações contextuais, descrições de pesos e medidas, formatos de data, dicionários, tabela de cabeçalhos de assunto, etc. Por exemplo:

• Modelo de conceito de negócio.
• Modelo de dados multidimensional, princípios de agregação de dimensões, categorias de dimensões, cubos de dados, data marts.
• Dependências entre modelos conceituais de negócios e modelos físicos.
• Suporta navegação e navegação para conceitos de negócios.
• Suporte à navegação e navegação orientada a conceitos de negócios.
• Suporte a consulta dinâmica imediata e mineração de dados.

Conclusão

Obrigado por ler nosso artigo e esperamos que ele possa ajudá-lo a entender melhor os diferentes tipos de metadados e como eles são usados. Se você quiser saber mais sobre os tipos de metadados, gostaríamos de aconselhá-lo a visitar Gudu SQLFlow para maiores informações.

Como um dos melhores ferramentas de linhagem de dados disponível no mercado hoje, o Gudu SQLFlow pode não apenas analisar arquivos de script SQL, obter linhagem de dados, e executar exibição visual, mas também permitir que os usuários forneçam linhagem de dados em formato CSV e executem exibição visual. (Publicado por Ryan em 26 de junho de 2022)