Como as empresas escolhem uma ferramenta de gerenciamento de metadados?

Sob a influência de todos os tipos de digitalização, é crucial integrar e utilizar os diversos metadados no ambiente empresarial. Para as empresas, a escolha de um ferramenta de gerenciamento de metadados que lhes convém maximizará o papel dos metadados para ajudar as empresas a atingir seus objetivos estratégicos em termos de dados. Diferentes funções em uma empresa podem ter expectativas diferentes em relação às ferramentas de metadados, mas essas expectativas podem ser basicamente mapeadas para os dez principais recursos das ferramentas de gerenciamento de metadados. É claro que esses recursos são suportados por tecnologias-chave.

Ferramenta de gerenciamento de metadados

Este artigo está dividido em três partes. Na primeira parte, listaremos primeiro as expectativas das diferentes funções para gerenciamento de metadados de acordo com as diferentes funções na empresa. Em seguida, a segunda parte resume os dez recursos que uma ferramenta de gerenciamento de metadados precisa ter em uma situação ideal e associa esses recursos a diferentes funções, para que diferentes empresas possam escolher as ferramentas de gerenciamento de metadados apropriadas de acordo com suas próprias condições. Por fim, na terceira parte, serão apresentadas diversas tecnologias-chave para implementar o gerenciamento de metadados no estágio atual.

Índice:

1. Diferentes funções têm diferentes expectativas para o gerenciamento de metadados;

2. Como escolher a ferramenta de metadados certa?

3. Quais são as principais tecnologias de gerenciamento de metadados?

4. Resumo

1. Funções diferentes têm expectativas diferentes para o gerenciamento de metadados.

Para responder a essa pergunta sob a perspectiva de diferentes funções, listamos inicialmente diversas funções relacionadas a projetos de gerenciamento de metadados na empresa. Essas funções podem ser divididas em executivos, desenvolvedores de dados, analistas de dados, gestores de dados, pessoal de operação e manutenção e outros usuários comerciais.

Executivos de negócios: Em um cenário em que os dados estão se tornando cada vez mais importantes, os executivos estão mais preocupados com o panorama geral dos dados da empresa e com o uso dos dados em toda a empresa (ou, pode-se dizer, com maior atenção aos ativos de dados e ao nível da aplicação), mas ninguém pode dizer diretamente à empresa líder como são os dados e qual o seu uso e circulação específicos. Uma gestão eficaz de metadados pode responder bem a essas perguntas dos executivos corporativos.

Desenvolvedores de dados: No desenvolvimento de dados, o problema mais comum é a duplicação de trabalho: já existem interfaces ou scripts idênticos, mas, por serem escritos por terceiros, não são identificados e gerenciados uniformemente, impossibilitando sua localização. Mesmo que sejam encontrados, podem não ser reutilizados devido à falta de explicações relevantes, o que reduz a eficiência do desenvolvimento de dados e também causa muita redundância. O gerenciamento de metadados pode facilitar a localização das informações que os desenvolvedores de dados desejam reutilizar, e as explicações podem ser obtidas por meio do gerenciamento de metadados de negócios.

Analistas de dados: Analistas de dados geralmente precisam atingir os objetivos da empresa relacionados à tomada de decisões estratégicas, negócios ou avaliação por meio de análises estatísticas de dados de alto nível. Para eles, relacionamentos de dados complexos, desigualdades qualidade dos dados, e a falta de metadados comerciais são os principais problemas. O gerenciamento de metadados reduz o limite para a obtenção dessas informações e também fornece suporte para a rastreabilidade de problemas de qualidade de dados.

Gerentes de dados: Os gerentes de dados geralmente são responsáveis pelo gerenciamento completo do ciclo de vida dos dados, desde o design, testes até a implantação e entrega. Para eles, geralmente é necessário gerenciar várias versões das informações de dados e gerenciar o ciclo de vida dos dados corporativos. Como controlar a coordenação e a consistência dos dados em vários estados e determinar em tempo hábil qual ciclo os dados precisam cumprir é um problema urgente a ser resolvido no momento. Isso pode ser alcançado por meio do gerenciamento de metadados corporativos.

Pessoal de operação e manutenção: Para a equipe de operação e manutenção, é necessário garantir a estabilidade do sistema em todos os momentos, especialmente quando o modelo corporativo muda, sendo necessário avaliar constantemente o impacto da mudança. Obviamente, o método de avaliação manual é preciso e em tempo real. É difícil garantir isso e exige alta capacidade de negócios da equipe de operação e manutenção, o que aumenta significativamente os riscos do sistema. Por meio do gerenciamento de metadados, quando o sistema é alterado, o impacto da alteração pode ser analisado automaticamente com base nos relacionamentos entre objetos, como sistemas e tabelas, obtidos, de modo a reduzir os custos de manutenção e melhorar a experiência do usuário de forma automatizada.

Outros funcionários da empresa: Como os profissionais de negócios estão familiarizados com as regras e processos de negócios, geralmente não precisam ter um conhecimento profundo dos detalhes técnicos. O limite técnico muitas vezes dificulta a obtenção e a compreensão dos dados pelos profissionais de negócios. Como não conhecem a situação do armazenamento de dados, é difícil se comunicar com as necessidades técnicas da empresa, e muitas vezes os dados que finalmente obtêm não são os desejados, dificultando o rápido desenvolvimento do negócio.

2. Como escolher a ferramenta de metadados certa?

Observa-se, a partir do exposto, que diferentes usuários têm expectativas diferentes em relação às ferramentas de gerenciamento de metadados. Empresas que realizam projetos de gerenciamento de metadados podem precisar solucionar os problemas de um ou mais tipos de usuários. Primeiramente, listamos os recursos básicos de algumas ferramentas de gerenciamento de metadados e, em seguida, comparamos esses recursos com as expectativas acima. Observando a relação entre as duas, você pode escolher a ferramenta de gerenciamento de metadados mais adequada para você.

Por meio da prática de um grande número de projetos de metadados, resumi dez capacidades que uma ferramenta de gerenciamento de metadados precisa ter em uma situação ideal, como segue:

• Capacidade de coleta de metadados: A capacidade de analisar e capturar automaticamente diversos metadados em tempo real de ambientes corporativos complexos. Para lidar com diversos ambientes de dados, essa conexão geralmente requer o uso de diversas tecnologias e sintaxes para dar suporte à coleta automatizada de plataformas de big data, bancos de dados relacionais, ferramentas de terceiros, procedimentos armazenados, scripts, arquivos de texto e arquivos de tabela.
• Capacidade de armazenamento de metadados: Capacidade de armazenar os metadados coletados de forma unificada. Para suportar o armazenamento de diversos metadados e a relação entre eles, o armazenamento de metadados precisa de uma arquitetura flexível e escalável. Além disso, a capacidade de atualizar o armazenamento em tempo real também é muito importante.
• Capacidade de pesquisa de metadados: Forneça uma porta unificada para a busca de metadados, e uma ferramenta completa de gerenciamento de metadados deve ser capaz de suportar a busca de metadados de acordo com os diversos métodos de classificação da empresa (alguns métodos de classificação estão contidos nos próprios metadados, que precisam ser analisados). Por exemplo, você pode buscar informações de acordo com diferentes dimensões, como sistemas, tabelas, indicadores e interfaces, ou até mesmo criar uma categoria completamente diferente de acordo com seus próprios hábitos de busca.
• Linhagem de dados Capacidades de análise: Analisar a origem e o fluxo dos dados, revelar as relações upstream e downstream dos dados e analisar, descrever e visualizar os detalhes na ferramenta de gerenciamento de metadados para facilitar o rastreamento de informações importantes pelos usuários. A análise perfeita da linhagem dos dados precisa estar disponível tanto na direção horizontal (atual) quanto na vertical (histórica) para facilitar a análise de diferentes objetos no mesmo período e as mudanças no mesmo objeto em períodos diferentes.
• Controle de acesso baseado em funções e hierarquia: O controle de permissões, como adicionar, excluir e modificar metadados, é algo que requer atenção especial na ferramenta de gerenciamento de metadados. A ferramenta deve oferecer suporte ao controle de permissões de acesso. Por exemplo, os administradores de dados têm todas as permissões. Os desenvolvedores podem prestar mais atenção aos metadados do ambiente de desenvolvimento e teste ambiente, enquanto os gerentes corporativos podem se concentrar apenas nos metadados do ambiente de produção. Usuários no nível de gerente geral podem acessar metadados em vários ambientes da empresa. dados, enquanto os chefes de departamento podem se concentrar apenas nos metadados relevantes para o seu departamento.
• Recursos de gerenciamento de metadados empresariais: Coletar metadados comerciais no ambiente empresarial, concluir o mapeamento entre metadados comerciais e metadados técnicos e atribuir atributos comerciais aos metadados também é fundamental para exercer o valor comercial das ferramentas de gerenciamento de metadados.
• Capacidade de controle de alterações de metadados: Quando os metadados precisam ser alterados, ele fornece o recurso de auditoria de alterações, esclarecendo a versão dos metadados, salvando o estado histórico dos metadados e restaurando automaticamente para a versão anterior em caso de problemas. Quando um item de metadados é alterado, também pode ser necessário analisar e avaliar o impacto da alteração.
• Capacidade de Análise Comparativa de Metadados: Compare e analise os metadados em diferentes ambientes, analise as semelhanças e diferenças e produza relatórios de análise correspondentes de acordo com os resultados da análise, se necessário.
• Recursos de gerenciamento do ciclo de vida dos dados: Idealmente, uma ferramenta de gerenciamento de metadados deve reter metadados em todos os estados, desde a criação e o armazenamento até a exclusão/backup de dados obsoletos, para gerenciar o fluxo de dados ao longo de seu ciclo de vida. Como regra, dados mais recentes e aqueles que provavelmente serão acessados com mais frequência devem ser armazenados em locais de fácil acesso, enquanto dados menos importantes podem ser copiados em mídias superiores, mais baratas e um pouco mais lentas.
• Capacidade de integração com outros sistemas: Para que o sistema de gerenciamento de metadados desempenhe o seu valor comercial, outro ponto muito importante é a capacidade da ferramenta de gerenciamento de metadados de se integrar a outros sistemas.

3. Quais são as principais tecnologias de gerenciamento de metadados?

De modo geral, os projetos de gerenciamento de metadados precisam usar muitas tecnologias. Aqui estão quatro tipos: arquitetura altamente flexível e extensível, controle de acesso a funções e camadas, correspondência de metadados comerciais e metadados técnicos e integração com outros sistemas.

• Arquitetura altamente flexível e escalável: Os dados no ambiente corporativo são desorganizados, em diversos formatos e com diferentes padrões. Para alcançar a coleta eficaz ou a coleta e o armazenamento automatizados de todos os metadados, é necessário contar com uma arquitetura altamente flexível e escalável, o que significa que a arquitetura de metadados deve ser capaz de "se comunicar" com diversos modelos da empresa.
• Controle de acesso de funções e hierarquia: Como mencionado acima, o gerenciamento de metadados corporativos envolve muitas pessoas diferentes. Uma excelente ferramenta de gerenciamento de metadados deve realizar um bom trabalho de controle de acesso a funções. Os métodos específicos de implementação podem ser resumidos de duas maneiras: 1. Na plataforma, um mecanismo de camadas de funções/grupo de funções é estabelecido, e diferentes funções na empresa são classificadas em diferentes grupos de funções de acordo com necessidades específicas, e diferentes funções são exibidas para diferentes grupos de funções. 2. O mapeamento entre funções e funções é estabelecido dentro da ferramenta, e a configuração flexível é suportada de acordo com a situação da empresa (afinal, as funções e funções correspondentes de cada empresa são diferentes), e diferentes funções são exibidas para diferentes funções de acordo com o mapeamento.
• Correspondência entre Metadados Comerciais e Metadados Técnicos: Esta é a chave para a transformação das empresas da gestão de dados para a gestão do conhecimento. Para a correspondência entre metadados de negócios e metadados técnicos, consulte os artigos que escrevemos anteriormente. Além disso, acredito que, além da construção da ontologia de domínio, o modelo de entrelaçamento também pode se tornar uma tecnologia correspondente à relação entre os dois no futuro. Dessa forma, o relacionamento entre os diferentes modelos da empresa é armazenado e gerenciado pelo modelo de entrelaçamento. Por exemplo, ao estabelecer a relação entre o modelo estrela/modelo floco de neve e o modelo de processo de negócios, estrutura organizacional da empresa, etc., as informações de negócios e as informações do gerente correspondentes aos dados podem ser obtidas automaticamente.
• Integração com outros sistemas: Com a introdução de diversas políticas de dados, os metadados tornaram-se uma parte indispensável e importante de vários processos corporativos, e a voz da população a favor da adoção de metadados está se tornando cada vez mais forte. Para alcançar a adoção de metadados, além da classificação de metadados e da padronização da classificação de modelos, o principal ponto-chave é se a ferramenta de gerenciamento de metadados está integrada a outros sistemas corporativos (como CRM, ERP, SCM, OA e outros sistemas, bem como sistemas de padronização de dados e sistemas de qualidade de dados relacionados ao gerenciamento de dados) para fornecer serviços de metadados para outros sistemas. Um método é fornecer interfaces flexíveis e configuráveis para diferentes funções, diferentes usuários e diferentes sistemas na empresa, de modo a alcançar uma colaboração eficiente em toda a empresa; o outro método é integrar diretamente a ferramenta de gerenciamento de metadados ao portal corporativo. A entrada para manter o repositório de metadados em outros sistemas de informação da empresa.

Resumo

Diferentes empresas têm diferentes requisitos para gerenciamento de metadados, e as empresas devem escolher a ferramenta de gerenciamento de metadados mais adequada para sua própria situação.

Obrigado por ler nosso artigo e, se você gostou, ficaremos muito felizes. Se quiser saber mais sobre gerenciamento de metadados, recomendamos que visite Gudu SQLFlow para mais informações. Como um dos melhores ferramentas de linhagem de dados disponível no mercado hoje, o Gudu SQLFlow não só pode analisar arquivos de script SQL, obter linhagem de dados e executar exibição visual, mas também permitir que os usuários forneçam linhagem de dados em formato CSV e executem exibição visual. (Publicado por Ryan em 26 de junho de 2022)