¿Cómo eligen las empresas una herramienta de gestión de metadatos?

Bajo la influencia de todo tipo de digitalización, es crucial integrar y utilizar los diversos metadatos en el entorno empresarial. Para las empresas, elegir un herramienta de gestión de metadatos que más les convenga maximizará el papel de los metadatos para ayudar a las empresas a lograr sus objetivos estratégicos en términos de datos. Los distintos roles en una empresa pueden tener distintas expectativas respecto a las herramientas de metadatos, pero estas expectativas se pueden resumir en las diez principales capacidades de las herramientas de gestión de metadatos. Por supuesto, estas capacidades están respaldadas por tecnologías clave.

Herramienta de gestión de metadatos

Este artículo se divide en tres partes. En la primera, enumeraremos las expectativas de los diferentes roles para gestión de metadatos Según los diferentes roles en la empresa. La segunda parte resume las diez capacidades que una herramienta de gestión de metadatos debe tener en una situación ideal y las asocia con diferentes roles, para que cada empresa pueda elegir las herramientas de gestión de metadatos adecuadas según sus propias circunstancias. Finalmente, la tercera parte presenta varias tecnologías clave para implementar la gestión de metadatos en la etapa actual.

Tabla de contenido:

1. Los diferentes roles tienen diferentes expectativas para la gestión de metadatos;

2. ¿Cómo elegir la herramienta de metadatos adecuada?

3. ¿Cuáles son las tecnologías clave de la gestión de metadatos?

4. Resumen

1. Diferentes roles tienen diferentes expectativas para la gestión de metadatos.

Para responder a esta pregunta desde la perspectiva de los diferentes roles, primero enumeramos varios roles relacionados con los proyectos de gestión de metadatos en la empresa. Estos roles se pueden dividir en ejecutivos, desarrolladores de datos, analistas de datos, administradores de datos, personal de operación y mantenimiento y otros usuarios comerciales.

Ejecutivos de empresas: Ante la creciente importancia de los datos, los ejecutivos se preocupan más por la visión global de los datos de la empresa y su uso en toda la organización (o, dicho de otro modo, prestan más atención a los activos de datos y a la aplicación), pero nadie puede explicar directamente a la empresa líder cómo son los datos ni cómo se utilizan y circulan. Una gestión eficaz de metadatos puede responder eficazmente a estas preguntas de los ejecutivos.

Desarrolladores de datos: En el desarrollo de datos, el problema más común es la alta duplicación de trabajo: existen interfaces o scripts idénticos, pero al estar escritos por otros, no se identifican ni gestionan de forma uniforme, por lo que es imposible encontrarlos. Incluso si se encuentran, podrían no reutilizarse debido a la falta de explicaciones relevantes, lo que reduce la eficiencia del desarrollo de datos y genera mucha redundancia. La gestión de metadatos facilita a los desarrolladores de datos la búsqueda de información que desean reutilizar, y las explicaciones se pueden obtener mediante la gestión de metadatos empresariales.

Analistas de datos: Los analistas de datos suelen necesitar alcanzar los objetivos de la empresa relacionados con la toma de decisiones estratégicas, el negocio o la evaluación mediante un análisis estadístico de alto nivel de los datos. Para ellos, las relaciones intrincadas entre los datos, las irregularidades... calidad de los datosLa falta de metadatos empresariales es un problema importante. La gestión de metadatos reduce el umbral para obtener dicha información y facilita la trazabilidad de los problemas de calidad de los datos.

Gestores de datos: Los administradores de datos suelen ser responsables de la gestión completa del ciclo de vida de los datos, desde el diseño y las pruebas hasta la implementación y la entrega. Para ellos, suele ser necesario gestionar diversas versiones de la información de datos y el ciclo de vida de los datos empresariales. Controlar la coordinación y la consistencia de los datos en diferentes estados y determinar a tiempo qué ciclo deben seguir es un problema urgente que debe resolverse actualmente. Esto se puede lograr mediante la gestión de metadatos empresariales.

Personal de operación y mantenimiento: Para el personal de operación y mantenimiento, es necesario garantizar la estabilidad del sistema en todo momento, especialmente cuando el modelo empresarial cambia, ya que deben evaluar constantemente el impacto del cambio. Obviamente, el método de evaluación manual es preciso y en tiempo real. Es difícil garantizarlo y requiere altas capacidades de negocio del personal de operación y mantenimiento, lo que aumenta considerablemente los riesgos del sistema. Mediante la gestión de metadatos, cuando se modifica el sistema, se puede analizar automáticamente el impacto del cambio basándose en las relaciones entre objetos, como sistemas y tablas, obtenidos, para reducir los costos de mantenimiento y mejorar la experiencia del usuario de forma automatizada.

Otro personal de negocios: Dado que el personal de la empresa está familiarizado con las reglas y los procesos empresariales, no suele necesitar un conocimiento profundo de los detalles técnicos. El umbral técnico a menudo dificulta que el personal de la empresa obtenga y comprenda los datos. Al desconocer la situación del almacenamiento de datos, resulta difícil comprender las necesidades técnicas de la empresa y, a menudo, los datos que finalmente obtienen no son los deseados, lo que dificulta adaptarse al rápido desarrollo del negocio.

2. ¿Cómo elegir la herramienta de metadatos adecuada?

De lo anterior se desprende que cada usuario tiene diferentes expectativas respecto a las herramientas de gestión de metadatos. Las empresas que llevan a cabo proyectos de gestión de metadatos pueden necesitar resolver los problemas de uno o varios tipos de usuarios. Primero, enumeramos las capacidades básicas de algunas herramientas de gestión de metadatos y, a continuación, las relacionamos con las expectativas mencionadas. Al consultar la relación entre ambas, podrá elegir la herramienta de gestión de metadatos que mejor se adapte a sus necesidades.

A través de la práctica de una gran cantidad de proyectos de metadatos, he resumido diez capacidades que una herramienta de gestión de metadatos debe tener en una situación ideal, como sigue:

• Capacidad de recopilación de metadatos: La capacidad de analizar y capturar automáticamente diversos metadatos en tiempo real desde entornos empresariales complejos. Para gestionar diversos entornos de datos, este enlace suele requerir el uso de diversas tecnologías y sintaxis para la recopilación automatizada de plataformas de big data, bases de datos relacionales, herramientas de terceros, procedimientos almacenados, scripts, archivos de texto y archivos de tabla.
• Capacidad de almacenamiento de metadatos: La capacidad de almacenar los metadatos recopilados de forma unificada. Para soportar el almacenamiento de diversos metadatos y la relación entre ellos, el almacenamiento de metadatos requiere una arquitectura flexible y escalable. Además, es fundamental poder actualizar el almacenamiento en tiempo real.
• Capacidad de búsqueda de metadatos: Proporcionar un puerto unificado para la búsqueda de metadatos, y una herramienta completa de gestión de metadatos debe ser capaz de admitir la búsqueda de metadatos según los diversos métodos de clasificación de la empresa (algunos métodos de clasificación están incluidos en los propios metadatos, que deben ser datos tras el análisis). Por ejemplo, puede buscar información según diferentes dimensiones, como sistemas, tablas, indicadores e interfaces, o incluso crear una categoría completamente diferente según sus propios hábitos de búsqueda.
• Linaje de datos Capacidades de análisis: Analice la fuente y el flujo de datos, revele las relaciones ascendentes y descendentes entre los datos, y analice, describa y visualice los detalles en la herramienta de gestión de metadatos para facilitar el seguimiento de la información clave. Es necesario un análisis preciso del linaje de datos, tanto horizontal (actual) como vertical (histórico), para facilitar el análisis de diferentes objetos en el mismo período y sus cambios en diferentes períodos.
• Control de acceso y jerarquía basados en roles: El control de permisos, como agregar, eliminar y modificar metadatos, requiere especial atención en la herramienta de gestión de metadatos. Esta herramienta debe permitir el control de permisos de acceso. Por ejemplo, los administradores de datos tienen todos los permisos. Los desarrolladores pueden prestar más atención a los metadatos del entorno de desarrollo y... prueba Entorno, mientras que los gerentes de empresa pueden centrarse únicamente en los metadatos del entorno de producción. Los usuarios a nivel de gerente general pueden acceder a los metadatos en diversos entornos de la empresa. Los datos, mientras que los jefes de departamento pueden centrarse únicamente en los metadatos relevantes para su departamento.
• Capacidades de gestión de metadatos empresariales: La recopilación de metadatos comerciales en el entorno empresarial, completar el mapeo entre los metadatos comerciales y los metadatos técnicos y asignar atributos comerciales a los metadatos también es clave para aprovechar el valor comercial de las herramientas de gestión de metadatos.
• Capacidad de control de cambios de metadatos: Cuando es necesario modificar los metadatos, ofrece la función de auditoría de cambios, que permite aclarar la versión de los metadatos, guardar el historial de los metadatos y restaurar automáticamente la versión anterior en caso de problemas. Cuando un elemento de metadatos cambia, también puede ser necesario analizar y evaluar el impacto del cambio.
• Capacidad de análisis comparativo de metadatos: Comparar y analizar los metadatos en diferentes entornos, analizar las similitudes y diferencias y producir informes de análisis correspondientes según los resultados del análisis si es necesario.
• Capacidades de gestión del ciclo de vida de los datos: Idealmente, una herramienta de gestión de metadatos debería conservar los metadatos en todas sus etapas, desde su creación y almacenamiento hasta la eliminación o copia de seguridad de datos obsoletos, para gestionar el flujo de datos a lo largo de su ciclo de vida. Por regla general, los datos más recientes y aquellos a los que se accede con mayor frecuencia deben almacenarse en ubicaciones de fácil acceso, mientras que los datos menos importantes pueden respaldarse en medios más económicos y ligeramente más lentos.
• Capacidad de integración con otros sistemas: Para que el sistema de gestión de metadatos genere valor comercial, otro punto muy importante es la capacidad de la herramienta de gestión de metadatos para integrarse con otros sistemas.

3. ¿Cuáles son las tecnologías clave de la gestión de metadatos?

En términos generales, los proyectos de gestión de metadatos necesitan utilizar muchas tecnologías; aquí se distinguen cuatro tipos: arquitectura altamente flexible y extensible, control de acceso de roles y capas, correspondencia entre metadatos comerciales y metadatos técnicos, e integración con otros sistemas.

• Arquitectura altamente flexible y escalable: Los datos en el entorno empresarial son desordenados, presentan diversas formas y estándares. Para lograr una recopilación eficaz o la recopilación y el almacenamiento automatizados de todos los metadatos, es necesario contar con una arquitectura altamente flexible y escalable, lo que significa que la arquitectura de metadatos debe ser capaz de comunicarse con los diversos modelos de la empresa.
• Control de acceso a roles y jerarquía: Como se mencionó anteriormente, la gestión de metadatos empresariales involucra a muchas personas diferentes. Una excelente herramienta de gestión de metadatos debe controlar eficazmente el acceso a roles. Los métodos de implementación específicos se pueden resumir de dos maneras: 1. En la plataforma, se establece un mecanismo de estratificación de roles/grupo de roles, y los diferentes roles dentro de la empresa se clasifican en diferentes grupos según las necesidades específicas, mostrando diferentes funciones para cada grupo. 2. La asignación entre roles y funciones se establece dentro de la herramienta, y se permite una configuración flexible según la situación de la empresa (después de todo, los roles y las funciones correspondientes de cada empresa son diferentes), mostrando diferentes funciones para cada rol según la asignación.
• Correspondencia entre metadatos comerciales y metadatos técnicos: Esta es la clave para la transformación de las empresas de la gestión de datos a la gestión del conocimiento. Para la correspondencia entre los metadatos empresariales y los metadatos técnicos, puede consultar los artículos que escribimos anteriormente. Además, creo que, además de la construcción de la ontología de dominio, el modelo de tejido también podría convertirse en una tecnología que corresponda a la relación entre ambos en el futuro. De esta manera, el modelo de tejido almacena y gestiona la relación entre los diferentes modelos de la empresa. Por ejemplo, al establecer la relación entre el modelo de estrella/copo de nieve y el modelo de procesos de negocio, la estructura organizativa empresarial, etc., se puede obtener automáticamente la información empresarial y de gestión correspondiente a los datos.
• Integración con otros sistemas: Con la introducción de diversas políticas de datos, los metadatos se han convertido en una parte indispensable e importante de diversos procesos empresariales, y la demanda de una gestión basada en metadatos es cada vez mayor. Para lograr una gestión basada en metadatos, además de la clasificación de metadatos y la estandarización de la clasificación de modelos, la integración de la herramienta de gestión de metadatos con otros sistemas empresariales (como CRM, ERP, SCM, OA, etc., así como con sistemas de estandarización de datos y sistemas de calidad de datos relacionados con la gestión de datos) para proporcionar servicios de metadatos a otros sistemas es un punto clave. Un método consiste en proporcionar interfaces configurables de forma flexible para diferentes roles, usuarios y sistemas de la empresa, con el fin de lograr una colaboración eficiente en toda la organización; el otro método consiste en integrar directamente la herramienta de gestión de metadatos en el portal empresarial. La entrada para mantener el repositorio de metadatos en otros sistemas de información de la empresa.

Resumen

Distintas empresas tienen distintos requisitos para la gestión de metadatos, y cada una debe elegir la herramienta de gestión de metadatos más adecuada para su propia situación.

Gracias por leer nuestro artículo. Si le ha gustado, nos alegrará mucho. Si desea obtener más información sobre la gestión de metadatos, le recomendamos visitar Flujo de SQL de Gudu Para más información. Como uno de los Las mejores herramientas de linaje de datos Disponible actualmente en el mercado, Gudu SQLFlow no solo puede analizar archivos de script SQL, obtener linaje de datos y realizar una visualización, sino que también permite a los usuarios proporcionar linaje de datos en formato CSV y realizar una visualización. (Publicado por Ryan el 26 de junio de 2022)