¿Qué es un repositorio de metadatos?

A repositorio de metadatos es una base de datos creada para almacenar metadatosLos metadatos son información sobre la estructura que contiene los datos reales. A menudo se los considera "datos sobre datos", pero esto es engañoso. Un perfil de datos es un ejemplo de un verdadero "dato sobre datos". Los metadatos añaden un nivel de abstracción a esta definición: son datos sobre la estructura que contiene los datos. Los metadatos pueden describir la estructura de cualquier dato sobre cualquier tema almacenado en cualquier formato.

Los repositorios de metadatos bien diseñados suelen contener datos que van mucho más allá de la simple definición de diversas estructuras de datos. Un repositorio típico almacena de decenas a cientos de datos diferentes sobre cada estructura de datos.

Repositorio de metadatos

Definición de repositorio de metadatos:

El repositorio de metadatos se encarga de almacenar y categorizar físicamente los metadatos. Los datos del repositorio deben ser genéricos, integrados, actuales e históricos.

Genérico: El metamodelo debe almacenar metadatos de forma genérica, no de forma específica para cada aplicación. Por lo tanto, si el estándar de su base de datos cambia de un producto a otro, no es necesario modificar el metamodelo físico del repositorio de metadatos. La funcionalidad de un repositorio de metadatos integral permite gestionar los metadatos de todos los dominios empresariales de forma integrada, abarcando todos los dominios y áreas temáticas de la organización. El repositorio de metadatos debe tener metadatos actuales e históricos accesibles. Anteriormente, el repositorio de metadatos se denominaba diccionario de datos.

A medida que ha aumentado la demanda de uso de metadatos para inteligencia empresarial, también lo ha hecho el alcance de los repositorios de metadatos. El diccionario de datos más antiguo es lo más cercano a la interacción entre la tecnología y el negocio. El diccionario de datos abarca todo el ámbito del repositorio de metadatos en la etapa inicial, pero a medida que se amplía su alcance,... glosario de negocios y sus etiquetas de varias etiquetas de estado que aparecen en el lado comercial aparecen en el lado técnico, y el consumo de metadatos técnicos, su linaje y conexiones se convierten en una fuente de repositorios, informes valiosos que unen negocios y tecnología, ayudan a hacer gestión de datos tomar decisiones más fáciles y evaluar el costo del cambio.

El repositorio de metadatos explora toda la empresa gobernanza de datos, calidad de los datos y gestión de datos maestros (tanto datos maestros como de referencia) e integra esta rica información con metadatos integrados en toda la organización para proporcionar un sistema de soporte de decisiones para estructuras de datos, incluso si solo refleja estructuras consumidas de varios sistemas.

Repositorio y Registro

Los repositorios tienen funciones adicionales en comparación con los registros. Los repositorios de metadatos no solo almacenan metadatos, como los registros de metadatos, sino que también establecen relaciones con los datos relacionados. tipos de metadatosLos metadatos relevantes en el flujo desde el ingreso a la organización hasta los entregables se consideran linaje para ese punto de datos.

Los metadatos relacionados con otros tipos de metadatos relacionados se denominan enlace. Al proporcionar una arquitectura que conecta todos los puntos de metadatos de una organización y mantiene su integridad para gestionar los cambios, un repositorio de metadatos proporciona la información fundamental para comprender el flujo completo de datos, sus definiciones y su impacto. Una característica igualmente importante es el mantenimiento del control de versiones, aunque esta comparación aún está en debate. Estas definiciones aún están en desarrollo, por lo que es necesario mejorar su precisión.

El propósito del registro es definir los elementos de metadatos y mantenerlos en toda la organización. El equipo de modelos de datos y otros equipos de gestión de datos consultan el registro para cualquier cambio. Un repositorio de metadatos extrae metadatos de diversos sistemas de metadatos de una organización y refleja el contenido original. Los repositorios nunca actúan como fuentes originales, mientras que los registros sí lo hacen para los cambios en los metadatos.

Razones para utilizar el repositorio de metadatos:

Un repositorio de metadatos permite integrar todas las estructuras del contenedor de datos de una organización en una única ubicación. Esto facilita la toma de decisiones empresariales informadas. La herramienta utiliza un modelo de datos común para integrar todos los modelos, reuniendo todas las aplicaciones y programas de una organización en un solo formato.

Lo más importante es que la aplicación de definiciones y procesos empresariales puede acercar el negocio a la tecnología, lo que ayudará a las organizaciones a desarrollar una hoja de ruta sólida con objetivos claros. Con información centralizada, las empresas tendrán mayor control sobre los cambios y podrán realizar análisis de impacto en las herramientas.

A menudo, las empresas invierten mucho tiempo y dinero en tomar decisiones basadas en hallazgos e investigaciones sobre el impacto para implementar cambios, añadir nuevas estructuras de datos o eliminarlas de la gestión de datos de la organización. Con un repositorio bien estructurado y bien mantenido, el tiempo necesario para que un producto pase de la idea a la entrega es mínimo (considerando que otras variables se mantienen constantes).

Diseñar un repositorio de metadatos

Cada sistema de gestión de bases de datos (SGBD) y herramienta de base de datos tiene su propio lenguaje para los componentes de metadatos. Las aplicaciones de bases de datos ya cuentan con sus propios repositorios o registros, que se espera que proporcionen toda la funcionalidad necesaria para acceder a los datos almacenados. Los proveedores no quieren que otras empresas puedan migrar fácilmente datos de sus productos a los de la competencia, por lo que utilizan sus propios sistemas de gestión de metadatos. Herramientas CASE, diccionarios SGBD, herramientas ETL, herramientas de limpieza de datos, herramientas OLAP y minería de datos Cada herramienta procesa y almacena metadatos de diferentes maneras. Solo se puede diseñar un repositorio de metadatos para almacenar los componentes de metadatos en todas estas herramientas.

Un repositorio de metadatos debe almacenar metadatos en cuatro categorías: propiedad, características descriptivas, reglas y políticas, y características físicas. La propiedad indica el propietario de los datos y de la aplicación. Las características descriptivas definen nombres, tipos y longitudes, así como definiciones que describen datos o procesos empresariales. Las reglas y políticas definirán la seguridad, la limpieza de los datos, los plazos y las relaciones entre ellos. Las características físicas definen la fuente u origen y la ubicación física.

Al igual que la creación de un modelo lógico de datos para una base de datos, un metamodelo lógico puede ayudar a identificar los requisitos de metadatos de los datos empresariales. El repositorio de metadatos puede ser centralizado, descentralizado o distribuido.

Un diseño centralizado implica proporcionar una base de datos para el repositorio de metadatos que almacena los metadatos de todas las aplicaciones de la empresa. Un repositorio de metadatos centralizado tiene la misma funcionalidad que una base de datos centralizada. Es más fácil de gestionar, ya que todos los datos se encuentran en una sola base de datos, pero la desventaja es que puede haber cuellos de botella.

Los repositorios de metadatos descentralizados almacenan metadatos en múltiples bases de datos separadas por ubicación o unidad de negocio. Esto hace que la gestión del repositorio sea más compleja en comparación con un repositorio de metadatos centralizado, pero ofrece la ventaja de que los metadatos pueden desglosarse por departamentos.

Los repositorios de metadatos distribuidos utilizan un enfoque descentralizado, pero a diferencia de los repositorios de metadatos descentralizados, los metadatos permanecen en su aplicación original.

Conclusión

Gracias por leer nuestro artículo. Esperamos que le ayude a comprender mejor el repositorio de metadatos. Si desea obtener más información sobre el repositorio de metadatos, le recomendamos visitar Flujo de SQL de Gudu Para más información. Como uno de los Las mejores herramientas de linaje de datos Disponible actualmente en el mercado, Gudu SQLFlow no solo puede analizar archivos de script SQL, obtener linaje de datos y realizar una visualización, sino que también permite a los usuarios proporcionar linaje de datos en formato CSV y realizar una visualización. (Publicado por Ryan el 2 de julio de 2022)