¿Qué son los metadatos?

Metadatos son datos que describen otros datos de forma estructurada y consistente, de modo que se puedan recopilar, almacenar y analizar grandes cantidades de datos a lo largo del tiempo. Almacenes de datos Requieren metadatos para facilitar la recuperación y la gestión al almacenar big data. Un almacén de datos utiliza datos estructurados, estandarizados, limpios y consistentes en todas las fuentes. Los metadatos garantizan la uniformidad en la recopilación y el almacenamiento de estos datos para que los propietarios de empresas y... analistas de datos Puede acceder fácilmente a los datos y obtener información de ellos.

¿Qué son los metadatos?

Eficaz gestión de metadatos es una parte esencial de un “ecosistema” de big data confiable y flexible, ya que ayuda a las empresas a gestionar de manera más eficiente sus activos de datos y ponerlos a disposición científicos de datos y otros analistas.

Clasificación de metadatos y ejemplos:

1. Metadatos técnicos

1) Metadatos físicos: Metadatos que describen lo físico recursos, como: servidores, sistemas operativos, ubicaciones de salas de computadoras y otra información.

2) Metadatos de la fuente de datos: Metadatos que describen la fuente de datos y que generalmente incluyen cuatro tipos de información:

• Dirección de fuente de datos (por ejemplo, IP, PUERTO, etc.);
•  Topología física (por ejemplo, activo/en espera, roles, etc.);
• Permisos (por ejemplo, nombre de usuario, contraseña, etc.);
• Nombre de la biblioteca, versión, nombre de dominio, etc.

3) Metadatos de almacenamiento: Metadatos que describen el almacenamiento de objetos, normalmente también metadatos “específicos”, que incluyen varios tipos principales de atributos de gestión (por ejemplo, creador, sistema de aplicación, unidad de negocio, propietario de la empresa, etc.).

• Ciclo de vida (como tiempo de creación, tiempo DDL, información de versión, etc.);
• Propiedades de almacenamiento (como ubicación, tamaño físico, etc.);
• Características de los datos (por ejemplo, asimetría de datos, longitud promedio, etc.);
• Utilice características (por ejemplo, DML, frecuencia de actualización, etc.);
• Tabla/partición de estructura de datos (por ejemplo, nombre, tipo, observaciones, etc.);
• Columnas (por ejemplo, nombre, tipo, longitud, precisión, etc.);
• Índice (por ejemplo, nombre, tipo, campo, etc.);
• Restricciones (por ejemplo, tipos, campos, etc.).

4) Metadatos computacionales: Los metadatos que describen el proceso de cálculo de datos se pueden clasificar generalmente en dos tipos de cálculos: extracción de datos (ETL) o procesamiento de datos (JOB). Cada tipo de cálculo puede desglosarse mediante metadatos de control (p. ej., propiedades de configuración, políticas de programación, etc.) y metadatos de proceso (p. ej., dependencias, estado de ejecución, registros de ejecución, etc.).

5) Metadatos de calidad: Un metadato que describe la calidad de los datos. Normalmente, calidad de los datos Se refleja en la definición de una serie de métricas de calidad.

6) Metadatos operativos: Una clase de metadatos que describe cómo se utilizan los datos para las operaciones.

• Generación de datos (por ejemplo, tiempo de generación, información del trabajo, etc.);
• Acceso a tablas (por ejemplo, consultas, asociaciones, agregaciones, etc.);
•  Asociaciones de tablas (por ejemplo, tablas asociadas, campos asociados, tipos asociados, recuentos asociados);
•  Acceso a campos (por ejemplo, consulta, asociación, agregación, filtrado, etc.).

7) Metadatos de operación y mantenimiento: Metadatos que describen el nivel de operación y mantenimiento del sistema, generalmente incluyen tareas, alertas y fallas.

8) Metadatos de costos: Metadatos que describen el coste del almacenamiento y el cálculo de datos.

• Costo computacional (por ejemplo, CPU, MEM, etc.);
• Costo de almacenamiento (por ejemplo, espacio, relación de compresión, etc.).

9) Metadatos estándar: Metadatos que describen el contenido estandarizado de los datos.

• Gestión de código (por ejemplo, reglas de transformación, interfaces externas, etc.);
• El mapeo administra la visualización de datos (por ejemplo, estilos, reglas, semántica, unidades, etc.).

10) Metadatos de seguridad: Metadatos que describen el contenido de seguridad de los datos.

Sensibilidad de los datos a nivel de seguridad (por ejemplo, si son sensibles, algoritmo de desensibilización, etc.)

11) Metadatos compartidos: Describe cómo compartir datos, como los métodos de interfaz, el formato y el contenido.

2. Metadatos empresariales

1) Metadatos del modelo: El modelado de datos es la descripción del negocio, y este se puede comprender mejor a través del modelo. Los enfoques de modelado comunes incluyen modelos paradigmáticos, modelos dimensionales y modelos multidimensionales. A continuación, se muestra un ejemplo de un modelo de tamaño, como líneas de negocio, sectores, dominios de datos de proceso, dimensiones del dominio temático, datos de índices de atributos, métricas, mercados y aplicaciones.

2) Metadatos de la aplicación: Se refiere a los metadatos que describen la clase de aplicación de datos.

3) Metadatos de análisis: Se refiere a la descripción de metadatos empresariales desde la perspectiva del análisis de datos. Por ejemplo, dominio de datos, dominio temático, línea de productos, sección, proceso empresarial, reglas empresariales, etc.

3. Administrar metadatos

Los metadatos de gestión describen el contenido de la gestión de datos dentro de una empresa, como personas, responsabilidades de procesos, organizaciones laborales y departamentos.

Características de los metadatos:

• Los metadatos son datos estructurados sobre datos, que no necesariamente están en formato digital y pueden provenir de diferentes fuentes.
• Los metadatos son datos relacionados con los objetos que impiden que los usuarios potenciales tengan una comprensión completa de la existencia y las características de estos objetos.
• Los metadatos son una descripción codificada de un paquete de información.
• Los metadatos contienen un conjunto de elementos de datos que se utilizan para describir el contenido y la ubicación de los objetos de información, lo que facilita el descubrimiento y la recuperación de objetos de información en un entorno de red.
• Los metadatos no sólo describen objetos de información, sino que también describen el entorno de uso, la gestión, el procesamiento, el almacenamiento y el uso de los recursos.
• Los metadatos se agregan naturalmente durante el ciclo de vida de un objeto o sistema de información.
• El “dato” en la definición convencional de metadatos es el símbolo de naturaleza transaccional, que es el valor numérico a partir del cual se realizan todo tipo de estadísticas, cálculos, investigaciones científicas y diseños técnicos, o la información que se digitaliza, formula, codifica y grafica.

Ventajas de los metadatos

Los metadatos son clave para un modelo de programación más simple que ya no requiere archivos de Lenguaje de Definición de Interfaz (IDL), encabezados ni ningún método de referencia de componentes externos. Permiten que el lenguaje .NET se describa automáticamente de una forma no específica del lenguaje, invisible para desarrolladores y usuarios. Además, los metadatos se pueden ampliar mediante atributos. Los metadatos tienen las siguientes ventajas principales::

1) autodescripción: Los módulos y ensamblados de Common Language Runtime se describen a sí mismos. Los metadatos de un módulo contienen toda la información necesaria para interactuar con otro. Los metadatos proporcionan automáticamente la funcionalidad de IDL en COM, lo que permite usar un archivo tanto para la definición como para la implementación. Los módulos y ensamblados de Runtime ni siquiera necesitan registrarse en el sistema operativo. Como resultado, las instrucciones utilizadas por Runtime siempre reflejan el código real en el archivo compilado, lo que mejora la fiabilidad de la aplicación.

2) diseño: Los metadatos proporcionan toda la información necesaria sobre el código compilado para permitirle heredar clases de archivos PE escritos en diferentes lenguajes. Puede crear instancias de cualquier clase escrita en cualquier lenguaje administrado (cualquier lenguaje para Common Language Runtime) sin preocuparse por el serializado explícito ni por usar código de interoperabilidad personalizado.

¿Por qué una organización registra y gestiona sus metadatos?

La arquitectura de la información de la mayoría de las organizaciones es similar a la de una librería abarrotada y desorganizada. Los datos están por todas partes. En la mayoría de los casos, los datos de las organizaciones no están organizados ni catalogados, lo que dificulta encontrar los datos necesarios.

Este es el problema principal: la dificultad para encontrar datos y, por lo tanto, su disponibilidad. Y el problema solo empeora. En 10 años, la cantidad de datos organizacionales puede pasar de gigabytes a terabytes y luego a petabytes. En la era de "los datos son el nuevo petróleo", las organizaciones exitosas deben ser capaces de encontrar y utilizar todos los datos para obtener una ventaja competitiva. Las capacidades de descripción y búsqueda de la gestión de metadatos son cruciales para encontrar y utilizar estos datos con éxito.

La gestión de metadatos también es importante porque las definiciones pueden cambiar según el contexto de la información. Observe cómo los diferentes grupos piensan y definen la palabra "cliente". Por ejemplo, si habla con alguien de TI, ventas o cumplimiento normativo, es posible que tenga una visión o perspectiva diferente sobre lo que representa el cliente y cómo se almacenan los datos.

Para el departamento de TI, los datos sobre los clientes pueden centrarse en la ejecución de informes analíticos y paneles de control para la empresa, así como en los aspectos técnicos del almacenamiento de estos datos. Si se le pide al departamento de TI que defina la ubicación de los datos de "clientes", podrían responder: "Esto se encuentra en nuestro almacén de datos empresarial para informes, que data de 2015. También tenemos datos de clientes de nuevas adquisiciones en el... lago de datosEstos datos se encuentran en el lago de datos y deben convertirse antes de poder generar informes. Por lo tanto, para ellos, los datos de los clientes pueden ser muy analíticos o contener información histórica.

Su equipo de ventas podría centrarse más en las operaciones, por ejemplo, en cómo utilizan actualmente los datos de los clientes en las ventas. Para ellos, los datos de los clientes pueden referirse solo a los clientes activos o a los datos de clientes a nivel de cuenta (como el nombre de la empresa), no a todos los clientes que la empresa ha tenido. Los equipos de ventas pueden referirse a los datos de los clientes como nombres de empresas en lugar de datos a nivel de personal. Además, los departamentos de cumplimiento normativo pueden considerar los datos de los clientes a nivel de personal, ya que su principal uso de los datos es cumplir con normativas como el RGPD.

Como puede ver, el desafío no radica solo en la definición, sino en la inconsistencia de las definiciones entre los diferentes equipos y procesos. Y las cifras van en aumento. Necesita poder encontrar sus datos para un análisis óptimo. En operaciones, necesita comprender todas las diferentes aplicaciones y de dónde obtienen sus datos. En cuanto al cumplimiento normativo, debe asegurarse de que su organización cumpla las normas; para el departamento de TI, la principal preocupación es generar análisis y preservar el historial.

Con la gestión de metadatos, puede proporcionar a cada parte de su organización los metadatos necesarios para comprender y gestionar sus sistemas, sus datos, toda la organización y una visión unificada de los datos en toda la organización. Esta es la única manera de que las organizaciones funcionen correctamente y garanticen un buen funcionamiento.

Conclusión

Gracias por leer nuestro artículo y esperamos que pueda ayudarle a tener una mejor comprensión de ¿Qué son los metadatos?Si desea obtener más información sobre los metadatos, le recomendamos visitar Flujo de SQL de Gudu Para más información.

Como uno de los Las mejores herramientas de linaje de datos Disponible en el mercado hoy en día, Gudu SQLFlow no solo puede analizar archivos de script SQL, obtener linaje de datos, y realizar una visualización, pero también permitir a los usuarios proporcionar el linaje de datos en formato CSV y realizar una visualización. (Publicado por Ryan el 24 de junio de 2022)