![\"Herramienta](\"https:\/\/www.gudusoft.com\/wp-content\/uploads\/2022\/06\/Open_Source_Metadata_Management_Tool-800x827.png\")
Caracter\u00edsticas de M\u00e1rquez:<\/h3>\n
1. La gesti\u00f3n centralizada de metadatos admite:<\/p>\n
- \n
- Linaje de datos<\/a><\/strong><\/li>\n
- Gobernanza de datos<\/li>\n
- Salud de los datos<\/li>\n
- Descubrimiento y exploraci\u00f3n de datos<\/li>\n<\/ul>\n
2. Modelo de datos preciso de alta dimensi\u00f3n:<\/p>\n
- \n
- Empleos<\/li>\n
- Conjuntos de datos<\/li>\n<\/ul>\n
3. Recopile metadatos f\u00e1cilmente a trav\u00e9s de API de metadatos espec\u00edficas:<\/p>\n
- \n
- Preste atenci\u00f3n a los datos del conjunto de datos<\/li>\n
- Reforzar la propiedad del trabajo y del conjunto de datos<\/li>\n
- Operaci\u00f3n y dise\u00f1o simples con dependencias m\u00ednimas<\/li>\n<\/ul>\n
4. La API RESTful admite una integraci\u00f3n compleja con otros sistemas:<\/p>\n
- \n
- \u00a0Flujo de aire<\/li>\n
- Amundsen<\/li>\n
- \u00a0Dagster<\/li>\n
- Dise\u00f1ado para promover un ecosistema de datos saludable donde los miembros del equipo de una organizaci\u00f3n puedan compartir sin problemas y confiar de forma segura en los conjuntos de datos de los dem\u00e1s.<\/li>\n<\/ul>\n
\u00bfPor qu\u00e9 elegir M\u00e1rquez?<\/h3>\n
Marquez admite consultas de linaje de datos altamente flexibles en conjuntos de datos completos, al mismo tiempo que correlaciona de manera confiable y eficiente los trabajos y sus dependencias (ascendentes y descendentes) entre la generaci\u00f3n y el consumo de conjuntos de datos.<\/p>\n
El dise\u00f1o de M\u00e1rquez<\/h3>\n
Marquez es un sistema modular que permite gesti\u00f3n de metadatos<\/strong><\/a> Como una soluci\u00f3n desplataforma altamente escalable y extensible. Consta de los siguientes sistemas:<\/p>\n
- \n
- Repositorio de metadatos: almacena todos los metadatos de trabajos y conjuntos de datos, incluido el historial completo de ejecuciones de trabajos y las estad\u00edsticas a nivel de trabajo (por ejemplo: tiempo total de ejecuci\u00f3n, tiempo de ejecuci\u00f3n promedio, \u00e9xito\/fracaso, etc.).<\/li>\n
- API de metadatos: una API RESTful permite que un conjunto diverso de clientes recopilen metadatos sobre la producci\u00f3n y el consumo de conjuntos de datos.<\/li>\n
- Interfaz de usuario de metadatos: para descubrir conjuntos de datos, conectar m\u00faltiples conjuntos de datos y explorar su gr\u00e1fico de dependencia.<\/li>\n<\/ul>\n
![\"Herramienta](\"https:\/\/www.gudusoft.com\/wp-content\/uploads\/2022\/06\/Open_Source_Metadata_Management_Tool-2-800x715.png\")
Herramienta de gesti\u00f3n de metadatos de c\u00f3digo abierto<\/figcaption><\/figure>\n Para facilitar la adopci\u00f3n y permitir que la recopilaci\u00f3n de metadatos sea un requisito fundamental en el dise\u00f1o de diferentes aplicaciones de procesamiento de datos, Marquez proporciona clientes espec\u00edficos para cada lenguaje que implementan la API de metadatos. Como parte de la versi\u00f3n inicial, es compatible con Java y Python.<\/p>\n
La API de metadatos es una abstracci\u00f3n para registrar informaci\u00f3n sobre la producci\u00f3n y el uso de conjuntos de datos. Es una capa sin estado de baja latencia y alta disponibilidad, responsable de encapsular metadatos persistentes e informaci\u00f3n de linaje de colecciones. La API permite a los clientes recopilar u obtener informaci\u00f3n de conjuntos de datos de un repositorio de metadatos.<\/p>\n
Es necesario recopilar, organizar y almacenar metadatos para realizar consultas exploratorias exhaustivas mediante la interfaz de metadatos. El repositorio de metadatos es un cat\u00e1logo abstracto de informaci\u00f3n de conjuntos de datos, comprimido y depurado por la API de metadatos.<\/p>\n
El modelo de datos de M\u00e1rquez<\/h3>\n
El modelo de datos de M\u00e1rquez enfatiza la inmutabilidad y el procesamiento justo a tiempo de los conjuntos de datos. Los conjuntos de datos se generan mediante ejecuciones de trabajos, y su valor es importante. Las ejecuciones de trabajos se vinculan con c\u00f3digos de versi\u00f3n y producen una o m\u00e1s salidas de versi\u00f3n inmutables. Los cambios en el conjunto de datos se registran en varios puntos de la ejecuci\u00f3n del trabajo, incluyendo el \u00e9xito o el fracaso de la ejecuci\u00f3n, mediante llamadas a la API ligera.<\/p>\n
La siguiente figura muestra los metadatos recopilados y catalogados para un trabajo determinado en m\u00faltiples ejecuciones, y los cambios de series de tiempo aplicados a su conjunto de datos de entrada.<\/p>\n
![\"Herramienta](\"https:\/\/www.gudusoft.com\/wp-content\/uploads\/2022\/06\/Open_Source_Metadata_Management_Tool-3-800x260.png\")
Herramienta de gesti\u00f3n de metadatos de c\u00f3digo abierto<\/figcaption><\/figure>\n - \n
- Trabajo: El trabajo contiene un propietario, un nombre \u00fanico, una versi\u00f3n y una descripci\u00f3n opcional. Un trabajo define una o m\u00e1s entradas de versi\u00f3n como dependencias y una o m\u00e1s salidas de versi\u00f3n como artefactos. Tenga en cuenta que un trabajo puede definir solo conjuntos de datos de entrada o solo conjuntos de datos de salida.<\/li>\n
- Versi\u00f3n del trabajo: Una versi\u00f3n inmutable de solo lectura del trabajo, con un enlace de referencia \u00fanica, codificada en el almacenamiento para garantizar la reproducci\u00f3n del c\u00f3digo fuente. Una versi\u00f3n del trabajo asocia uno o m\u00e1s conjuntos de datos de entrada y salida a una definici\u00f3n de trabajo (el flujo de datos entre varios trabajos es importante para documentar la informaci\u00f3n de linaje). Estas asociaciones categorizan los enlaces de origen y proporcionan un flujo visual de datos eficaz.<\/li>\n
- Conjunto de datos: Un conjunto de datos tiene un propietario, un nombre \u00fanico, un esquema, una versi\u00f3n y una descripci\u00f3n opcional. El conjunto de datos se encuentra en la fuente de datos. Las fuentes de datos pueden agrupar conjuntos de datos f\u00edsicos en sus fuentes f\u00edsicas. Cada conjunto de datos tiene un puntero de versi\u00f3n al conjunto de cambios hist\u00f3rico, mantenido por Marquez. Cuando los cambios del conjunto de datos se confirman en Marquez, se genera un ID de versi\u00f3n \u00fanico, se almacena y se establece en la versi\u00f3n actual. El puntero se actualiza internamente.<\/li>\n
- Versi\u00f3n del conjunto de datos: La versi\u00f3n inmutable de solo lectura del conjunto de datos. Cada versi\u00f3n se puede leer de forma independiente, tiene un ID \u00fanico y se asigna a los cambios del conjunto de datos para preservar su estado en un momento espec\u00edfico. El ID de la \u00faltima versi\u00f3n solo se actualiza cuando se registran los cambios en el conjunto de datos. Para calcular los distintos ID de versi\u00f3n, Marquez aplica funciones de control de versiones a un conjunto de propiedades correspondientes al conjunto de datos de la fuente de datos subyacente.<\/li>\n<\/ul>\n
Conclusi\u00f3n<\/h3>\n
Gracias por leer nuestro art\u00edculo. Esperamos que le ayude a comprender mejor Marquez: una herramienta de gesti\u00f3n de metadatos de c\u00f3digo abierto. Si desea obtener m\u00e1s informaci\u00f3n sobre la gesti\u00f3n de metadatos, le recomendamos visitar Flujo de SQL de Gudu<\/strong><\/a> Para m\u00e1s informaci\u00f3n.<\/p>\n