{"id":4806,"date":"2022-06-29T07:12:28","date_gmt":"2022-06-29T15:12:28","guid":{"rendered":"https:\/\/www.gudusoft.com\/?p=4806"},"modified":"2022-06-29T07:16:43","modified_gmt":"2022-06-29T15:16:43","slug":"metadata-architecture-evolution","status":"publish","type":"post","link":"https:\/\/www.gudusoft.com\/es\/evolucion-de-la-arquitectura-de-metadatos\/","title":{"rendered":"Evoluci\u00f3n de la arquitectura de metadatos | Gudu SQLFlow"},"content":{"rendered":"<div class=\"fusion-fullwidth fullwidth-box fusion-builder-row-1 fusion-flex-container nonhundred-percent-fullwidth non-hundred-percent-height-scrolling\" style=\"background-color: rgba(255,255,255,0);background-position: center center;background-repeat: no-repeat;border-width: 0px 0px 0px 0px;border-color:#e8eaf0;border-style:solid;\" ><div class=\"fusion-builder-row fusion-row fusion-flex-align-items-flex-start\" style=\"max-width:1310.4px;margin-left: calc(-4% \/ 2 );margin-right: calc(-4% \/ 2 );\"><div class=\"fusion-layout-column fusion_builder_column fusion-builder-column-0 fusion_builder_column_1_1 1_1 fusion-flex-column\"><div class=\"fusion-column-wrapper fusion-flex-justify-content-flex-start fusion-content-layout-column\" style=\"background-position:left top;background-repeat:no-repeat;-webkit-background-size:cover;-moz-background-size:cover;-o-background-size:cover;background-size:cover;padding: 0px 0px 0px 0px;\"><div class=\"fusion-text fusion-text-1\" style=\"line-height:26px;\"><h2>Evoluci\u00f3n de la arquitectura de metadatos<\/h2>\n<p><a href=\"https:\/\/www.gudusoft.com\/es\/que-es-la-gestion-de-metadatos\/\"><strong>Gesti\u00f3n de metadatos<\/strong><\/a> es el fundamento y la fuente de la <strong><a href=\"https:\/\/www.gudusoft.com\/es\/category\/data-governance-101\/\">gobernanza de datos<\/a><\/strong> Sistema. En las diferentes etapas del desarrollo tecnol\u00f3gico, su estatus y rol en la gobernanza de datos empresariales var\u00edan considerablemente. Hoy en d\u00eda, los datos se caracterizan por su multiorigen, heterogeneidad y diferencia de valor, caracter\u00edsticas que se aceleran y amplifican en el proceso de crecimiento exponencial de los datos. Adem\u00e1s, tras el significativo aumento generalizado de la capacidad de procesamiento de las empresas, existe una fuerte expectativa de que los datos se exploten a mayor profundidad para obtener mayor valor.<\/p>\n<p>Como equipo de soporte de datos empresariales, la pregunta m\u00e1s frecuente a diario es &quot;\u00bfc\u00f3mo obtener el conjunto de datos correcto?&quot;. Nos hemos dado cuenta de que, si bien hemos desarrollado almacenamiento de datos altamente escalable, computaci\u00f3n en tiempo real y m\u00e1s, nuestros equipos siguen perdiendo tiempo buscando los conjuntos de datos adecuados para desarrollar y analizar. Es decir, a\u00fan carecemos de la gesti\u00f3n de activos de datos. De hecho, muchas empresas ofrecen soluciones de c\u00f3digo abierto para estos problemas, como herramientas de descubrimiento de datos y gesti\u00f3n de metadatos.<\/p>\n<p>Sin embargo, debido a las limitaciones de las necesidades de desarrollo empresarial y tecnol\u00f3gico de las distintas empresas en sus distintas etapas, la selecci\u00f3n de funciones, aplicaciones y enfoques para la construcci\u00f3n de plataformas de gesti\u00f3n relevantes por parte de las empresas suele variar considerablemente. Este art\u00edculo pretende presentar la evoluci\u00f3n arquitect\u00f3nica de... <a href=\"https:\/\/www.gudusoft.com\/es\/las-10-mejores-herramientas-de-gestion-de-metadatos\/\"><strong>herramientas de gesti\u00f3n de metadatos<\/strong><\/a>.<\/p>\n<p>En pocas palabras, la gesti\u00f3n de metadatos consiste en la organizaci\u00f3n y gesti\u00f3n eficiente de activos de datos mediante metadatos. Tambi\u00e9n ayuda a los profesionales de datos a recopilar, organizar, acceder y enriquecer metadatos, y a respaldar aplicaciones de nivel superior como mapas de datos, especificaci\u00f3n de datos, control de costes, inspecci\u00f3n de calidad y auditor\u00eda de seguridad.<\/p>\n<p>Hace treinta a\u00f1os, un activo de datos pod\u00eda ser simplemente una tabla en una base de datos Oracle. Sin embargo, en la empresa moderna, disponemos de una asombrosa variedad de tipos de activos de datos. Puede ser una tabla de una base de datos relacional, un objeto en una base de datos no relacional, un fragmento de datos en tiempo real, un indicador, un retrato, un dial o un panel en una herramienta de inteligencia empresarial.<\/p>\n<p>Un sistema moderno de gesti\u00f3n de metadatos debe abarcar todo tipo de activos de datos y ayudar a los profesionales de datos a optimizar su uso. Por lo tanto, las funciones principales del sistema de gesti\u00f3n de metadatos aplicable hoy en d\u00eda son las siguientes:<\/p>\n<ul>\n<li>B\u00fasqueda y descubrimiento: tablas de datos, campos, etiquetas, informaci\u00f3n de uso;<\/li>\n<li>Control de acceso: grupos de control de acceso, usuarios, pol\u00edticas;<\/li>\n<li><a href=\"https:\/\/www.gudusoft.com\/es\/que-son-los-datos-de-linaje-y-por-que-son-importantes\/\"><strong>Linaje de datos<\/strong><\/a>: ejecuci\u00f3n de canalizaci\u00f3n, consulta;<\/li>\n<li>Cumplimiento: clasificaci\u00f3n de tipos de anotaciones de privacidad\/cumplimiento de datos;<\/li>\n<li>Gesti\u00f3n de datos: configuraci\u00f3n de la fuente de datos, configuraci\u00f3n de ingesta, configuraci\u00f3n de retenci\u00f3n, pol\u00edtica de purga de datos;<\/li>\n<li>Interpretabilidad y reproducibilidad de la IA: definici\u00f3n de caracter\u00edsticas, definici\u00f3n del modelo, ejecuci\u00f3n de entrenamiento, planteamiento del problema;<\/li>\n<li>Manipulaci\u00f3n de datos: ejecuci\u00f3n de canalizaci\u00f3n, partici\u00f3n de datos procesados, estad\u00edsticas de datos;<\/li>\n<li><a href=\"https:\/\/www.gudusoft.com\/es\/como-mejorar-la-calidad-de-los-datos\/\"><strong>Calidad de los datos<\/strong><\/a>: definici\u00f3n de regla de calidad de datos, resultado de ejecuci\u00f3n de regla, estad\u00edsticas de datos.<\/li>\n<\/ul>\n<h3>Evoluci\u00f3n de la arquitectura de metadatos:<\/h3>\n<p>El<strong> primera generaci\u00f3n<\/strong> <strong>arquitectura de metadatos<\/strong> Generalmente se basa en la extracci\u00f3n. Los metadatos se obtienen conectando y consultando fuentes de datos (Hive, Kafka, etc.), y solo se requieren servicios de almacenamiento y consulta externos. Suele ser un front-end monol\u00edtico cl\u00e1sico que se conecta al almacenamiento principal para las consultas (normalmente MySQL\/Postgres), un \u00edndice de b\u00fasqueda (normalmente Elasticsearch) que procesa las consultas cuando esta alcanza el l\u00edmite de consultas recursivas de una base de datos relacional. Puede actualizarse para usar una base de datos gr\u00e1fica (normalmente Neo4j) como \u00edndice de consulta.<\/p>\n<div id=\"attachment_4814\" style=\"width: 922px\" class=\"wp-caption aligncenter\"><img aria-describedby=\"caption-attachment-4814\" decoding=\"async\" class=\"wp-image-4814 size-full\" src=\"https:\/\/www.gudusoft.com\/wp-content\/uploads\/2022\/06\/Metadata_Architecture-2.png\" alt=\"Arquitectura de metadatos\" width=\"912\" height=\"401\" srcset=\"https:\/\/www.gudusoft.com\/wp-content\/uploads\/2022\/06\/Metadata_Architecture-2-200x88.png 200w, https:\/\/www.gudusoft.com\/wp-content\/uploads\/2022\/06\/Metadata_Architecture-2-300x132.png 300w, https:\/\/www.gudusoft.com\/wp-content\/uploads\/2022\/06\/Metadata_Architecture-2-400x176.png 400w, https:\/\/www.gudusoft.com\/wp-content\/uploads\/2022\/06\/Metadata_Architecture-2-600x264.png 600w, https:\/\/www.gudusoft.com\/wp-content\/uploads\/2022\/06\/Metadata_Architecture-2-768x338.png 768w, https:\/\/www.gudusoft.com\/wp-content\/uploads\/2022\/06\/Metadata_Architecture-2-800x352.png 800w, https:\/\/www.gudusoft.com\/wp-content\/uploads\/2022\/06\/Metadata_Architecture-2.png 912w\" sizes=\"(max-width: 912px) 100vw, 912px\" \/><p id=\"caption-attachment-4814\" class=\"wp-caption-text\">Arquitectura de metadatos<\/p><\/div>\n<p>Las ventajas de esta arquitectura de metadatos son evidentes: es simple y se puede construir r\u00e1pidamente con solo almacenamiento y un motor de b\u00fasqueda, con alta eficiencia y bajo costo. Sin embargo, las desventajas tambi\u00e9n son evidentes: tiene un impacto considerable en el rendimiento de la fuente de datos y existen muchos requisitos en cuanto al tiempo de extracci\u00f3n, la frecuencia y la carga. Adem\u00e1s, a medida que los requisitos de tiempo real aumentan, esta arquitectura de metadatos se vuelve cada vez m\u00e1s inaplicable.<\/p>\n<p>El producto de c\u00f3digo abierto Amundsen tiene una arquitectura de primera generaci\u00f3n, pero se centra en la funci\u00f3n de lograr ranking de b\u00fasqueda, que es muy potente.<\/p>\n<p>El<strong> segunda generaci\u00f3n<\/strong> <strong>arquitectura de metadatos<\/strong> Es una arquitectura de aplicaci\u00f3n de tres niveles basada en la divisi\u00f3n de servicios. Esta arquitectura separa la aplicaci\u00f3n monol\u00edtica de los servicios de metadatos. El servicio proporciona una API que permite escribir metadatos en el sistema mediante un mecanismo de inserci\u00f3n y una API de lectura de metadatos para programas que necesitan leerlos program\u00e1ticamente.<\/p>\n<div id=\"attachment_4817\" style=\"width: 892px\" class=\"wp-caption aligncenter\"><img aria-describedby=\"caption-attachment-4817\" decoding=\"async\" class=\"wp-image-4817 size-full\" src=\"https:\/\/www.gudusoft.com\/wp-content\/uploads\/2022\/06\/Metadata_Architecture-3.png\" alt=\"Arquitectura de metadatos\" width=\"882\" height=\"500\" srcset=\"https:\/\/www.gudusoft.com\/wp-content\/uploads\/2022\/06\/Metadata_Architecture-3-200x113.png 200w, https:\/\/www.gudusoft.com\/wp-content\/uploads\/2022\/06\/Metadata_Architecture-3-300x170.png 300w, https:\/\/www.gudusoft.com\/wp-content\/uploads\/2022\/06\/Metadata_Architecture-3-400x227.png 400w, https:\/\/www.gudusoft.com\/wp-content\/uploads\/2022\/06\/Metadata_Architecture-3-600x340.png 600w, https:\/\/www.gudusoft.com\/wp-content\/uploads\/2022\/06\/Metadata_Architecture-3-768x435.png 768w, https:\/\/www.gudusoft.com\/wp-content\/uploads\/2022\/06\/Metadata_Architecture-3-800x454.png 800w, https:\/\/www.gudusoft.com\/wp-content\/uploads\/2022\/06\/Metadata_Architecture-3.png 882w\" sizes=\"(max-width: 882px) 100vw, 882px\" \/><p id=\"caption-attachment-4817\" class=\"wp-caption-text\">Arquitectura de metadatos<\/p><\/div>\n<p>La ventaja de esta arquitectura es que se implementa con el m\u00e9todo push, que conecta al productor de metadatos con el servicio de metadatos y resuelve el problema del tiempo real. La desventaja es que no se generan registros. Si algo falla, puede resultar dif\u00edcil reiniciar (recrear) o corregir de forma fiable los \u00edndices de b\u00fasqueda y gr\u00e1ficos. Los sistemas de metadatos de segunda generaci\u00f3n suelen ser un portal fiable de b\u00fasqueda y descubrimiento para los activos de datos de una empresa, satisfaciendo las necesidades b\u00e1sicas de los trabajadores de datos. Marquez cuenta con una arquitectura de metadatos de segunda generaci\u00f3n.<\/p>\n<p>El<strong> arquitectura de metadatos de tercera generaci\u00f3n<\/strong> Es una arquitectura de gesti\u00f3n de metadatos basada en eventos, basada en la inserci\u00f3n de registros y la disociaci\u00f3n de modelos. Los usuarios pueden interactuar con la base de datos de metadatos de diferentes maneras seg\u00fan sus necesidades y definir modelos de metadatos extendidos.<\/p>\n<div id=\"attachment_4820\" style=\"width: 892px\" class=\"wp-caption aligncenter\"><img aria-describedby=\"caption-attachment-4820\" decoding=\"async\" class=\"wp-image-4820 size-full\" src=\"https:\/\/www.gudusoft.com\/wp-content\/uploads\/2022\/06\/Metadata_Architecture-4.png\" alt=\"Arquitectura de metadatos\" width=\"882\" height=\"535\" srcset=\"https:\/\/www.gudusoft.com\/wp-content\/uploads\/2022\/06\/Metadata_Architecture-4-200x121.png 200w, https:\/\/www.gudusoft.com\/wp-content\/uploads\/2022\/06\/Metadata_Architecture-4-300x182.png 300w, https:\/\/www.gudusoft.com\/wp-content\/uploads\/2022\/06\/Metadata_Architecture-4-400x243.png 400w, https:\/\/www.gudusoft.com\/wp-content\/uploads\/2022\/06\/Metadata_Architecture-4-600x364.png 600w, https:\/\/www.gudusoft.com\/wp-content\/uploads\/2022\/06\/Metadata_Architecture-4-768x466.png 768w, https:\/\/www.gudusoft.com\/wp-content\/uploads\/2022\/06\/Metadata_Architecture-4-800x485.png 800w, https:\/\/www.gudusoft.com\/wp-content\/uploads\/2022\/06\/Metadata_Architecture-4.png 882w\" sizes=\"(max-width: 882px) 100vw, 882px\" \/><p id=\"caption-attachment-4820\" class=\"wp-caption-text\">Arquitectura de metadatos<\/p><\/div>\n<p>Sus principales ventajas son: flexibilidad, alta escalabilidad, b\u00fasqueda de baja latencia, capacidad para realizar b\u00fasquedas de texto completo y de clasificaci\u00f3n de atributos de metadatos, consultas gr\u00e1ficas que admiten relaciones entre metadatos y capacidades completas de escaneo y an\u00e1lisis. La desventaja es la gran cantidad de componentes dependientes y el alto costo de operaci\u00f3n y mantenimiento. Los sistemas representativos de la arquitectura de metadatos de tercera generaci\u00f3n son Altas y DataHub.<\/p>\n<p>Una representaci\u00f3n visual simple del panorama actual de las plataformas de gesti\u00f3n de metadatos (incluso las que no son de c\u00f3digo abierto):<\/p>\n<p><img decoding=\"async\" class=\"size-full wp-image-4821 aligncenter\" src=\"https:\/\/www.gudusoft.com\/wp-content\/uploads\/2022\/06\/Metadata_Architecture-5.png\" alt=\"\" width=\"848\" height=\"403\" srcset=\"https:\/\/www.gudusoft.com\/wp-content\/uploads\/2022\/06\/Metadata_Architecture-5-200x95.png 200w, https:\/\/www.gudusoft.com\/wp-content\/uploads\/2022\/06\/Metadata_Architecture-5-300x143.png 300w, https:\/\/www.gudusoft.com\/wp-content\/uploads\/2022\/06\/Metadata_Architecture-5-400x190.png 400w, https:\/\/www.gudusoft.com\/wp-content\/uploads\/2022\/06\/Metadata_Architecture-5-600x285.png 600w, https:\/\/www.gudusoft.com\/wp-content\/uploads\/2022\/06\/Metadata_Architecture-5-768x365.png 768w, https:\/\/www.gudusoft.com\/wp-content\/uploads\/2022\/06\/Metadata_Architecture-5-800x380.png 800w, https:\/\/www.gudusoft.com\/wp-content\/uploads\/2022\/06\/Metadata_Architecture-5.png 848w\" sizes=\"(max-width: 848px) 100vw, 848px\" \/><\/p>\n<h3>Conclusi\u00f3n<\/h3>\n<p>Gracias por leer nuestro art\u00edculo. Esperamos que le ayude a comprender mejor la evoluci\u00f3n de la arquitectura de metadatos. Si desea obtener m\u00e1s informaci\u00f3n sobre metadatos, le recomendamos visitar <a href=\"https:\/\/www.gudusoft.com\/es\/\"><strong>Flujo de SQL de Gudu<\/strong><\/a> Para m\u00e1s informaci\u00f3n.<\/p>\n<p>Como uno de los\u00a0<strong><a href=\"https:\/\/www.dpriver.com\/blog\/2022\/05\/11\/best-data-lineage-tools\/\" target=\"_blank\" rel=\"noopener noreferrer\">Las mejores herramientas de linaje de datos<\/a><\/strong>\u00a0Disponible actualmente en el mercado, Gudu SQLFlow no solo puede analizar archivos de script SQL, obtener linaje de datos y realizar una visualizaci\u00f3n, sino que tambi\u00e9n permite a los usuarios proporcionar linaje de datos en formato CSV y realizar una visualizaci\u00f3n.\u00a0<strong>(Publicado por Ryan el 29 de junio de 2022)<\/strong><\/p>\n<\/div><\/div><\/div><style type=\"text\/css\">.fusion-body .fusion-builder-column-0{width:100% !important;margin-top : 0px;margin-bottom : 0px;}.fusion-builder-column-0 > .fusion-column-wrapper {padding-top : 0px !important;padding-right : 0px !important;margin-right : 1.92%;padding-bottom : 0px !important;padding-left : 0px !important;margin-left : 1.92%;}@media only screen and (max-width:1024px) {.fusion-body .fusion-builder-column-0{width:100% !important;}.fusion-builder-column-0 > .fusion-column-wrapper {margin-right : 1.92%;margin-left : 1.92%;}}@media only screen and (max-width:640px) {.fusion-body .fusion-builder-column-0{width:100% !important;}.fusion-builder-column-0 > .fusion-column-wrapper {margin-right : 1.92%;margin-left : 1.92%;}}<\/style><\/div><style type=\"text\/css\">.fusion-body .fusion-flex-container.fusion-builder-row-1{ padding-top : 0px;margin-top : 0px;padding-right : 0px;padding-bottom : 0px;margin-bottom : 0px;padding-left : 0px;}<\/style><\/div>","protected":false},"excerpt":{"rendered":"","protected":false},"author":27,"featured_media":4825,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":[],"categories":[178],"tags":[137,152,234,233,151,235,214],"_links":{"self":[{"href":"https:\/\/www.gudusoft.com\/es\/wp-json\/wp\/v2\/posts\/4806"}],"collection":[{"href":"https:\/\/www.gudusoft.com\/es\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/www.gudusoft.com\/es\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/www.gudusoft.com\/es\/wp-json\/wp\/v2\/users\/27"}],"replies":[{"embeddable":true,"href":"https:\/\/www.gudusoft.com\/es\/wp-json\/wp\/v2\/comments?post=4806"}],"version-history":[{"count":14,"href":"https:\/\/www.gudusoft.com\/es\/wp-json\/wp\/v2\/posts\/4806\/revisions"}],"predecessor-version":[{"id":4827,"href":"https:\/\/www.gudusoft.com\/es\/wp-json\/wp\/v2\/posts\/4806\/revisions\/4827"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/www.gudusoft.com\/es\/wp-json\/wp\/v2\/media\/4825"}],"wp:attachment":[{"href":"https:\/\/www.gudusoft.com\/es\/wp-json\/wp\/v2\/media?parent=4806"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/www.gudusoft.com\/es\/wp-json\/wp\/v2\/categories?post=4806"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/www.gudusoft.com\/es\/wp-json\/wp\/v2\/tags?post=4806"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}