{"id":4961,"date":"2022-07-02T20:14:16","date_gmt":"2022-07-03T04:14:16","guid":{"rendered":"https:\/\/www.gudusoft.com\/?p=4961"},"modified":"2022-07-02T20:14:16","modified_gmt":"2022-07-03T04:14:16","slug":"data-lake-governance-benefits-challenges","status":"publish","type":"post","link":"https:\/\/www.gudusoft.com\/es\/gobernanza-de-lagos-de-datos-beneficios-y-desafios\/","title":{"rendered":"Gobernanza de lagos de datos: beneficios, desaf\u00edos y primeros pasos"},"content":{"rendered":"

Gobernanza de lagos de datos: beneficios, desaf\u00edos y primeros pasos<\/h2>\n

Un \u00e9xito gobernanza de datos<\/strong><\/a> El programa aprovecha pol\u00edticas, est\u00e1ndares y procesos para crear datos de alta calidad<\/strong><\/a> y garantizar que se utilice correctamente en toda la organizaci\u00f3n. La gobernanza de datos se centr\u00f3 inicialmente en datos estructurados en bases de datos relacionales y tradicionales. almacenes de datos<\/strong><\/a>Pero las cosas cambiaron. Si su empresa tiene un entorno de lago de datos del que desea an\u00e1lisis precisos, tambi\u00e9n necesita implementar... lago de datos<\/strong><\/a> gobernanza como parte de un plan general de gobernanza.<\/p>\n

Pero los lagos de datos presentan diversos desaf\u00edos para todas las \u00e1reas de gesti\u00f3n de datos empresariales<\/strong><\/a>, incluida la gobernanza de datos. A continuaci\u00f3n, exploraremos algunos de los principales desaf\u00edos de la gobernanza y los beneficios de gobernar eficazmente un lago de datos.<\/p>\n

Primero, definamos qu\u00e9 es un lago de datos: se refiere a una plataforma de datos que alberga grandes cantidades de datos sin procesar, que a menudo incluyen diversos tipos de datos estructurados, no estructurados y semiestructurados. Generalmente se basa en Hadoop, Spark y otras tecnolog\u00edas de big data.<\/p>\n

Mientras que la mayor\u00eda de los almacenes de datos almacenan datos en tablas relacionales, los lagos de datos utilizan un esquema plano. A cada elemento de datos se le asigna un identificador \u00fanico y se marca con un conjunto de etiquetas de metadatos. Por lo tanto, un lago de datos no est\u00e1 tan estructurado como un almac\u00e9n de datos. Los datos suelen conservarse en su formato original y se ordenan, organizan y filtran seg\u00fan sea necesario para fines anal\u00edticos espec\u00edficos, no al cargarlos en un lago de datos.<\/p>\n

\"Gobernanza

Gobernanza del lago de datos<\/p><\/div>\n

Lagos de datos y pantanos de datos:<\/h3>\n

Si un lago de datos no se gestiona ni rige correctamente, puede convertirse en un pantano en lugar de un lago. Los datos se vierten en plataformas sin la supervisi\u00f3n ni el registro adecuados, lo que dificulta que los equipos de gesti\u00f3n y gobernanza de datos controlen el contenido del lago. Esto puede generar problemas de calidad, consistencia, fiabilidad y accesibilidad de los datos.<\/p>\n

Como resultado, cient\u00edficos de datos<\/strong><\/a>, ingenieros de datos<\/strong><\/a>Es posible que otros usuarios finales no puedan encontrar datos relevantes para aplicaciones anal\u00edticas. Peor a\u00fan, la saturaci\u00f3n de datos puede provocar errores anal\u00edticos y, en \u00faltima instancia, malas decisiones empresariales. La seguridad de los datos y la protecci\u00f3n de la privacidad pueden no aplicarse correctamente, lo que pone en riesgo los activos de datos de una organizaci\u00f3n y su reputaci\u00f3n empresarial. Para evitar esta situaci\u00f3n saturada, las empresas deben gestionar el entorno del lago de datos.<\/p>\n

Beneficios de la gobernanza del lago de datos:<\/strong><\/h3>\n

Una gobernanza de datos eficaz permite a las empresas mejorar la calidad de los datos y maximizar su uso para la toma de decisiones empresariales, lo que puede generar mejoras operativas, estrategias empresariales m\u00e1s s\u00f3lidas y un mejor rendimiento financiero. El mismo principio se aplica a la gobernanza de lagos de datos, as\u00ed como a otros tipos de sistemas. Entre los beneficios espec\u00edficos que ofrece la gobernanza de lagos de datos se incluyen:<\/p>\n

    \n
  1. Aumente el acceso a datos relevantes para an\u00e1lisis avanzados.<\/strong> En un lago de datos bien administrado, es m\u00e1s f\u00e1cil para los cient\u00edficos de datos y el resto del equipo de an\u00e1lisis encontrar los datos que necesitan para el aprendizaje autom\u00e1tico, el an\u00e1lisis predictivo y otras aplicaciones de la ciencia de datos.<\/li>\n
  2. Dedique menos tiempo a preparar datos para fines anal\u00edticos.<\/strong> Si bien los datos en un lago de datos suelen conservarse sin procesar, sabiendo que una aplicaci\u00f3n espec\u00edfica los requiere, en un entorno regulado el proceso de preparaci\u00f3n de datos puede acortarse. Por ejemplo, la limpieza inicial de datos reduce el tiempo necesario para corregir errores y otros problemas posteriormente.<\/li>\n
  3. Reducir los costes de TI y gesti\u00f3n de datos.<\/strong> By preventing the data lake from getting out of control, the required data processing and storage resources can be reduced. It also reduces overall data management needs by improving data accuracy, neatness, and consistency.<\/li>\n
  4. Mejorar la seguridad y el cumplimiento normativo de los datos confidenciales.<\/strong> Un uso com\u00fan de un lago de datos es facilitar el marketing y las ventas. Por lo tanto, suelen contener informaci\u00f3n confidencial sobre el cliente. Una gobernanza s\u00f3lida del lago de datos ayuda a proteger adecuadamente estos datos y a evitar su uso indebido.<\/li>\n<\/ol>\n

    Desaf\u00edos de la gobernanza del lago de datos:<\/h3>\n

    Las disciplinas de gesti\u00f3n de datos complementarias de la gobernanza de datos incluyen la calidad de los datos, gesti\u00f3n de metadatos<\/strong><\/a>y la seguridad de los datos, todo lo cual afecta la gobernanza de los lagos de datos y sus desaf\u00edos. A continuaci\u00f3n, se presentan cinco desaf\u00edos comunes de gobernanza de datos que se presentan en las implementaciones de lagos de datos.<\/p>\n

      \n
    1. Identificar y mantener las fuentes de datos correctas.<\/strong> En muchas implementaciones de data lakes, los metadatos de origen no se capturan o no est\u00e1n disponibles, lo que cuestiona la validez del contenido. Por ejemplo, si el propietario de un sistema de registro o conjunto de datos no aparece en la lista, o si los datos aparentemente redundantes pueden causar problemas a los analistas de datos, es fundamental documentar los metadatos de origen de todos los datos del data lake y ponerlos a disposici\u00f3n de los usuarios para que puedan comprender su origen.<\/li>\n
    2. Problemas de gesti\u00f3n de metadatos.<\/strong> Los metadatos son fundamentales para contextualizar el contenido de un conjunto de datos y facilitar su comprensi\u00f3n y uso en aplicaciones. Sin embargo, muchas implementaciones de data lakes no aplican la definici\u00f3n correcta a los datos recopilados. Adem\u00e1s, dado que los datos sin procesar suelen cargarse en un data lake, muchas empresas no implementan los pasos necesarios para validarlos ni para aplicar est\u00e1ndares de datos organizacionales. Los datos del data lake son de poca utilidad para el an\u00e1lisis debido a la falta de una gesti\u00f3n adecuada de metadatos.<\/li>\n
    3. La gobernanza y la calidad de los datos carecen de coordinaci\u00f3n.<\/strong> La falta de coordinaci\u00f3n en la gobernanza del lago de datos y las iniciativas de calidad de datos pueden provocar que ingresen datos de baja calidad. Cuando los datos se utilizan para analizar e impulsar decisiones empresariales, esto puede generar resultados inexactos, lo que genera una p\u00e9rdida de confianza en el lago de datos y una desconfianza generalizada hacia los datos en toda la organizaci\u00f3n. Una implementaci\u00f3n eficaz del lago de datos requiere analistas de calidad de datos<\/strong><\/a> e ingenieros para trabajar en estrecha colaboraci\u00f3n con el equipo de gobernanza de datos y el negocio. administradores de datos<\/strong><\/a> Aplicar pol\u00edticas de calidad de datos, analizar los datos y tomar las acciones necesarias para mejorar su calidad.<\/li>\n
    4. Falta de coordinaci\u00f3n entre gobernanza de datos y seguridad de datos.<\/strong> En este caso, la aplicaci\u00f3n incorrecta de las normas y pol\u00edticas de seguridad de datos en el proceso de gobernanza puede generar problemas de acceso a datos personales y otros tipos de datos sensibles protegidos por las normativas de privacidad. Si bien los data lakes est\u00e1n dise\u00f1ados para ser fuentes de datos relativamente abiertas, se requieren controles de seguridad y acceso, y los equipos de gobernanza y seguridad de datos deben colaborar en el dise\u00f1o y el proceso de carga del data lake, as\u00ed como en las iniciativas continuas de gobernanza de datos.<\/li>\n
    5. Conflictos entre unidades de negocio que utilizan el mismo lago de datos.<\/strong> Los distintos departamentos pueden tener distintas reglas de negocio para datos similares, lo que puede dificultar la conciliaci\u00f3n de discrepancias para un an\u00e1lisis preciso. Contar con un programa s\u00f3lido de gobernanza de datos con una visi\u00f3n empresarial de las pol\u00edticas, est\u00e1ndares, procedimientos y definiciones de datos, incluyendo un glosario empresarial, puede reducir los problemas que surgen cuando varias unidades de negocio utilizan un data lake. Si una empresa cuenta con varios data lakes, cada uno debe estar incluido en el proceso de gobernanza y asignarse a un administrador de datos empresarial.<\/li>\n<\/ol>\n

      \u00bfC\u00f3mo empezar a gestionar lagos de datos?<\/h3>\n

      Al igual que con la gobernanza de datos en otros tipos de sistemas, los pasos iniciales comunes para la gobernanza del lago de datos incluyen:<\/p>\n

        \n
      1. Documentar el caso comercial para la gesti\u00f3n del lago de datos, incluidas las m\u00e9tricas de calidad de los datos y otras formas de medir los beneficios de los esfuerzos de gesti\u00f3n.<\/li>\n
      2. Busque ejecutivos o patrocinadores comerciales que ayuden a obtener aprobaci\u00f3n y financiaci\u00f3n para los esfuerzos de gobernanza.<\/li>\n
      3. Si a\u00fan no cuenta con una estructura de gobernanza de datos, cree una que incluya un equipo de gobernanza, administraci\u00f3n de datos y un comit\u00e9 de gobernanza de datos, integrado por l\u00edderes empresariales y otros propietarios de datos relevantes.<\/li>\n
      4. Trabajar con el comit\u00e9 de gobernanza para desarrollar est\u00e1ndares de datos y pol\u00edticas de gobernanza para el entorno del lago de datos.<\/li>\n<\/ol>\n

        Otro buen primer paso es crear un cat\u00e1logo de datos para ayudar a los usuarios finales a localizar y comprender los datos almacenados en el data lake. Si ya cuenta con un cat\u00e1logo de otros recursos de datos, puede ampliarlo para incluir un data lake. El cat\u00e1logo de datos captura metadatos y crea un inventario de los datos disponibles que los usuarios pueden consultar para encontrar los que necesitan. Tambi\u00e9n puede integrar en el cat\u00e1logo informaci\u00f3n sobre las pol\u00edticas de gobernanza de datos de su organizaci\u00f3n, as\u00ed como sobre los mecanismos para aplicar reglas y restricciones.<\/p>\n

        En conclusi\u00f3n, el valor de un lago de datos puede mejorarse significativamente al incluir una s\u00f3lida gobernanza de datos, as\u00ed como procesos de gesti\u00f3n de metadatos, calidad y seguridad de los datos en el dise\u00f1o, la carga y el mantenimiento del entorno de datos. La participaci\u00f3n activa de profesionales con experiencia en todas estas \u00e1reas tambi\u00e9n es crucial. De lo contrario, su lago de datos podr\u00eda convertirse en un pantano de datos.<\/p>\n

        Conclusi\u00f3n<\/h3>\n

        Gracias por leer nuestro art\u00edculo. Esperamos que le ayude a comprender mejor la gobernanza de lagos de datos. Si desea obtener m\u00e1s informaci\u00f3n sobre la gobernanza de lagos de datos, le recomendamos visitar Flujo de SQL de Gudu<\/strong><\/a> Para m\u00e1s informaci\u00f3n.<\/p>\n

        Como uno de los\u00a0Las mejores herramientas de linaje de datos<\/a><\/strong>\u00a0Disponible en el mercado hoy en d\u00eda, Gudu SQLFlow no solo puede analizar archivos de script SQL, obtener\u00a0linaje de datos<\/strong><\/a>, y realizar una visualizaci\u00f3n, pero tambi\u00e9n permitir a los usuarios proporcionar el linaje de datos en formato CSV y realizar una visualizaci\u00f3n.\u00a0(Publicado por Ryan el 3 de julio de 2022)<\/strong><\/p>\n<\/div><\/div><\/div>