Gobernanza de lagos de datos: beneficios, desafíos y primeros pasos

Un éxito gobernanza de datos El programa aprovecha políticas, estándares y procesos para crear datos de alta calidad y garantizar que se utilice correctamente en toda la organización. La gobernanza de datos se centró inicialmente en datos estructurados en bases de datos relacionales y tradicionales. almacenes de datosPero las cosas cambiaron. Si su empresa tiene un entorno de lago de datos del que desea análisis precisos, también necesita implementar... lago de datos gobernanza como parte de un plan general de gobernanza.

Pero los lagos de datos presentan diversos desafíos para todas las áreas de gestión de datos empresariales, incluida la gobernanza de datos. A continuación, exploraremos algunos de los principales desafíos de la gobernanza y los beneficios de gobernar eficazmente un lago de datos.

Primero, definamos qué es un lago de datos: se refiere a una plataforma de datos que alberga grandes cantidades de datos sin procesar, que a menudo incluyen diversos tipos de datos estructurados, no estructurados y semiestructurados. Generalmente se basa en Hadoop, Spark y otras tecnologías de big data.

Mientras que la mayoría de los almacenes de datos almacenan datos en tablas relacionales, los lagos de datos utilizan un esquema plano. A cada elemento de datos se le asigna un identificador único y se marca con un conjunto de etiquetas de metadatos. Por lo tanto, un lago de datos no está tan estructurado como un almacén de datos. Los datos suelen conservarse en su formato original y se ordenan, organizan y filtran según sea necesario para fines analíticos específicos, no al cargarlos en un lago de datos.

Gobernanza del lago de datos

Lagos de datos y pantanos de datos:

Si un lago de datos no se gestiona ni rige correctamente, puede convertirse en un pantano en lugar de un lago. Los datos se vierten en plataformas sin la supervisión ni el registro adecuados, lo que dificulta que los equipos de gestión y gobernanza de datos controlen el contenido del lago. Esto puede generar problemas de calidad, consistencia, fiabilidad y accesibilidad de los datos.

Como resultado, científicos de datos, ingenieros de datosEs posible que otros usuarios finales no puedan encontrar datos relevantes para aplicaciones analíticas. Peor aún, la saturación de datos puede provocar errores analíticos y, en última instancia, malas decisiones empresariales. La seguridad de los datos y la protección de la privacidad pueden no aplicarse correctamente, lo que pone en riesgo los activos de datos de una organización y su reputación empresarial. Para evitar esta situación saturada, las empresas deben gestionar el entorno del lago de datos.

Beneficios de la gobernanza del lago de datos:

Una gobernanza de datos eficaz permite a las empresas mejorar la calidad de los datos y maximizar su uso para la toma de decisiones empresariales, lo que puede generar mejoras operativas, estrategias empresariales más sólidas y un mejor rendimiento financiero. El mismo principio se aplica a la gobernanza de lagos de datos, así como a otros tipos de sistemas. Entre los beneficios específicos que ofrece la gobernanza de lagos de datos se incluyen:

1. Aumente el acceso a datos relevantes para análisis avanzados. En un lago de datos bien administrado, es más fácil para los científicos de datos y el resto del equipo de análisis encontrar los datos que necesitan para el aprendizaje automático, el análisis predictivo y otras aplicaciones de la ciencia de datos.
2. Dedique menos tiempo a preparar datos para fines analíticos. Si bien los datos en un lago de datos suelen conservarse sin procesar, sabiendo que una aplicación específica los requiere, en un entorno regulado el proceso de preparación de datos puede acortarse. Por ejemplo, la limpieza inicial de datos reduce el tiempo necesario para corregir errores y otros problemas posteriormente.
3. Reducir los costes de TI y gestión de datos. Al evitar que el lago de datos se salga de control, se logra el procesamiento y almacenamiento de datos necesarios. recursos Se puede reducir. También reduce las necesidades generales de gestión de datos al mejorar la precisión, la claridad y la consistencia de los datos.
4. Mejorar la seguridad y el cumplimiento normativo de los datos confidenciales. Un uso común de un lago de datos es facilitar el marketing y las ventas. Por lo tanto, suelen contener información confidencial sobre el cliente. Una gobernanza sólida del lago de datos ayuda a proteger adecuadamente estos datos y a evitar su uso indebido.

Desafíos de la gobernanza del lago de datos:

Las disciplinas de gestión de datos complementarias de la gobernanza de datos incluyen la calidad de los datos, gestión de metadatosy la seguridad de los datos, todo lo cual afecta la gobernanza de los lagos de datos y sus desafíos. A continuación, se presentan cinco desafíos comunes de gobernanza de datos que se presentan en las implementaciones de lagos de datos.

1. Identificar y mantener las fuentes de datos correctas. En muchas implementaciones de data lakes, los metadatos de origen no se capturan o no están disponibles, lo que cuestiona la validez del contenido. Por ejemplo, si el propietario de un sistema de registro o conjunto de datos no aparece en la lista, o si los datos aparentemente redundantes pueden causar problemas a los analistas de datos, es fundamental documentar los metadatos de origen de todos los datos del data lake y ponerlos a disposición de los usuarios para que puedan comprender su origen.
2. Problemas de gestión de metadatos. Los metadatos son fundamentales para contextualizar el contenido de un conjunto de datos y facilitar su comprensión y uso en aplicaciones. Sin embargo, muchas implementaciones de data lakes no aplican la definición correcta a los datos recopilados. Además, dado que los datos sin procesar suelen cargarse en un data lake, muchas empresas no implementan los pasos necesarios para validarlos ni para aplicar estándares de datos organizacionales. Los datos del data lake son de poca utilidad para el análisis debido a la falta de una gestión adecuada de metadatos.
3. La gobernanza y la calidad de los datos carecen de coordinación. La falta de coordinación en la gobernanza del lago de datos y las iniciativas de calidad de datos pueden provocar que ingresen datos de baja calidad. Cuando los datos se utilizan para analizar e impulsar decisiones empresariales, esto puede generar resultados inexactos, lo que genera una pérdida de confianza en el lago de datos y una desconfianza generalizada hacia los datos en toda la organización. Una implementación eficaz del lago de datos requiere analistas de calidad de datos e ingenieros para trabajar en estrecha colaboración con el equipo de gobernanza de datos y el negocio. administradores de datos Aplicar políticas de calidad de datos, analizar los datos y tomar las acciones necesarias para mejorar su calidad.
4. Falta de coordinación entre gobernanza de datos y seguridad de datos. En este caso, la aplicación incorrecta de las normas y políticas de seguridad de datos en el proceso de gobernanza puede generar problemas de acceso a datos personales y otros tipos de datos sensibles protegidos por las normativas de privacidad. Si bien los data lakes están diseñados para ser fuentes de datos relativamente abiertas, se requieren controles de seguridad y acceso, y los equipos de gobernanza y seguridad de datos deben colaborar en el diseño y el proceso de carga del data lake, así como en las iniciativas continuas de gobernanza de datos.
5. Conflictos entre unidades de negocio que utilizan el mismo lago de datos. Los distintos departamentos pueden tener distintas reglas de negocio para datos similares, lo que puede dificultar la conciliación de discrepancias para un análisis preciso. Contar con un programa sólido de gobernanza de datos con una visión empresarial de las políticas, estándares, procedimientos y definiciones de datos, incluyendo un glosario empresarial, puede reducir los problemas que surgen cuando varias unidades de negocio utilizan un data lake. Si una empresa cuenta con varios data lakes, cada uno debe estar incluido en el proceso de gobernanza y asignarse a un administrador de datos empresarial.

¿Cómo empezar a gestionar lagos de datos?

Al igual que con la gobernanza de datos en otros tipos de sistemas, los pasos iniciales comunes para la gobernanza del lago de datos incluyen:

1. Documentar el caso comercial para la gestión del lago de datos, incluidas las métricas de calidad de los datos y otras formas de medir los beneficios de los esfuerzos de gestión.
2. Busque ejecutivos o patrocinadores comerciales que ayuden a obtener aprobación y financiación para los esfuerzos de gobernanza.
3. Si aún no cuenta con una estructura de gobernanza de datos, cree una que incluya un equipo de gobernanza, administración de datos y un comité de gobernanza de datos, integrado por líderes empresariales y otros propietarios de datos relevantes.
4. Trabajar con el comité de gobernanza para desarrollar estándares de datos y políticas de gobernanza para el entorno del lago de datos.

Otro buen primer paso es crear un catálogo de datos para ayudar a los usuarios finales a localizar y comprender los datos almacenados en el data lake. Si ya cuenta con un catálogo de otros recursos de datos, puede ampliarlo para incluir un data lake. El catálogo de datos captura metadatos y crea un inventario de los datos disponibles que los usuarios pueden consultar para encontrar los que necesitan. También puede integrar en el catálogo información sobre las políticas de gobernanza de datos de su organización, así como sobre los mecanismos para aplicar reglas y restricciones.

En conclusión, el valor de un lago de datos puede mejorarse significativamente al incluir una sólida gobernanza de datos, así como procesos de gestión de metadatos, calidad y seguridad de los datos en el diseño, la carga y el mantenimiento del entorno de datos. La participación activa de profesionales con experiencia en todas estas áreas también es crucial. De lo contrario, su lago de datos podría convertirse en un pantano de datos.

Conclusión

Gracias por leer nuestro artículo. Esperamos que le ayude a comprender mejor la gobernanza de lagos de datos. Si desea obtener más información sobre la gobernanza de lagos de datos, le recomendamos visitar Flujo de SQL de Gudu Para más información.

Como uno de los Las mejores herramientas de linaje de datos Disponible en el mercado hoy en día, Gudu SQLFlow no solo puede analizar archivos de script SQL, obtener linaje de datos, y realizar una visualización, pero también permitir a los usuarios proporcionar el linaje de datos en formato CSV y realizar una visualización. (Publicado por Ryan el 3 de julio de 2022)