¿Cómo elegir el mejor catálogo de datos para los datos de su empresa?

Catálogos de datos Se han convertido en una parte importante de la estrategia de gestión de datos empresariales, pero elegir el catálogo de datos adecuado no es tarea fácil. Antes de tomar una decisión, es necesario comprender las diversas opciones disponibles en el mercado y qué priorizar. Los catálogos de datos son... herramientas de gestión de metadatos que ayudan a las empresas a encontrar y gestionar grandes cantidades de datos. La idea del catálogo de datos es centralizar los metadatos en un solo lugar y ofrecer una vista completa de los datos en toda la base de datos.

También contiene información sobre la ubicación de cada punto de datos específico. Antes de elegir un proveedor, las empresas deben comprender el mercado, sus necesidades y expectativas. Este artículo les ayuda a elegir el mejor catálogo de datos para sus datos empresariales.

¿Cómo elegir el mejor catálogo de datos?

¿Por qué es importante el catálogo de datos?

Según Joe Maguire, director senior de investigación de Gartner, existen tres fuentes principales de demanda empresarial de herramientas de catálogo de datos.

El principal factor que impulsa el uso empresarial de catálogos de datos es la creciente dificultad de gestionar metadatos. El esquema de datos es más complejo y el volumen de datos es demasiado grande para recopilar y describir metadatos manualmente.

“Incluso las tecnologías diseñadas para simplificar la arquitectura, como lagos de datos que proporcionan un único componente arquitectónico para almacenar diversos datos, pueden complicar gestión de metadatos”, dijo Maguire.

Ante el crecimiento del volumen de datos, algunas empresas no están ampliando su gestión de metadatos.

“Es por ignorar los metadatos en el lago de datos que la gente ha tenido que acuñar el término 'pantano de datos' para describir un lago de datos donde los datos están desordenados y nadie puede limpiarlos”, dijo Maguire.

El segundo factor es que la necesidad de gobernanza de datos aumenta a medida que las empresas optan por el análisis de autoservicio y la ciencia de datos. Esto también genera una mayor demanda de catálogos de datos. Los metadatos son la base de la gobernanza de datos, y los catálogos de datos facilitan el acceso a ellos.

El tercer factor es que este mercado ha demostrado su valía. La oferta de los proveedores se ha diversificado cada vez más y puede ser de gran ayuda para las empresas que necesitan gobernanza de datos y gestión de metadatos. Funciones como el descubrimiento automático de metadatos, linaje de datos, y el soporte para actividades de gestión de datos hacen que los catálogos de datos sean atractivos para las empresas.

Categoría del catálogo de datos

Según Maguire, al analizar catálogos de datos, la diferencia más importante es comprender la diferencia entre catálogos de datos empresariales y catálogos de datos integrados.

“El catálogo de datos empresariales está diseñado para consolidar metadatos de varios silos de metadatos, mientras que el catálogo de datos integrado es el conjunto de capacidades de gestión de metadatos disponibles en otros productos”, afirmó Maguire.

Las opciones de catálogo de datos empresariales pueden ser un sistema de gestión de bases de datos (DBMS), un almacén de datos o una plataforma de inteligencia empresarial (BI). Los catálogos de datos integrados crean silos de metadatos que los catálogos de datos empresariales intentan consolidar.

Los siguientes son los catálogos de datos más comunes:

1. Catálogos de datos independientesEstos catálogos de datos son universales, independientes y orientados a las empresas, y se pueden utilizar ampliamente para la gestión, el análisis y la gobernanza de datos. Esta opción es ideal para empresas que necesitan clasificar datos para múltiples casos de uso. Entre los proveedores que actualmente ofrecen catálogos de datos independientes se encuentran Alation, Collibra, Informatica y Data.World.
2. Una herramienta de gestión de metadatos que proporciona funcionalidad de catálogoLos catálogos de datos modernos están dirigidos principalmente a administradores de datos y analistas de datos Quienes automatizan las tareas de gestión de metadatos. En su último informe sobre catálogos de datos mejorados, Gartner advierte que algunos proveedores están rebautizando sus herramientas de gestión de metadatos como catálogos de datos. Le recomendamos investigar por su cuenta para asegurarse de elegir la herramienta adecuada.
3. Herramienta de soporte de Data Lake con capacidades de catálogo de datosA medida que las empresas continúan construyendo lagos de datos, necesitan datos que se puedan buscar y reutilizar. Esto ha llevado a los proveedores a incorporar más catálogos de datos en sus productos. Tanto Zaloni como Cloudera Navigator se incluyen en esta categoría. Las empresas que se sientan incómodas ante la adopción de lagos de datos pueden considerar a estos proveedores.

Una vez que su empresa haya decidido entre un catálogo de datos empresarial o un catálogo de datos integrado, puede pasar a buscar funcionalidades. Un buen catálogo de datos debe ofrecer una amplia gama de funciones.

¿Qué debe proporcionar un buen catálogo de datos?

Como empresa, su equipo debe determinar qué productos son más relevantes para sus datos. Los catálogos de datos de los proveedores comparten ciertas características y su calidad debe evaluarse previamente.

Una función importante del catálogo de datos es su función de búsqueda. Sin opciones flexibles de búsqueda y filtrado, los usuarios no podrán encontrar conjuntos de datos para fines de ingeniería y análisis de datos. Los catálogos de datos también deben recopilar metadatos de una gran cantidad de recursos de datos vinculados. Además, deben proporcionar automatización e inteligencia de datos para gestionar las tareas manuales relacionadas con la catalogación de datos. La IA y el aprendizaje automático pueden enriquecer los datos con recomendaciones.

El catálogo de datos también debe conectarse a los diversos componentes de la arquitectura de datos dentro de la empresa. Un catálogo de datos empresarial puede considerarse como un almacén de datos Para los metadatos, dijo Maguire. Un catálogo de datos consolida los metadatos de los silos de metadatos, de forma similar a cómo un almacén de datos consolida los datos de los silos del almacén de datos.

Otra función importante del catálogo de datos es proporcionar conectores para obtener metadatos de diversos componentes, como sistemas de gestión de bases de datos (DBMS), herramientas de inteligencia empresarial (BI) y almacenes de datos. El catálogo de datos admite los siguientes cuatro tipos de metadatos:

• Metadatos técnicos que describen el modelo de datos, el esquema de almacenamiento, el diseño de archivos y la API.
• Metadatos operativos que describen el linaje de los datos, el rendimiento y la salida del archivo de registro resultante de varias operaciones en los datos.
• Hay dos tipos de metadatos comercialesUno de ellos son los metadatos que describen el negocio, como el contenido de un vocabulario de datos empresariales. Otro describe cómo los roles empresariales interactúan con los activos de datos, como los administradores de datos, los custodios de datos y los analistas de autoservicio, donde los administradores de datos son responsables de activos de datos específicos.
• Los metadatos sociales constituyen conocimiento, como certificaciones o avales de determinados activos de datos u otras anotaciones generadas por el usuario de entradas en el catálogo de datos.

Proveedores comunes del catálogo de datos:

Existen numerosos catálogos de datos empresariales e integrados en el mercado, y estas opciones suelen tener funcionalidades similares y superpuestas. A continuación, se presenta una breve comparación de las opciones de catálogo de datos.

1. Catálogo de datos de Alation. Alation es una herramienta de catálogo de datos independiente que utiliza IA para capturar el contexto de los datos dentro de una empresa. Se considera una opción fácil de usar para todos los empleados.
2. Catálogo Qlik. El catálogo de datos de Qlik también incluye herramientas automatizadas de preparación de datos y metadatos para facilitar la transformación de datos sin procesar. Además, cuenta con un data mart que permite a los usuarios buscar y publicar conjuntos de datos.
3. Catálogo de datos de Cloudera. El catálogo de datos de Cloudera permite a los usuarios descubrir, registrar y supervisar sus datos. Al mismo tiempo, este producto permite auditar el acceso y proteger la información confidencial del acceso no autorizado.
4. Catálogo de Collibra. Esta opción es otro catálogo de datos independiente, diseñado pensando en los usuarios finales empresariales. Es un repositorio con función de búsqueda que facilita la búsqueda y la comprensión de los datos. También permite a los administradores documentar roles y responsabilidades.
5. Catálogo de conocimientos de IBM Watson. Este es un catálogo abierto de datos inteligentes para la gobernanza de modelos de IA, así como para datos. Esta opción ofrece a los usuarios compatibilidad con la virtualización de datos en tiempo real, enmascaramiento dinámico de datos y generación automática de metadatos.
6. Infraestructura en la nube de Oracle. Los productos de Oracle ofrecen opciones de búsqueda y exploración que permiten a los usuarios encontrar datos de una variedad de fuentes diferentes a través de búsquedas y filtros multifacéticos, y recopilar metadatos técnicos sobre los activos de datos.

Conclusión

Gracias por leer nuestro artículo. Esperamos que le ayude a encontrar el catálogo de datos ideal para sus datos empresariales. Si desea obtener más información sobre el catálogo de datos ideal, le recomendamos visitar Flujo de SQL de Gudu Para más información.

Como uno de los Las mejores herramientas de linaje de datos Disponible actualmente en el mercado, Gudu SQLFlow no solo puede analizar archivos de script SQL, obtener linaje de datos y realizar una visualización, sino que también permite a los usuarios proporcionar linaje de datos en formato CSV y realizar una visualización. (Publicado por Ryan el 2 de julio de 2022)