Plateforme de gestion des métadonnées d'entreprise à l'ère du Big Data

Plateforme de gestion des métadonnées d'entreprise

Sous l'influence de la numérisation sous toutes ses formes, il est crucial d'intégrer et d'exploiter les différentes métadonnées dans l'environnement de l'entreprise. Pour les entreprises, le choix d'une outil de gestion des métadonnées qui leur convient maximisera le rôle des métadonnées pour aider les entreprises à atteindre leurs objectifs stratégiques en termes de données.

Les différents rôles au sein d'une entreprise peuvent avoir des attentes différentes vis-à-vis des outils de métadonnées, mais ces attentes peuvent globalement être résumées dans les dix principales fonctionnalités des outils de gestion des métadonnées. Bien entendu, ces fonctionnalités reposent sur des technologies clés. « La gestion des métadonnées constituera l'infrastructure centrale de l'informatisation future des entreprises. »

En effet, dans l'environnement du Big Data, si l'entreprise ne gère pas une variété d'informations complexes par le biais gestion des métadonnéesIl est difficile d'exploiter efficacement ces informations. Cependant, de nombreuses entreprises constatent progressivement que la valeur ajoutée directe de la gestion des métadonnées pour l'innovation commerciale est très limitée.

Quel est l’état actuel de la gestion des métadonnées ?

Les principales raisons pour lesquelles la gestion des métadonnées ne peut pas apporter de valeur directe à l'innovation commerciale résident dans les quatre aspects suivants :

1. Champ de gestion restreintLe champ d'application restreint actuel de la gestion des métadonnées se reflète principalement sous deux aspects : premièrement, seules les métadonnées relatives à entrepôts de données La gestion des métadonnées est partielle, mais n'est pas étendue à l'ensemble de l'entreprise. De plus, même dans le domaine des entrepôts de données, seule une partie des métadonnées techniques est gérée. Ce manque de métadonnées techniques empêche le système de métadonnées de refléter la réalité du système d'information de l'entreprise. L'absence de métadonnées métier se traduit par une multitude de structures de tables dépourvues de signification métier spécifique.
2. Difficultés d'intégration des entreprisesEn raison d'une intégration insuffisante avec les processus métier, de nombreuses entreprises, après avoir mis en place un système de gestion des métadonnées, constatent qu'il n'est utilisé que par le personnel du service de gestion des données, les autres services n'y ayant aucun accès. Or, tout système doit être au service de l'entreprise. Un système utilisé par un seul service est inopérant. Il est donc essentiel que tous les services utilisent le système de gestion des métadonnées.
3. Absence de scénarios d'applicationÀ l'heure actuelle, la plupart des scénarios d'application des métadonnées se limitent aux fonctions internes du système de métadonnées, telles que l'analyse de la lignée, la gestion des versions, etc. Ces fonctions sont utilisées par les entreprises dans le cadre de leur informatisation, mais en réalité, le rôle des métadonnées ne se limite pas à ces fonctions.
4. Technologie imparfaiteL'imperfection des technologies a engendré les problèmes susmentionnés. Leur faible évolutivité empêche de nombreux outils de gestion des métadonnées de gérer efficacement les données et la structure de l'entreprise. Leurs capacités de collecte limitées se traduisent par des enregistrements auxiliaires manuels, des coûts de main-d'œuvre élevés et l'impossibilité d'établir un lien complet entre les informations. Enfin, leurs performances en temps réel insuffisantes font que la gestion des métadonnées de nombreuses entreprises reste bloquée au stade T+1 (voire même au-delà), les empêchant de connaître l'état de leurs actifs de données en temps réel et de suivre le rythme de croissance de ces données.

On observe aujourd'hui sur le marché une demande croissante en matière de gestion des métadonnées d'entreprise :

1. La numérisation s'accélère et la quantité de données dans l'entreprise a connu une croissance exponentielle.

Avec l'avènement du numérique, de nombreuses informations complexes et évolutives peuvent être transformées en données mesurables et intégrées à l'ordinateur pour un traitement unifié. Des études ont montré que le volume de données collectées et utilisées par les entreprises croît de façon exponentielle chaque année. La gestion efficace de ces volumes massifs de données exige une gestion des métadonnées d'entreprise.

2. L'émergence des technologies liées au big data permet aux entreprises de percevoir de nouvelles opportunités.

Les technologies liées au Big Data permettent d'exploiter pleinement la valeur des données d'entreprise, mais le Big Data implique souvent la collecte, la diffusion et le partage de nombreuses sources de données, telles que les données personnelles mobiles, les données des réseaux sociaux, les données publiques, les données de l'Internet des objets, etc. Ce processus nécessite le soutien d'une gestion des métadonnées d'entreprise.

3. Augmentation de la demande des entreprises en matière de gouvernance des données.

Aujourd'hui, les entreprises s'intéressent à l'utilisation du big data, mais la condition préalable à son application est d'avoir données de haute qualitéDe nos jours, de nombreuses entreprises utilisent divers formats de données internes et des normes différentes. Les applications Big Data commencent souvent par… gouvernance des donnéesEn tant que moyen important de gouvernance des données d'entreprise, la gestion des données attirera inévitablement l'attention des entreprises nationales et étrangères.

Comment exploiter pleinement la valeur commerciale de la gestion des métadonnées ?

Les métadonnées définissent également des attributs en fonction des scénarios métiers réels. Elles possèdent des attributs communs, tels que le nom et le type. Différents types de métadonnées ont également leurs propres attributs spécifiques. Étant donné que les métadonnées sont aussi des données, elles doivent être stockées dans une base de données. Le référentiel de métadonnées désigne la table de base de données physique qui les stocke. Généralement, une base de données relationnelle open source (MySQL) est utilisée à cet effet. La gestion des métadonnées est décrite ci-dessous sous différents angles :

1. Déterminer la portée des métadonnées.

Il convient tout d'abord de définir le périmètre des sources de métadonnées. En pratique, toutes les données ne nécessitent pas de métadonnées. Généralement, on privilégie les données métier. Les données non métier sont exclues du périmètre de gestion des métadonnées, car ce dernier vise principalement à faciliter la compréhension des données métier par les équipes métier et les développeurs.

Une fois les règles définies, il convient de déterminer, en fonction de la situation réelle de l'entreprise, les systèmes d'information, les bases de données, les utilisateurs de bases de données et les tables nécessitant une gestion des métadonnées. Bien entendu, l'extraction de métadonnées non structurées, telles que celles provenant de documents Word ou PDF, est également prise en charge.

2. Accéder aux métadonnées

Les métadonnées sont généralement extraites du système source. Si l'entreprise dispose déjà d'un entrepôt de données ou si les exigences en temps réel ne sont pas élevées, afin de réduire la charge de développement, les métadonnées existantes seront extraites de l'entrepôt de données, tandis que les métadonnées non connectées seront extraites du système source. Cependant, cette solution présente également des risques. Si les données de l'entrepôt de données sont incohérentes avec celles du système source, cela entraînera des erreurs de métadonnées. De nos jours, l'extraction des métadonnées est majoritairement réalisée par automatisation de la configuration.

3. Établir des normes en matière de métadonnées.

Lors du tri, certaines bases de données ou définitions de données peuvent ne pas être normalisées, ce qui empêche la gestion des métadonnées. Il est donc nécessaire d'établir une spécification de gestion des métadonnées afin de corriger les données sources frontales et ainsi garantir l'intégrité et la cohérence des métadonnées.

Selon les exigences des différents types d'entreprises, les métadonnées seront accessibles à différents groupes. Par conséquent, le processus de gestion des autorisations d'accès aux métadonnées doit être défini dans les spécifications, incluant la couche d'autorisation, le processus de demande d'autorisation, le processus de diffusion et le processus d'approbation.

4. Maintenance des métadonnées.

La maintenance des métadonnées consiste principalement à gérer et à maintenir les métadonnées publiées. Si les métadonnées publiées en ligne nécessitent un ajustement ou une optimisation, elles doivent être soumises à une nouvelle procédure de publication ; toute modification directe est interdite. Pour des raisons de sécurité, toutes les opérations sur les métadonnées doivent être consignées dans le journal des opérations.

Vous pouvez créer des catalogues de métadonnées, y insérer différentes métadonnées et concevoir ces catalogues en fonction des processus métier, des domaines d'activité et des processus de développement, principalement selon les exigences de l'entreprise.

5. Recherche, analyse et rapport des métadonnées.

Une page dédiée permet une recherche rapide, floue ou précise, des métadonnées, et de trouver celles qui correspondent en saisissant des informations clés. Les métadonnées étant considérées comme un type de données, il est nécessaire de générer un rapport sur ces données. Ce rapport permet d'appréhender rapidement la popularité d'accès aux métadonnées, la valeur, le coût, la distribution et d'autres informations connexes.

Quelles sont les applications des métadonnées ?

Les entreprises ont des activités diversifiées et des produits complexes, générant ainsi une grande quantité de données réparties dans différents systèmes et applications. Grâce aux métadonnées, nous pouvons comprendre quelles données l'entreprise possède, ce qu'elles représentent, d'où elles proviennent, comment elles circulent dans le système, etc., gérer les métadonnées et développer des applications de métadonnées, telles que des référentiels de termes métier, des normes de données, des dictionnaires de données et des catalogues d'actifs de données. lignée de données Analyse, cartographie des données, etc. Nous aborderons principalement la relation de traçabilité des données et la cartographie des données dans la suite de ce document.

1. Analyse de la lignée des données

La traçabilité des données est une application importante des métadonnées, permettant de décrire les relations entre les données. Par exemple, si cette table est extraite d'un système donné, quelles sont les relations entre tel champ et tel autre ? Ces relations incluent les relations de traçabilité au niveau du cluster, du système, de la table et du champ. Elles permettent de remonter à la source des données et d'en retracer l'origine.

Les données de traçabilité ascendante et descendante, au niveau des tables et des champs, permettent de visualiser clairement le contexte logique du traitement des données, de localiser rapidement l'impact des anomalies, de définir précisément le périmètre minimal de retour en arrière et de réduire les coûts liés à l'analyse et à la résolution des problèmes de données. L'analyse de la lignée répond aux exigences réglementaires et de conformité spécifiques à de nombreux secteurs, tels que la santé, la finance, la banque et l'industrie manufacturière.

De plus, l'analyse d'impact fait partie intégrante de l'application de gestion des relations de traçabilité et permet d'analyser le flux de données en aval. Lors d'une mise à niveau du système, celle-ci peut notifier en temps réel les systèmes en aval des modifications et suppressions de la structure des données. Grâce à l'analyse d'impact basée sur les données, il est possible d'identifier rapidement les systèmes en aval, les tables et les champs qui seront affectés par la modification des métadonnées, réduisant ainsi les risques liés aux mises à niveau du système.

2. Carte des données

Dans l'ensemble du système de données, la cartographie des données joue le rôle de gestionnaire. Elle affiche les informations de manière graphique et indique divers paramètres nécessaires aux calculs. Elle peut être utilisée non seulement par les développeurs de données, mais aussi par les équipes produit. Son utilisation est par ailleurs très conviviale. Elle comprend les éléments suivants :

• Localisation de recherche rapide : recherchez des données pertinentes via le moteur de recherche, prenant en charge les requêtes précises, les requêtes floues, les requêtes par nom de table, les requêtes par champ, les requêtes par remarques et d’autres méthodes ;
• Présentation graphique standardisée : utilisez une représentation graphique pour organiser la logique de la page. Par exemple, le niveau de qualité des données est indiqué par une icône Wi-Fi, ce qui est pratique et visible à l’œil nu, et facilite l’accès aux informations clés requises par l’utilisateur ;
• Collecte des données historiques : Dans de nombreux cas, il n’est pas nécessaire de recalculer les données historiques, et leur extraction directe permet d’éviter considérablement les développements redondants. Par exemple, pour les statistiques des nouveaux utilisateurs, les données historiques peuvent être extraites et associées au journal de connexion quotidien afin de calculer le nombre de nouveaux utilisateurs chaque jour.
• Outils d'analyse d'association directe : les données étant directement stockées sur la plateforme, le module d'extension de rapport peut être appelé pour visualiser rapidement les informations du rapport de manière intuitive, sans nécessiter de traitement ni de développement secondaire, ce qui améliore considérablement l'efficacité du développement.

Grâce à ces outils, les équipes métiers peuvent comprendre la nature des données de l'entreprise et mieux les appréhender à travers leur signification commerciale. Les équipes techniques, quant à elles, peuvent appréhender la situation globale des données, créer des tables de base de données conformes aux normes, réaliser des appels d'offres et garantir la standardisation des données. La traçabilité et la cartographie des données permettent de clarifier leur contexte et d'éviter qu'elles ne soient perçues comme un désordre.

Conclusion

Merci d'avoir lu notre article. Nous espérons qu'il vous aura permis de mieux comprendre la gestion des métadonnées d'entreprise. Pour en savoir plus sur ce sujet, nous vous invitons à consulter [lien manquant]. Gudu SQLFlow pour plus d'informations.

En tant que l'un des meilleurs outils de lignage de données Disponible sur le marché aujourd'hui, Gudu SQLFlow peut non seulement analyser les fichiers de script SQL, obtenir la lignée des données et effectuer un affichage visuel, mais également permettre aux utilisateurs de fournir la lignée des données au format CSV et d'effectuer un affichage visuel. (Publié par Ryan le 1er juillet 2022)