{"id":4770,"date":"2022-06-27T20:45:43","date_gmt":"2022-06-28T04:45:43","guid":{"rendered":"https:\/\/www.gudusoft.com\/?p=4770"},"modified":"2022-09-17T14:26:49","modified_gmt":"2022-09-17T22:26:49","slug":"open-source-metadata-management-tool","status":"publish","type":"post","link":"https:\/\/www.gudusoft.com\/fr\/outil-de-gestion-des-metadonnees-open-source\/","title":{"rendered":"Marquez\u00a0: un outil de gestion des m\u00e9tadonn\u00e9es open source"},"content":{"rendered":"<div class=\"fusion-fullwidth fullwidth-box fusion-builder-row-1 fusion-flex-container nonhundred-percent-fullwidth non-hundred-percent-height-scrolling\" style=\"background-color: rgba(255,255,255,0);background-position: center center;background-repeat: no-repeat;border-width: 0px 0px 0px 0px;border-color:#e8eaf0;border-style:solid;\" ><div class=\"fusion-builder-row fusion-row fusion-flex-align-items-flex-start\" style=\"max-width:1310.4px;margin-left: calc(-4% \/ 2 );margin-right: calc(-4% \/ 2 );\"><div class=\"fusion-layout-column fusion_builder_column fusion-builder-column-0 fusion_builder_column_1_1 1_1 fusion-flex-column\"><div class=\"fusion-column-wrapper fusion-flex-justify-content-flex-start fusion-content-layout-column\" style=\"background-position:left top;background-repeat:no-repeat;-webkit-background-size:cover;-moz-background-size:cover;-o-background-size:cover;background-size:cover;padding: 0px 0px 0px 0px;\"><div class=\"fusion-text fusion-text-1\" style=\"line-height:26px;\"><h2>Marquez\u00a0: un outil de gestion des m\u00e9tadonn\u00e9es open source<\/h2>\n<p>Marquez est un service de m\u00e9tadonn\u00e9es open source pour la collecte, l&#039;agr\u00e9gation et la visualisation des m\u00e9tadonn\u00e9es de l&#039;\u00e9cosyst\u00e8me de donn\u00e9es. Il g\u00e8re la consommation et la production des jeux de donn\u00e9es, offre une visibilit\u00e9 globale sur l&#039;ex\u00e9cution des t\u00e2ches et la fr\u00e9quence d&#039;acc\u00e8s aux jeux de donn\u00e9es, assure une gestion centralis\u00e9e du cycle de vie des jeux de donn\u00e9es, et bien plus encore. WeWork a publi\u00e9 et rendu open source Marquez.<\/p>\n<div id=\"attachment_4774\" style=\"width: 810px\" class=\"wp-caption aligncenter\"><img aria-describedby=\"caption-attachment-4774\" decoding=\"async\" class=\"size-fusion-800 wp-image-4774\" src=\"https:\/\/www.gudusoft.com\/wp-content\/uploads\/2022\/06\/Open_Source_Metadata_Management_Tool-800x827.png\" alt=\"Outil de gestion des m\u00e9tadonn\u00e9es open source\" width=\"800\" height=\"827\" srcset=\"https:\/\/www.gudusoft.com\/wp-content\/uploads\/2022\/06\/Open_Source_Metadata_Management_Tool-200x207.png 200w, https:\/\/www.gudusoft.com\/wp-content\/uploads\/2022\/06\/Open_Source_Metadata_Management_Tool-290x300.png 290w, https:\/\/www.gudusoft.com\/wp-content\/uploads\/2022\/06\/Open_Source_Metadata_Management_Tool-400x413.png 400w, https:\/\/www.gudusoft.com\/wp-content\/uploads\/2022\/06\/Open_Source_Metadata_Management_Tool-600x620.png 600w, https:\/\/www.gudusoft.com\/wp-content\/uploads\/2022\/06\/Open_Source_Metadata_Management_Tool-768x794.png 768w, https:\/\/www.gudusoft.com\/wp-content\/uploads\/2022\/06\/Open_Source_Metadata_Management_Tool-800x827.png 800w, https:\/\/www.gudusoft.com\/wp-content\/uploads\/2022\/06\/Open_Source_Metadata_Management_Tool-991x1024.png 991w, https:\/\/www.gudusoft.com\/wp-content\/uploads\/2022\/06\/Open_Source_Metadata_Management_Tool.png 1078w\" sizes=\"(max-width: 800px) 100vw, 800px\" \/><p id=\"caption-attachment-4774\" class=\"wp-caption-text\">Outil de gestion des m\u00e9tadonn\u00e9es open source<\/p><\/div>\n<h3>Caract\u00e9ristiques de Marquez :<\/h3>\n<p>1. La gestion centralis\u00e9e des m\u00e9tadonn\u00e9es prend en charge :<\/p>\n<ul>\n<li><strong><a href=\"https:\/\/www.gudusoft.com\/fr\/quest-ce-que-la-lignee-des-donnees-pourquoi-est-elle-importante\/\">Lign\u00e9e de donn\u00e9es<\/a><\/strong><\/li>\n<li>Gouvernance des donn\u00e9es<\/li>\n<li>Sant\u00e9 des donn\u00e9es<\/li>\n<li>D\u00e9couverte et exploration des donn\u00e9es<\/li>\n<\/ul>\n<p>2. Mod\u00e8le de donn\u00e9es pr\u00e9cis \u00e0 haute dimension :<\/p>\n<ul>\n<li>Emplois<\/li>\n<li>Ensembles de donn\u00e9es<\/li>\n<\/ul>\n<p>3. Collectez facilement des m\u00e9tadonn\u00e9es via des API de m\u00e9tadonn\u00e9es sp\u00e9cifi\u00e9es\u00a0:<\/p>\n<ul>\n<li>Faites attention aux donn\u00e9es de l&#039;ensemble de donn\u00e9es<\/li>\n<li>Renforcer la propri\u00e9t\u00e9 des t\u00e2ches et des ensembles de donn\u00e9es<\/li>\n<li>Fonctionnement et conception simples avec des d\u00e9pendances minimales<\/li>\n<\/ul>\n<p>4. L&#039;API RESTful prend en charge l&#039;int\u00e9gration complexe avec d&#039;autres syst\u00e8mes\u00a0:<\/p>\n<ul>\n<li>\u00a0D\u00e9bit d&#039;air<\/li>\n<li>Amundsen<\/li>\n<li>\u00a0Dagster<\/li>\n<li>Con\u00e7u pour promouvoir un \u00e9cosyst\u00e8me de donn\u00e9es sain o\u00f9 les membres de l&#039;\u00e9quipe d&#039;une organisation peuvent partager de mani\u00e8re transparente et s&#039;appuyer en toute s\u00e9curit\u00e9 sur les ensembles de donn\u00e9es des autres en toute confiance.<\/li>\n<\/ul>\n<h3>Pourquoi choisir Marquez ?<\/h3>\n<p>Marquez prend en charge des requ\u00eates de lign\u00e9e de donn\u00e9es hautement flexibles sur des ensembles de donn\u00e9es complets, tout en corr\u00e9lant de mani\u00e8re fiable et efficace les t\u00e2ches et leurs d\u00e9pendances (en amont et en aval) entre la g\u00e9n\u00e9ration et la consommation d&#039;ensembles de donn\u00e9es.<\/p>\n<h3>Le design de Marquez<\/h3>\n<p>Marquez est un syst\u00e8me modulaire qui permet <a href=\"https:\/\/www.gudusoft.com\/fr\/quest-ce-que-la-gestion-des-metadonnees\/\"><strong>gestion des m\u00e9tadonn\u00e9es<\/strong><\/a> Solution d\u00e9plateforme hautement \u00e9volutive et extensible. Elle comprend les syst\u00e8mes suivants\u00a0:<\/p>\n<ul>\n<li>R\u00e9f\u00e9rentiel de m\u00e9tadonn\u00e9es\u00a0: stocke toutes les m\u00e9tadonn\u00e9es des t\u00e2ches et des ensembles de donn\u00e9es, y compris l&#039;historique complet des ex\u00e9cutions des t\u00e2ches et les statistiques au niveau des t\u00e2ches (par exemple\u00a0: dur\u00e9e totale d&#039;ex\u00e9cution, dur\u00e9e moyenne d&#039;ex\u00e9cution, r\u00e9ussite\/\u00e9chec, etc.).<\/li>\n<li>API de m\u00e9tadonn\u00e9es\u00a0: une API RESTful permet \u00e0 un ensemble diversifi\u00e9 de clients de collecter des m\u00e9tadonn\u00e9es autour de la production et de la consommation d&#039;ensembles de donn\u00e9es.<\/li>\n<li>Interface utilisateur des m\u00e9tadonn\u00e9es\u00a0: pour la d\u00e9couverte d\u2019ensembles de donn\u00e9es, la connexion de plusieurs ensembles de donn\u00e9es et l\u2019exploration de leur graphique de d\u00e9pendance.<\/li>\n<\/ul>\n<div id=\"attachment_4778\" style=\"width: 810px\" class=\"wp-caption aligncenter\"><img aria-describedby=\"caption-attachment-4778\" decoding=\"async\" class=\"size-fusion-800 wp-image-4778\" src=\"https:\/\/www.gudusoft.com\/wp-content\/uploads\/2022\/06\/Open_Source_Metadata_Management_Tool-2-800x715.png\" alt=\"Outil de gestion des m\u00e9tadonn\u00e9es open source\" width=\"800\" height=\"715\" srcset=\"https:\/\/www.gudusoft.com\/wp-content\/uploads\/2022\/06\/Open_Source_Metadata_Management_Tool-2-200x179.png 200w, https:\/\/www.gudusoft.com\/wp-content\/uploads\/2022\/06\/Open_Source_Metadata_Management_Tool-2-300x268.png 300w, https:\/\/www.gudusoft.com\/wp-content\/uploads\/2022\/06\/Open_Source_Metadata_Management_Tool-2-400x358.png 400w, https:\/\/www.gudusoft.com\/wp-content\/uploads\/2022\/06\/Open_Source_Metadata_Management_Tool-2-600x536.png 600w, https:\/\/www.gudusoft.com\/wp-content\/uploads\/2022\/06\/Open_Source_Metadata_Management_Tool-2-768x687.png 768w, https:\/\/www.gudusoft.com\/wp-content\/uploads\/2022\/06\/Open_Source_Metadata_Management_Tool-2-800x715.png 800w, https:\/\/www.gudusoft.com\/wp-content\/uploads\/2022\/06\/Open_Source_Metadata_Management_Tool-2.png 915w\" sizes=\"(max-width: 800px) 100vw, 800px\" \/><p id=\"caption-attachment-4778\" class=\"wp-caption-text\">Outil de gestion des m\u00e9tadonn\u00e9es open source<\/p><\/div>\n<p>Pour faciliter l&#039;adoption et permettre \u00e0 diff\u00e9rentes applications de traitement de donn\u00e9es d&#039;int\u00e9grer la collecte de m\u00e9tadonn\u00e9es \u00e0 leur conception, Marquez fournit des clients sp\u00e9cifiques au langage qui impl\u00e9mentent l&#039;API de m\u00e9tadonn\u00e9es. La version initiale prend en charge Java et Python.<\/p>\n<p>L&#039;API de m\u00e9tadonn\u00e9es est une abstraction permettant d&#039;enregistrer des informations sur la production et l&#039;utilisation des jeux de donn\u00e9es. Il s&#039;agit d&#039;une couche sans \u00e9tat \u00e0 faible latence et haute disponibilit\u00e9, charg\u00e9e d&#039;encapsuler les m\u00e9tadonn\u00e9es persistantes et les informations de tra\u00e7abilit\u00e9 des collections. L&#039;API permet aux clients de collecter et\/ou d&#039;obtenir des informations sur les jeux de donn\u00e9es \u00e0 partir d&#039;un r\u00e9f\u00e9rentiel de m\u00e9tadonn\u00e9es.<\/p>\n<p>Les m\u00e9tadonn\u00e9es doivent \u00eatre collect\u00e9es, organis\u00e9es et stock\u00e9es pour des requ\u00eates exploratoires enrichies via l&#039;interface utilisateur des m\u00e9tadonn\u00e9es. Le r\u00e9f\u00e9rentiel de m\u00e9tadonn\u00e9es est un catalogue abstrait d&#039;informations d&#039;ensembles de donn\u00e9es compress\u00e9es et nettoy\u00e9es par l&#039;API de m\u00e9tadonn\u00e9es.<\/p>\n<h3>Le mod\u00e8le de donn\u00e9es de Marquez<\/h3>\n<p>Le mod\u00e8le de donn\u00e9es de Marquez met l&#039;accent sur l&#039;immuabilit\u00e9 et le traitement juste-\u00e0-temps des ensembles de donn\u00e9es. Ces ensembles sont g\u00e9n\u00e9r\u00e9s par l&#039;ex\u00e9cution de t\u00e2ches, et leur valeur est d\u00e9terminante. Les ex\u00e9cutions de t\u00e2ches sont li\u00e9es \u00e0 des codes de version et produisent une ou plusieurs versions immuables. Les modifications apport\u00e9es \u00e0 l&#039;ensemble de donn\u00e9es sont enregistr\u00e9es \u00e0 diff\u00e9rents moments de l&#039;ex\u00e9cution de la t\u00e2che, y compris la r\u00e9ussite ou l&#039;\u00e9chec de l&#039;ex\u00e9cution elle-m\u00eame, via des appels \u00e0 l&#039;API l\u00e9g\u00e8re.<\/p>\n<p>La figure ci-dessous montre les m\u00e9tadonn\u00e9es collect\u00e9es et catalogu\u00e9es pour un travail donn\u00e9 sur plusieurs ex\u00e9cutions, ainsi que les modifications de s\u00e9ries chronologiques appliqu\u00e9es \u00e0 son ensemble de donn\u00e9es d&#039;entr\u00e9e.<\/p>\n<div id=\"attachment_4780\" style=\"width: 810px\" class=\"wp-caption aligncenter\"><img aria-describedby=\"caption-attachment-4780\" decoding=\"async\" class=\"size-fusion-800 wp-image-4780\" src=\"https:\/\/www.gudusoft.com\/wp-content\/uploads\/2022\/06\/Open_Source_Metadata_Management_Tool-3-800x260.png\" alt=\"Outil de gestion des m\u00e9tadonn\u00e9es open source\" width=\"800\" height=\"260\" srcset=\"https:\/\/www.gudusoft.com\/wp-content\/uploads\/2022\/06\/Open_Source_Metadata_Management_Tool-3-200x65.png 200w, https:\/\/www.gudusoft.com\/wp-content\/uploads\/2022\/06\/Open_Source_Metadata_Management_Tool-3-300x98.png 300w, https:\/\/www.gudusoft.com\/wp-content\/uploads\/2022\/06\/Open_Source_Metadata_Management_Tool-3-400x130.png 400w, https:\/\/www.gudusoft.com\/wp-content\/uploads\/2022\/06\/Open_Source_Metadata_Management_Tool-3-600x195.png 600w, https:\/\/www.gudusoft.com\/wp-content\/uploads\/2022\/06\/Open_Source_Metadata_Management_Tool-3-768x250.png 768w, https:\/\/www.gudusoft.com\/wp-content\/uploads\/2022\/06\/Open_Source_Metadata_Management_Tool-3-800x260.png 800w, https:\/\/www.gudusoft.com\/wp-content\/uploads\/2022\/06\/Open_Source_Metadata_Management_Tool-3-1024x333.png 1024w, https:\/\/www.gudusoft.com\/wp-content\/uploads\/2022\/06\/Open_Source_Metadata_Management_Tool-3.png 1080w\" sizes=\"(max-width: 800px) 100vw, 800px\" \/><p id=\"caption-attachment-4780\" class=\"wp-caption-text\">Outil de gestion des m\u00e9tadonn\u00e9es open source<\/p><\/div>\n<ul>\n<li>T\u00e2che\u00a0: La t\u00e2che contient un propri\u00e9taire, un nom unique, une version et une description facultative. Une t\u00e2che d\u00e9finit une ou plusieurs entr\u00e9es de version comme d\u00e9pendances et une ou plusieurs sorties de version comme artefacts. Notez qu&#039;une t\u00e2che peut d\u00e9finir uniquement des jeux de donn\u00e9es d&#039;entr\u00e9e ou de sortie.<\/li>\n<li>Version de t\u00e2che\u00a0: une version immuable en lecture seule de la t\u00e2che, avec un lien r\u00e9f\u00e9renc\u00e9 de mani\u00e8re unique, encod\u00e9e dans le stockage pour garantir la reproduction du code source. Une version de t\u00e2che associe un ou plusieurs jeux de donn\u00e9es d&#039;entr\u00e9e et de sortie \u00e0 une d\u00e9finition de t\u00e2che (le flux de donn\u00e9es entre les diff\u00e9rentes t\u00e2ches est important pour documenter les informations de lignage). Ces associations cat\u00e9gorisent les liens sources et fournissent un flux de donn\u00e9es visuel puissant.<\/li>\n<li>Ensemble de donn\u00e9es\u00a0: un ensemble de donn\u00e9es poss\u00e8de un propri\u00e9taire, un nom unique, un sch\u00e9ma, une version et une description facultative. Il est contenu dans la source de donn\u00e9es. Ces sources peuvent regrouper des ensembles de donn\u00e9es physiques. Chaque ensemble de donn\u00e9es poss\u00e8de un pointeur de version vers l&#039;historique des modifications, g\u00e9r\u00e9 par Marquez. Lorsque les modifications de l&#039;ensemble de donn\u00e9es sont valid\u00e9es dans Marquez, un identifiant de version unique est g\u00e9n\u00e9r\u00e9, stock\u00e9, puis d\u00e9fini sur la version actuelle, et le pointeur est mis \u00e0 jour en interne.<\/li>\n<li>Version du jeu de donn\u00e9es\u00a0: version immuable en lecture seule du jeu de donn\u00e9es. Chaque version est lisible ind\u00e9pendamment, poss\u00e8de un identifiant unique et correspond aux modifications apport\u00e9es au jeu de donn\u00e9es afin de pr\u00e9server son \u00e9tat \u00e0 un instant T. L&#039;identifiant de la derni\u00e8re version n&#039;est mis \u00e0 jour que lorsque les modifications du jeu de donn\u00e9es sont enregistr\u00e9es. Pour calculer des identifiants de version distincts, Marquez applique des fonctionnalit\u00e9s de gestion des versions \u00e0 un ensemble de propri\u00e9t\u00e9s correspondant au jeu de donn\u00e9es de la source de donn\u00e9es sous-jacente.<\/li>\n<\/ul>\n<h3>Conclusion<\/h3>\n<p>Merci d&#039;avoir lu notre article et nous esp\u00e9rons qu&#039;il vous aidera \u00e0 mieux comprendre Marquez\u00a0: un outil open source de gestion des m\u00e9tadonn\u00e9es. Pour en savoir plus sur la gestion des m\u00e9tadonn\u00e9es, nous vous conseillons de consulter notre site. <a href=\"https:\/\/www.gudusoft.com\/fr\/\"><strong>Gudu SQLFlow<\/strong><\/a> pour plus d&#039;informations.<\/p>\n<p>En tant que l&#039;un des\u00a0<strong><a href=\"https:\/\/www.dpriver.com\/blog\/2022\/05\/11\/best-data-lineage-tools\/\" target=\"_blank\" rel=\"noopener noreferrer\">meilleurs outils de lignage de donn\u00e9es<\/a><\/strong>\u00a0Disponible sur le march\u00e9 aujourd&#039;hui, Gudu SQLFlow peut non seulement analyser les fichiers de script SQL, obtenir la lign\u00e9e des donn\u00e9es et effectuer un affichage visuel, mais \u00e9galement permettre aux utilisateurs de fournir la lign\u00e9e des donn\u00e9es au format CSV et d&#039;effectuer un affichage visuel.\u00a0<strong>(Publi\u00e9 par Ryan le 28 juin 2022)<\/strong><\/p>\n<\/div><\/div><\/div><style type=\"text\/css\">.fusion-body .fusion-builder-column-0{width:100% !important;margin-top : 0px;margin-bottom : 0px;}.fusion-builder-column-0 > .fusion-column-wrapper {padding-top : 0px !important;padding-right : 0px !important;margin-right : 1.92%;padding-bottom : 0px !important;padding-left : 0px !important;margin-left : 1.92%;}@media only screen and (max-width:1024px) {.fusion-body .fusion-builder-column-0{width:100% !important;}.fusion-builder-column-0 > .fusion-column-wrapper {margin-right : 1.92%;margin-left : 1.92%;}}@media only screen and (max-width:640px) {.fusion-body .fusion-builder-column-0{width:100% !important;}.fusion-builder-column-0 > .fusion-column-wrapper {margin-right : 1.92%;margin-left : 1.92%;}}<\/style><\/div><style type=\"text\/css\">.fusion-body .fusion-flex-container.fusion-builder-row-1{ padding-top : 0px;margin-top : 0px;padding-right : 0px;padding-bottom : 0px;margin-bottom : 0px;padding-left : 0px;}<\/style><\/div>","protected":false},"excerpt":{"rendered":"","protected":false},"author":27,"featured_media":4786,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":[],"categories":[178],"tags":[230,228,152,227,229,232,231],"_links":{"self":[{"href":"https:\/\/www.gudusoft.com\/fr\/wp-json\/wp\/v2\/posts\/4770"}],"collection":[{"href":"https:\/\/www.gudusoft.com\/fr\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/www.gudusoft.com\/fr\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/www.gudusoft.com\/fr\/wp-json\/wp\/v2\/users\/27"}],"replies":[{"embeddable":true,"href":"https:\/\/www.gudusoft.com\/fr\/wp-json\/wp\/v2\/comments?post=4770"}],"version-history":[{"count":14,"href":"https:\/\/www.gudusoft.com\/fr\/wp-json\/wp\/v2\/posts\/4770\/revisions"}],"predecessor-version":[{"id":4790,"href":"https:\/\/www.gudusoft.com\/fr\/wp-json\/wp\/v2\/posts\/4770\/revisions\/4790"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/www.gudusoft.com\/fr\/wp-json\/wp\/v2\/media\/4786"}],"wp:attachment":[{"href":"https:\/\/www.gudusoft.com\/fr\/wp-json\/wp\/v2\/media?parent=4770"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/www.gudusoft.com\/fr\/wp-json\/wp\/v2\/categories?post=4770"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/www.gudusoft.com\/fr\/wp-json\/wp\/v2\/tags?post=4770"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}