データウェアハウスのメタデータ管理

メタデータ管理 企業の基盤です データガバナンス との改善 データウェアハウス.データを頻繁に扱う人として、最初のタスクはメタデータ管理を理解することです。この記事では、メタデータの概念を整理し、データウェアハウスのメタデータ管理を紹介します。

データウェアハウスのメタデータ管理とは?

先に進む前に、把握しましょう メタデータとは と データウェアハウスとは.

メタデータは、中間データおよび中継データとも呼ばれ、データに関するデータです。ほとんどの場合、メタデータは、それらが表すさまざまな意味に従って、ビジネスメタデータとテクニカルメタデータに分けることができます。

あ データウェアハウス より良い意思決定を行うために分析できる情報の中央リポジトリです。通常、データはトランザクションシステム、リレーショナルデータベース、およびその他のソースから定期的にデータウェアハウスに流れ込みます。ビジネスアナリスト、 データエンジニア, データサイエンティスト、および意思決定者は、ビジネスインテリジェンス (BI) ツール、SQL クライアント、およびその他の分析アプリケーションを介してデータにアクセスします。

では、データウェアハウスのメタデータ管理とは何でしょう?

データウェアハウスのメタデータには、主に各テーマの定義、異なるレベル間のマッピング関係、監視データウェアハウスのデータステータス、およびタスクの実行ステータスが記録されます。 ETL.一般に、メタデータはメタデータリポジトリを通じて一様に格納および管理されます。その主な目的は、データウェアハウスの設計、展開、運用、および管理における調整と一貫性を実現することです。

メタデータは、データウェアハウス管理システムの重要な部分です。メタデータ管理は、エンタープライズデータウェアハウスの重要なコンポーネントです。これは、データウェアハウスの構築の全プロセスを通じて実行され、データウェアハウスの構築、使用、および保守に直接影響します。

データウェアハウスにメタデータ管理が必要な理由

データウェアハウスの構築に必須: データウェアハウスは、ETL ツールを介して外部データ、ビジネスデータ、およびドキュメントから取得されます。明確で明確なルールがなければ、このプロセスを実現することは不可能です。
データウェアハウスシステムをすばやく理解するのに役立ちます: 一方では、データウェアハウスは基本的に、部門または企業の重要なプロジェクトであり、開発期間は長くなります。必然的に真ん中に人の流れができます。明確なメタデータがないと、システム全体、プロジェクト全体に大きな影響を与えます。一方、データウェアハウスは、データ担当者だけでなく、部門や会社全体の分析データのエクスポートとして機能します。ビジネスマンにとって DM 層は避けられないものであり、他の開発者にとって DIM は避けられないものです。データウェアハウスシステムを説明する明確なメタデータがあれば、両者間の通信時間を大幅に節約できます。
効率的で正確なコミュニケーション: 一方で、メタデータ内の管理メタデータは、さまざまなユーザー、役割、部門のデータ権限を記録します。通知が必要なデータがある場合は、システムにすばやくクエリを送信して、大量のメールなどで通信できるため、通信リンクに人が不足したり、人が多すぎたりする状況を回避できます。一方、製品とのコミュニケーションや研究開発とのコミュニケーションでは、指標の意味や相互コミュニケーションの次元を業務メタデータに基づいて確認することで、コミュニケーションの曖昧さを根底から回避し、コミュニケーションの効率化を図ることができます。 .
保証 データ品質: 理想的なメタデータは、データウェアハウスの構造、ウェアハウスのスキーマ、ディメンション、メジャー、階層、あらゆる場所のデータベースの定義、およびデータベースの場所と内容を記述します。 データマート.したがって、どのデータが確実に正確で、どのデータが間違っている可能性があり、どのデータが確実に間違っているかを確実に判断できます。簡単に言えば、各フィールドには値の範囲、ビジネス定義、およびその他の情報が必要です。メタデータが定義されると、それをデータ品質の検出、評価などに適用して、データ品質管理プロセスを通じて企業のデータ品質を真に向上させることができます。
データシステムの構築コストを削減: メタデータがしっかりと確立されていれば、情報がより正確かつ迅速に取得されるため、データシステムの構築が手直しされたり、手直しが少なくなったり、分析の作業負荷が軽減されたり、すべての関係者の統一された理解とコミュニケーションの効率が向上したりします。を強化し、開発コストを最小限に抑えます。
変更の影響をすばやく分析: メタデータは参照関係で一元的に維持および管理されるため、変更が発生した場合、メタデータ管理システムを使用して、影響を受けるビジネス機能、アプリケーションシステム、関連する担当者、監督が関与しているかどうかをリアルタイムで分析できます。
将来に備える：ビッグデータ、人工知能、 データレイク、データセンター、およびビジネスインテリジェンスは、優れたメタデータ管理に依存して、その効果を発揮することができます。

メタデータアプリケーションのシナリオ

影響分析: 開発中に、次の問題に遭遇することがよくあります: テーブルまたは ETL を変更したい場合、どのような影響がありますか?メタデータがない場合は、必要な回答を得るためにすべてのスクリプトとデータをトラバースする必要がある場合があります。ただし、成熟したメタデータ管理があれば、答えを直接得ることができ、多くの時間を節約できます。
データ系統分析: データリネージ分析は、データオブジェクトから始まるすべての関連するメタデータオブジェクトと、これらのメタデータオブジェクト間の関係を見つけるために、データ処理プロセスを包括的に追跡するために使用される技術的手段です。メタデータオブジェクト間の関係とは、具体的には、これらのメタデータオブジェクトを表すデータフローの入力と出力の関係を指します。メタデータ管理システムが形成された後、リネージ関係分析を通じて、データウェアハウス内のデータの健全性、データの分布、集中、およびデータの熱を分析できます。
ETL 自動化管理: 倉庫では、ETL の大部分が退屈で反復的なステップです。たとえば、ソースシステムの ODS レイヤーでは、テーブル入力 – テーブル出力。もう 1 つの例は ODS-DW です。SQL 入力 - データクリーニング - データ処理 - テーブル出力。上記のルールは、実際にはメタデータの一部です。これは理論的には実現可能で、固定スクリプトを作成し、フロントエンド (または API インターフェース) を介してそれを選択します。このようにして、繰り返される ETL が自動的に管理され、ETL 開発の時間コストが削減されます。
データ品質管理: データクリーニングのロジックは、さまざまなデータ型と指定された特別な処理列に簡単に分けることができます。インテリジェントで高速なデータクリーニングを実現するには、さまざまなデータ型のデフォルトのクリーニングルールと、いくつかの特別な列の特別な処理ロジックを指定するだけで済みます。データ品質管理は、データガバナンスとメタデータ管理の交差点に属し、よりデータガバナンスに傾倒しています。
データセキュリティ管理: アリが提唱するデータセンターでは、すべてのデータインターフェイスインジケーターがデータウェアハウスからエクスポートされます。したがって、理論的には、このメタデータでメタデータ管理権限を構成するだけで、会社全体のデータセキュリティ管理を実現できます。

結論

この記事をお読みいただきありがとうございます。 データウェアハウスのメタデータ管理.データウェアハウスのメタデータ管理について詳しく知りたい場合は、こちらをご覧になることをお勧めします。 Gudu SQLFlow 詳細については。

その一つとして 最高のデータ系統ツール 現在市場に出回っている Gudu SQLFlow は、SQL スクリプトファイルを分析し、データ系統を取得して視覚的に表示できるだけでなく、ユーザーがデータ系統を CSV 形式で提供し、視覚的に表示することもできます。 (2022 年 6 月 25 日に Ryan により公開)

データウェアハウスのメタデータ管理 | Gudu SQLFlow