さまざまな種類のメタデータとその使用方法- データ系列の視覚化: 複雑な SQL クエリの分析

さまざまな種類のメタデータ

メタデータは、データ型を定義するために使用されるデータです。主に、ソース、サイズ、形式、その他のデータ特性など、データ自体の情報について説明します。データベースフィールドでは、メタデータを使用してデータベースの内容を解釈します。いつ データレイク Insight (DLI) は、テーブルを作成し、列名、型、および列の説明の 3 つの列で構成されるメタデータを定義します。この記事では、さまざまな機能について詳しく見ていきます。 メタデータの種類 およびそれらの使用方法。

1. メタデータの種類による分類

基本データに関するメタデータ: 基本データとは、データソースが管理するすべてのデータを指し、 データウェアハウス, データマート、およびアプリケーション。基本データのメタデータには、定義、構造のすべての記述が含まれます。
データ処理用メタデータ：データ読み込み、更新処理、分析処理、データ抽出などの管理に関する情報、 データ変換、および集約ルール。
企業の組織構造に関するメタデータ: 具体的には、データウェアハウス、データソース、データマートのアクセス許可情報へのユーザーアクセスなど、企業に関連する管理データと情報が含まれます。

2. 抽象化レベルによる分類

コンセプトレベルのメタデータ: これには、主要なビジネスエンティティ、特性とそれらの相互関係、システムの使用法、定義されたクエリ、ビュー、および既存のアプリケーションの定義など、ビジネスの完全な説明が含まれます。
ロジックレベルのメタデータ: これには、データベースのリレーショナルスキーム、論理的な多次元モデルなどが含まれ、データの抽出/変換の規則は、通常、疑似コードまたは数学言語で記述されます。
物理レベルのメタデータ: これには、ビジネスルールに対応する SQL コード、関係のインデックスファイル、および分析アプリケーションのコードが含まれます。

3. メタデータが担うタスクによる分類

データウェアハウス内のメタデータのタスク分類に従って、次のように分けることができます。 静的メタデータ と 動的メタデータ.

静的メタデータ 主にデータ構造に関連し、次の要素が含まれます。

名前クラス: システムに識別を提供するときにデータを区別するために使用される記号。
説明クラス: データウェアハウス内のさまざまなデータ要素について説明します。
形式クラス: データウェアハウス内のデータの表現規則を提供します。
データ・タイプ： データウェアハウス内のデータの種類。
関係クラス: データウェアハウス内のさまざまなデータオブジェクト間の関係について説明します。たとえば、顧客とアイテムの間に購入関係があります。
ドメインクラス: データウェアハウス内のデータの有効な値の範囲を説明するために使用されます。
ビジネスルールクラス: ビジネス処理において、データウェアハウス内のデータが従わなければならない規則を説明するために使用されます。たとえば、Customer_ID は顧客の番号を表し、A は集合顧客、B は個々の顧客を表します。

動的メタデータ 主に、次の要素を含むデータの状態と使用に関連しています。

データ品質テーブル： データウェアハウス内のデータの正確性、完全性、一貫性、および有効性を説明するために使用されます。
統計情報: データにアクセスしたユーザー、アクセス時間、アクセス数をカウントします。これらの統計は、データウェアハウスのパフォーマンスを向上させるための高い参考値です。
ステータスクラス: データウェアハウスの正常性を追跡するために使用されます。たとえば、データの最終バックアップ時間、バックアップに必要な時間、エラー状況などです。これらのシステムの実行ステータスは、データウェアハウス管理者がデータウェアハウスのパフォーマンスを理解するのに役立ちます。
処理クラス: データウェアハウスシステムの使用法と管理の特徴を説明するために使用されます。例えば、データの使い方、データをまとめた一般式など。

4. ユーザー視点での分類

この分類方法は、メタデータの使用目的に関連しています。ユーザーの観点から見ると、この分類方法には統一された基準がなく、実際には、習慣、実現可能性、および適用の原則に従って分類されることがよくあります。

一般に、次の 2 つのカテゴリに分類されます。 技術メタデータ と ビジネスメタデータ.技術メタデータは、情報技術環境における技術に密接に関連するすべての分析、設計、開発、管理、およびその他のメタデータの開発、保守、および管理に関するものです。これは、開発ツール、アプリケーション、およびシステムをつなぐ技術的なリンクです。ビジネスメタデータは、エンタープライズ環境のサービスをエンドユーザーにとってより理解しやすくし、ビジネスの目標とプロセスを解釈するための参照、ナビゲーション、およびデータのクエリを容易にします。

技術メタデータ データベース、データウェアハウス、データマートのデータ辞書、データ変換規則のコードなどの記述データが含まれます。例えば：

オペレーティングシステム、データウェアハウスおよび OLAP システムのアーキテクチャとスキーム、テーブル構造、属性の制限、ビュー情報などに関する説明情報。
異なる情報ソース、データウェアハウス、および OLAP システム間の物理的および実装レベルのマッピングと依存関係の説明。
スケジューリングの複雑な関係の抽出、ソースデータとターゲットデータ間のマッピングなど、スケジューリングメタデータを抽出します。
時刻同期用のメタデータ。
ユーザー権限情報。

ビジネスメタデータ アプリケーション固有のドキュメント (ユーザープロファイル、ストレージマップ、使用上のヒント、ナビゲーション支援など)、ビジネスの概念と用語、事前定義されたクエリとレポートの詳細、コンテキスト情報、重みとメジャーの説明、日付形式、辞書、件名の表が含まれます。など。例:

ビジネスコンセプトモデル。
多次元データモデル、ディメンションの集計原理、ディメンションカテゴリ、データキューブ、データマート。
ビジネス概念モデルと物理モデル間の依存関係。
ビジネスコンセプトのブラウジングとナビゲーションをサポートします。
ビジネスコンセプトに基づいたブラウジングとナビゲーションをサポートします。
動的な即時クエリをサポートし、 データマイニング.

結論

私たちの記事を読んでくれてありがとう。 メタデータの種類 およびそれらの使用方法。メタデータの種類について詳しく知りたい場合は、こちらをご覧になることをお勧めします。 Gudu SQLFlow 詳細については。

その一つとして 最高のデータ系統ツール 現在市場に出回っている Gudu SQLFlow は、SQL スクリプトファイルを分析するだけでなく、 データ系統、および視覚的な表示を実行するだけでなく、ユーザーが CSV 形式でデータ系統を提供し、視覚的な表示を実行できるようにします。 (2022 年 6 月 26 日に Ryan により公開)