データカタログとは| |なぜデータカタログが必要なのですか?

なに データカタログ? なぜデータカタログが必要なのですか? その特徴とメリットとは？ 上記の質問に対する答えを見つけたい場合は、適切な場所に来ています。この記事では、データ カタログを詳しく見て、理解を深めていただけるようにします。

データカタログ

データカタログとは?

つまり、データ カタログは、組織内のデータ資産の整理されたリストです。メタデータを採用して、組織がデータを管理できるようにします。 さらに、データの専門家がメタデータを収集、整理、アクセス、強化して、データの発見とガバナンスをサポートするのに役立ちます。

なぜデータカタログが必要なのですか?

これまで以上に多くのデータが存在するため、適切なデータを見つけることはこれまで以上に困難になっています。同時に、これまで以上に多くの規則や規制が存在します。GDPR はその 1 つにすぎません。したがって、データ アクセスだけでなく、データ ガバナンスも課題となります。現在所有しているデータの種類、データを移動するユーザー、データの使用目的、およびデータを保護する方法を理解することは非常に重要です。ただし、データを使用するのが難しすぎると役に立たないため、データの周りにレイヤーやラッパーを配置しすぎないようにする必要もあります。

データ カタログの機能と利点は何ですか?

ここ数年、管理およびアクセスする必要のあるデータの量が増加しているため、データ ディレクトリの概念が一般的になりました。クラウド、ビッグデータ分析、人工知能、機械学習は、データの表示、管理、使用の方法を変革し始めています。データを管理するだけでなく、データを最大限に活用してアクセスできるようにするためです。

データ カタログを正しく使用すると、次の利点があります。

1. コストを節約 
2. 業務効率化
3. より多くの競争上の優位性
4. より良い顧客体験
5. 詐欺とリスクの優位性

データカタログのデータを最大限に活用するには何が必要ですか?

それでは、一歩下がって、メタデータを完全に理解していない可能性がある人に簡単に説明しましょう。メタデータとはメタデータには次の 3 種類があります。

• テクニカル メタデータ: スキーマ、テーブル、列、ファイル名、レポート名など、ソース システムに記録されたすべてのものを指します。
• ビジネス メタデータ: 通常、これは、組織内の資産に関するユーザーのビジネス知識です。これには、ビジネスの説明、レビュー、注釈、分類、適合性、評価などが含まれる場合があります。
• 運用メタデータ: このオブジェクトはいつ更新されますか?どの ETL ジョブがそれを作成しましたか?ユーザーがテーブルにアクセスした回数は?

過去数年間、この貴重なメタデータの使用方法に小さな革命が見られました。むかしむかし、メタデータは主に監査のみに使用されていました。 系統、およびレポート。しかし、今日では、サーバーレス処理、グラフィカル データベース、特に新しい、またはよりアクセスしやすい人工知能や機械学習テクノロジなどの技術革新が限界を押し広げ、以前は大規模に不可能だったことがメタデータを通じて可能になっています。

現在、メタデータを使用してデータ管理を強化できます。セルフサービスのデータ準備から、役割とデータ コンテンツに基づくアクセス制御、自動データ入力、異常の監視とアラーム、自動割り当てとスケーリングまで 資力など。これらはすべて、メタデータの助けを借りて強化できるようになりました。また、データ カタログはメタデータを使用して、これまで以上に多くのデータを管理できるようにします。

優れたデータ カタログは何を提供する必要がありますか?

• 検索と発見.優れたデータ カタログには、ユーザーがデータ サイエンス、分析、またはデータ エンジニアリングに関連するデータセットをすばやく見つけられるようにするだけでなく、データ資産の技術的階層に基づいてメタデータを参照できるように、柔軟な検索およびフィルタリング オプションが必要です。さらに、優れたデータ カタログは、ユーザーが技術情報、ユーザー定義のタグ、またはビジネス用語を入力できるようにし、検索機能を向上させる必要があります。
• さまざまなソースからメタデータを取得します。 優れたデータ カタログは、オブジェクト ストア、自動運転データベース、ローカル システムなど、さまざまな接続されたデータ資産から技術メタデータを取得できます。
• メタデータのキュレーション。 優れたデータ カタログは、対象分野の専門家がエンタープライズ ビジネス用語集、ラベル、関連付け、ユーザー定義の注釈、カテゴリ、評価などの形式でビジネス知識を提供する手段を提供する必要があります。
• 自動化とデータ インテリジェンス。 人工知能と機械学習は、前述のデータ スケールで必要になることがよくあります。自動化できる人的タスクはすべて、人工知能の機械学習技術と収集されたメタデータによって自動化する必要があります。さらに、AI と機械学習は、最新のデータ プラットフォームでデータ カタログやその他のサービスのユーザーにデータのレコメンデーションを提供するなど、データを実際に強化し始めることができます。
• エンタープライズ レベルの機能。 データは重要であり、それを適切に使用するには、ID およびアクセス管理などのエンタープライズ レベルの機能や、REST API による主要な機能が必要です。これは、顧客とパートナーがメタデータ (カスタム ハーベスターなど) を提供し、REST を介して独自のアプリケーションでデータ カタログ機能を公開できることも意味します。
• さらに、優れたデータ カタログは事実上のシステム カタログになり、オブジェクト ストレージ、Hadoop、データベース、データ ウェアハウス、すべてのデータ ストアで機能するクエリ サービスなど、すべての永続化レイヤーにわたって抽象化を提供する必要があります。

結論

この記事をお読みいただきありがとうございます。 データカタログとは.詳しく知りたい方は データカタログとその機能と利点、訪問することをお勧めします Gudu SQLFlow 詳細については。再度、感謝します！ （ライアンによって公開されました 2022 年 4 月 20 日）