データマッピング 101
デジタル時代において、市場で足場を固めたい企業は、自社のデータを最高レベルで管理する必要があります。 データ統合 複数のソース (アプリケーション、デバイス、データベースなど) から単一のソース/プラットフォームにデータをルーティングする際に重要な役割を果たします。重要なのは、さまざまなソースからデータを収集してエンド ユーザーに送信し、それによって企業内のコラボレーションを促進して効率を向上させることです。アプリケーション統合、企業間 (B2B) 統合、モノのインターネット (IoT) 統合、電子データ交換 (EDI) 統合など、さまざまな種類の統合があります。と データ マッピング 統合のこれらの形態のそれぞれにおいて重要な役割を果たします。
データ マッピングとは
データマッピングの定義: 2 つのデータ モデルが与えられた場合、データ要素間の対応関係を確立するプロセスは、データ マッピングと呼ばれます。これは、データ移行、データ クリーニング、データ統合、セマンティック Web 構築、p2p 情報システムなど、多くのデータ統合タスクの最初のステップです。
データ マッピング
データ マッピングがデータ管理の鍵となるのはなぜですか?
それは多くの重要な部分です データ管理 プロセス。正しくマッピングされていない場合、データが宛先に移動されるときにデータが破損する可能性があります。データ マッピングの品質は、データの移行、統合、 変身、および データウェアハウス.
1.データ移行
データ移行は、あるデータセットから別のデータセットへのデータの移動であり、データ マッピングを使用してスムーズな移行を実現します。データ移行にはいくつかの複雑な手順が含まれますが、ソースとターゲットの間のマッピングの作成は最も重要な手順の 1 つです。この段階で不正確なマッピングを行うと、データの可用性に悪影響を及ぼす可能性があります。
2. データ統合
データ統合は、あるシステムから別のシステムに定期的にデータを移動する進行中のプロセスです。統合は、四半期または月単位でスケジュールすることも、イベントによってトリガーすることもできます。データは、ソースと宛先の両方で保存および維持されます。データ移行と同様に、統合のためのデータ マッピングは、ソース フィールドとターゲット フィールドを一致させます。
3. データ変換
データは特定の形式で取得され、別の構造または形式に変換されます。このステップは、マッピングを使用してデータセット間の接続を定義するデータ統合において重要です。
4. データ ウェアハウス
分析やその他のタスクのためにデータを 1 つのソースに集中化することが目標である場合、通常はデータ ウェアハウスに集中化されます。クエリ、レポート、または分析を実行すると、ウェアハウスからデータが取得されます。倉庫内のデータは移行、統合、変換されました。データ マッピングにより、データがウェアハウスに入ると、意図したとおりに目的地に到着することが保証されます。
データ マッピングが重要な理由
マッピングは、組織のターゲット市場と顧客に関する重要な洞察とビジネス インテリジェンスを発見するための最初の重要なステップです。データが未知の方法でシステムに入力された場合、 データアナリスト どのデータ ソースが冗長であるかがわからないため、データ分析の誤解につながる可能性があります。データ マッピングは、ソースを信頼できるデータ セットに結合することで、より透過的なプロセスと分析を可能にします。
これに加えて、組織が顧客に関する重要なビジネス データを持っている場合、その有効性を判断し、データの取得方法に関する文書を提供するために、データ マッピングが不可欠です。これは、データ規制の必要条件です。今日の爆発的なデータ量を考えると、データ プライバシー規制はより厳しくなり、企業はすべてのデータを責任を持って在庫、保管、管理する必要があります。論理的にマッピングすると、一見無関係なデータがリンクされ、企業はプライバシー ポリシーを実施してデータを正しく使用できるようになります。
これに加えて、データ マッピングには次の重要な利点があります。
- より良い分析は、パターンと傾向を特定し、消費者の行動についてより深い洞察を得るのに役立ちます。
- データへのより簡単かつ迅速なアクセス；
- 個人データのプライバシーをより適切に保護します。
- より厳格なデータ コンプライアンス契約。
- データセキュリティの向上；
- 改善されたプロセス;
データ マッピングの手順は何ですか?
- 定義: テーブル、各テーブル内のフィールド、および移動後のフィールドの形式など、移動するデータを定義します。データ統合の場合、データ送信の頻度も定義されます。
- データをマッピングする: この手順では、ソース フィールドとターゲット フィールドを照合します。
- 変身: これは、特定のフィールドを変換する必要がある場合の変換式またはルールのエンコードです。
- テスト: テスト システムとソースからのサンプル データを使用して、転送を実行し、その動作を確認し、必要に応じて調整します。
- 配備： データ変換が計画どおりに機能していることを確認したら、移行または統合のライブ イベントをスケジュールします。
- 維持および更新: 継続的なデータ統合の場合、データ マップは、新しいデータ ソースの追加、データ ソースの変更、または宛先要件の変更に応じて更新および変更する必要がある生きたエンティティです。
データ マッピング手法とは
データ マッピング手法には、主に次の 3 つのタイプがあります。
- マニュアル: 手動のデータ マッピングには、データ ソースの接続とコードによるプロセスの文書化が含まれます。アナリストは通常、SQL、C++、Java などのコーディング言語を使用してマッピングを作成します。データマッパーは、抽出、変換、ロードも利用できます (ETL) データセット間でデータを移動する機能、またはデータ仮想化を使用することができます。
- 半自動: 半自動データ マッピングは、スキーマ マッピングとも呼ばれます。これには、ユーザーがコーディングの知識を持ち、手動と自動のデータ マッピング プロセス間を移動する必要があります。半自動データ マッピングでは、データ リンクのグラフィカル表現を使用します。これは、線を引くことや、ドラッグ アンド ドロップ機能を使用して、データ マッピング ソフトウェアを介して視覚的なインターフェイスを作成することです。その後、データ アナリストはこれらの接続を確認し、必要に応じて手動で調整します。
- 自動化: 自動化されたデータ マッピングには、新しいデータを取得して既存の構造またはスキーマと一致させるための専用のソフトウェアが必要です。これらのツールは、多くの場合、データ モデルを継続的に改善および監視するために機械学習に依存しています。
結論
記事をお読みいただきありがとうございます。お楽しみいただけましたでしょうか。データ マッピングについて詳しく知りたい場合は、次のサイトにアクセスすることをお勧めします。 Gudu SQLFlow 詳細については。
その一つとして 最高のデータ系統ツール 現在市場に出回っている Gudu SQLFlow は、SQL スクリプト ファイルを分析するだけでなく、 データ系統、および視覚的な表示を実行するだけでなく、ユーザーが CSV 形式でデータ系統を提供し、視覚的な表示を実行できるようにします。 (2022 年 6 月 8 日に Ryan により公開)
