データ ウェアハウス環境のモダナイゼーション ツールとヒント
データウェアハウス には長い歴史があり、ここでの基本的な考え方は、ほとんどの企業が基本的なビジネス プロセスを自動化するためにさまざまなアプリケーションを構築し、これらのビジネス プロセスが個別に進化し、複数のバージョンのデータが生成されるというものです。これまで、さまざまな製品ラインや地域で売上高や利益率を理解しようとする人にとって、一貫性のないデータは頭痛の種でした。
本質的に、データ ウェアハウスの元の概念は、さまざまなトランザクション システムから重要なデータを複製し、不整合を解決し、分析しやすいクリーンなデータセットを生成することです。通常、このプロセスは定期的に実行されるプログラムを使用して行われ、新しいデータが取り込まれると、データ ウェアハウスが最新の状態に保たれます。
データ ウェアハウス環境のモダナイゼーション
データ ウェアハウス環境の歴史
ここでは、データ ウェアハウス環境が適切に機能するために必要なコンポーネントが多数あります。データ抽出手順が必要であり、データ ウェアハウスは独自のスキーマで設計する必要があります。最新のデータ ウェアハウスでは、データのメジャー バージョンの階層を決定するビジネス ルールを通じて、バックグラウンド データの競合するバージョンを解決するための追加の手順も必要です。
ここでの歴史的な課題は、データ ウェアハウスが、絶えず変化する基盤となるオペレーティング システム上に構築された建物に似ているということです。これらのシステムに大きな変更 (再編成や事業買収など) が発生した場合、データ ウェアハウスの構造を変更して、基礎となるビジネスの変更を反映する必要があります。ビジネスの変化のペースが速すぎると、データ ウェアハウスが一定期間信頼できなくなり、ビジネス担当者のデータ ウェアハウスに対する信頼が損なわれる可能性があります。
この問題を解決するために、 データマート 生まれました。ただし、データ マートがデータ ウェアハウス内のデータと同期されていない限り、データ マートと競合して複数のバージョンのデータが生成される可能性があります。この不安定性に対処するために、さまざまなデータ ウェアハウスの設計が登場し始めました。 スタースキーマ, スノーフレーク スキーマ、および技術者の Bill Inmon と Ralph Kimball によって提唱された他のもの。
その後、マスター データ管理の分野が出現し始めました。企業はますます複雑化する一連のビジネス コンテキスト データを収集しようとしており、多くの場合、データ ウェアハウスと連携して動作する個別のデータベースを使用しています。製品階層のさまざまなバージョンを競うには、ビジネスのインプットが必要です。 データガバナンス データ ウェアハウスでは、このようなマスター データのビジネス コントロールのためのプロセスを提供します。
膨大な量のデータに加えて、複雑さが増すことも問題です。最終的には、データ ウェアハウスのビジネス ビューを表す独自のメタデータ レイヤーを必要とする、より複雑なクエリおよび分析ツールを目にするようになりました。
同時に、抽出、変換、ロード (ETL) データは次の産業を生み出しました。 データ統合 ツール。これらのツールはプロセスを自動化し、データ ウェアハウス環境で処理する必要があるコンポーネントを追加する独自のスクリプトを備えています。
データ ウェアハウスのモダナイゼーション
長年にわたり、エンタープライズ データ ウェアハウス環境のコンポーネントを整理する試みが行われてきました。ますます複雑化するデータ ウェアハウスをモダナイズするために、ベンダーは事前に構築されたテンプレートとデータ ウェアハウス ジェネレーターを作成しようとしています。その例には、Idera、Magnitude、Attunity などがあります。いくつかのユースケースでの成功にもかかわらず、これらのいずれも市場支配を達成していません.
さらに、DevOps と DataOps は、データ ウェアハウス スキーマの進化や、データ ウェアハウス環境を制御された方法で機能させるその他の側面を支援することに専念しています。
革新的なベンダーの多大な努力にもかかわらず、データ ウェアハウスのモダナイゼーションへの近道はありません。大企業はエンタープライズ データ ウェアハウスとそれに関連する環境に多額の投資を行ってきましたが、膨大な量のプロセス、手順、スクリプト、およびスキーマが前進への大きな障害となっています。もう 1 つのハードルは、データベース管理者と IT スタッフによる現在の慣行の惰性を克服することです。
企業の分析のほとんどはデータ ウェアハウスに依存しているため、移行は困難です。運用データ ウェアハウス環境の再構築は、移動中の車のエンジンをアップグレードしようとする整備士のようなものです。それにもかかわらず、データ ウェアハウス自動化ツールと最新の DataOps マーケットプレイスは、企業がデータ ウェアハウス環境を最新化するのを支援するために最善を尽くしています。
結論
この記事をお読みいただきありがとうございます。この記事が、データ ウェアハウス環境のモダナイゼーション ツールとヒントをよりよく理解するのに役立つことを願っています。データ ウェアハウスについて詳しく知りたい場合は、次のサイトにアクセスすることをお勧めします。 Gudu SQLFlow 詳細については。
その一つとして 最高のデータ系統ツール 現在市場に出回っている Gudu SQLFlow は、SQL スクリプト ファイルを分析するだけでなく、 データ系統、および視覚的な表示を実行するだけでなく、ユーザーが CSV 形式でデータ系統を提供し、視覚的な表示を実行できるようにします。 (2022 年 7 月 3 日に Ryan により公開)
