데이터웨어하우스 101

오늘날 인터넷, 사물인터넷 등의 기술이 급속히 발전하면서 점점 더 많은 데이터가 생성되고 있으며, 데이터 관리 도구도 급속히 개발되고 있습니다. 데이터베이스 등 빅데이터와 관련된 개념이 생겨났습니다. 데이터웨어하우스, 메타데이터 관리 및 데이터 레이크 등. 이전 기사에서 자세히 설명했습니다. 데이터 레이크란 무엇인가 그리고 그것이 어떻게 귀사의 비즈니스에 도움이 되는지. 오늘 이 글에서, 우리는 데이터 웨어하우스가 무엇인지, 그것의 장점은 무엇인지, 그것이 데이터 레이크와 어떻게 다른지, 그리고 더 많은 것을 소개할 것입니다.

데이터웨어하우스란 무엇인가요?

데이터베이스의 대규모 적용으로 정보 산업의 데이터가 폭발적으로 증가했습니다. 데이터 간의 관계를 연구하고 데이터의 숨겨진 가치를 채굴하기 위해 점점 더 많은 사람들이 온라인 분석 처리(OLAP)를 사용하여 데이터를 분석하고 심층적인 관계와 정보를 채굴해야 합니다. 그러나 서로 다른 데이터베이스 간의 데이터 공유는 어렵고 데이터 통합 및 분석은 매우 어렵습니다.

데이터웨어하우스란 무엇인가

기업 데이터 통합 및 분석 문제를 해결하기 위해 컴퓨터 과학자 Bill Inmon은 다음 개념을 제안했습니다. 데이터웨어하우스 1990년에. 주요 기능은 고유한 데이터 저장 아키텍처를 통해 수년에 걸쳐 OLTP에 의해 축적된 방대한 양의 데이터를 OLAP하고, 최종적으로 의사 결정권자가 방대한 양의 데이터에서 귀중한 정보를 빠르고 효과적으로 분석하고 의사 결정 지원을 제공하도록 돕는 것입니다. 데이터 웨어하우스가 등장한 이래로 정보 산업은 관계형 데이터베이스를 기반으로 하는 운영 시스템에서 의사 결정 지원 시스템으로 점차 발전했습니다.

그것의 장점은 무엇인가?

이 기술은 방대한 양의 다양한 데이터를 효율적으로 분석하고, 데이터에서 가치를 추출하고, 과거 기록을 보존하는 데 있어 독보적인 장점을 가지고 있습니다. 빌 인몬은 데이터 웨어하우스의 네 가지 특징을 정의하고, 강력한 이점을 뒷받침하는 튼튼한 토대를 마련했습니다.

• 과목 중심: 판매와 같은 특정 주제나 기능 영역에 대한 데이터를 효율적으로 분석할 수 있습니다.
• 완성: 다양한 소스의 서로 다른 데이터 유형 간에 일관성을 생성합니다.
• 비교적 안정적: 데이터웨어하우스에 입력된 후에는 데이터가 안정적으로 유지되며 변경되지 않습니다.
• 역사적 변화를 반영하다: 데이터웨어하우스 분석은 과거 변화를 반영하는 데 중점을 둡니다.

잘 설계된 데이터웨어하우스는 고속 쿼리, 높은 데이터 처리량, 뛰어난 유연성을 지원하여 사용자가 데이터 볼륨을 세분화하거나 줄여서 더욱 자세한 데이터 검사를 수행하고 고급적이고 정교한 데이터 관리 요구 사항을 충족할 수 있도록 돕습니다.

데이터웨어하우스를 어떻게 설계하는가?

설계를 시작하기 전에 먼저 비즈니스 요구 사항을 파악하고, 비즈니스 범위에 대해 합의하고, 개념적 설계를 개발한 다음, 데이터 웨어하우스에 대한 논리적 설계와 물리적 설계를 만들어야 합니다. 그 중 논리적 설계는 객체 간의 관계에 초점을 맞추고, 물리적 설계는 객체를 최상의 방법으로 저장하고 검색하는 방법에 초점을 맞춥니다. 물론, 물리적 설계에는 전송, 백업 및 복구 프로세스도 포함됩니다.

모든 데이터웨어하우스 설계는 다음 문제를 해결해야 합니다.

• 특정 데이터 내용
• 데이터 세트 내부 및 데이터 세트 간 관계
• 데이터웨어하우스를 지원하는 시스템 환경
• 데이터 변환 유형;
• 데이터 새로 고침 빈도

또한 최종 사용자의 요구 사항도 데이터 웨어하우스 설계에서 중요한 문제입니다. 일반적으로 대부분의 최종 사용자는 개별 거래가 아닌 분석을 수행하고 집계된 데이터를 보는 데 관심이 있습니다. 사실, 최종 사용자는 특정 요구 사항이 발생할 때까지 정확히 무엇을 원하는지 알지 못합니다. 따라서 계획 과정에서 가능한 한 최종 사용자의 요구 사항을 탐색하고 예상하십시오. 마지막으로, 데이터 웨어하우스 설계는 변화하는 최종 사용자의 요구 사항을 수용할 수 있도록 확장 및 성장을 위한 충분한 여지를 남겨야 합니다.

데이터 레이크와 어떤 점이 다릅니까?

데이터 레이크는 주로 데이터를 중앙에서 저장하는 데 사용됩니다. 스토리지 데이터베이스와 같습니다. 비정형 및 정형 데이터를 모두 저장할 수 있으며 종종 비정형 데이터를 처리하는 데 사용되는 반면, 데이터 웨어하우스는 대용량 저장소로, 주로 대량의 정형 데이터를 저장하는 데 사용되지만 분석도 가능합니다.

데이터 레이크의 적용 분야는 매우 광범위합니다. 물류 분야뿐만 아니라 제조 분야 등에서도 사용할 수 있습니다. 데이터 웨어하우스 응용 분야도 매우 넓습니다. 용량이 매우 크기 때문입니다. 주요 기업의 운영에 사용할 수 있습니다. 더 발전하기 전에 많은 기업이 데이터 웨어하우스를 통해 시장 분석을 실시할 것입니다. 시장 데이터가 매우 방대하기 때문입니다. 또한 의사 결정 분석에도 적용할 수 있습니다. 과거 데이터의 법칙을 마이닝할 수 있기 때문에 의사 결정에 매우 도움이 됩니다.

데이터 레이크와 데이터 웨어하우스의 차이는 그렇게 크지 않습니다. 둘 다 조직의 발전에 매우 도움이 됩니다. 왜냐하면 데이터 분석이 매우 객관적이고 데이터 레이크와 데이터 웨어하우스는 사용자에게 많은 양의 데이터를 제공하여 올바른 결정을 내릴 수 있기 때문입니다.

클라우드 데이터 웨어하우스란 무엇인가요?

클라우드 기술을 사용하여 다양한 데이터 소스에서 데이터를 추출하고 저장하는 데이터 웨어하우스를 말합니다. 처음에는 데이터 웨어하우스가 로컬 서버에 구축되었습니다. 오늘날 이러한 온프레미스 데이터 웨어하우스는 여전히 많은 이점을 제공하며, 어떤 경우에는 더 높은 수준의 거버넌스, 보안 및 속도를 제공합니다.

그러나 온프레미스 데이터웨어하우스는 회복성이 낮아서 회사는 미래의 수요를 충족시키기 위해 데이터웨어하우스를 확장하는 방법을 결정하기 위해 복잡한 예측을 거쳐야 합니다. 게다가 온프레미스 데이터웨어하우스는 관리하기도 매우 복잡합니다.

이와 대조적으로 클라우드 데이터웨어하우스는 다음과 같은 이점을 제공합니다.

• 높은 유연성으로 컴퓨팅 용량과 저장 용량을 독립적으로 확장할 수 있습니다.
• 높은 확장성과 유연성을 갖추고 있어 컴퓨팅이나 스토리지 요구 사항을 충족할 수 있습니다.
• 사용이 쉽고, 관리가 쉽고, 비용 절감이 가능합니다.

이상적인 클라우드 데이터웨어하우스는 전체 호스팅과 자율 주행을 지원하여 초보자도 몇 번의 클릭만으로 데이터웨어하우스를 만들고 사용할 수 있어야 합니다. 또한 대부분의 클라우드 데이터웨어하우스는 pay-as-you-go 모델을 사용하여 더 많은 비용을 절약할 수 있습니다.

결론

저희 기사를 읽어주셔서 감사합니다. 이 기사가 데이터 웨어하우스가 무엇인지 더 잘 이해하는 데 도움이 되기를 바랍니다. 이에 대한 자세한 정보를 원하시면 다음을 방문하시기 바랍니다. Gudu SQLFlow 공식 웹사이트 자세한 내용은.

그 중 하나로서 최고의 데이터 계보 도구 오늘날 시장에 출시된 Gudu SQLFlow는 SQL 스크립트 파일을 분석하고 데이터 계보를 얻고 시각적 표시를 수행할 뿐만 아니라 사용자가 다음을 제공할 수 있도록 합니다. 데이터 계보 CSV 형식으로 저장하고 시각적으로 표시합니다. (2022년 5월 31일 Ryan이 게시)