데이터 레이크 거버넌스: 이점, 과제 및 시작하기

성공적인 데이터 거버넌스 프로그램은 정책, 표준 및 프로세스를 활용하여 다음을 생성합니다. 고품질 데이터 그리고 조직 전체에서 적절하게 활용되도록 보장합니다. 데이터 거버넌스는 원래 관계형 데이터베이스의 구조화된 데이터와 기존 데이터웨어하우스, 하지만 상황은 바뀌었습니다. 귀사의 비즈니스에 정확한 분석을 원하는 데이터 레이크 환경이 있는 경우 적절한 데이터 레이크 전반적인 거버넌스 계획의 일부로서의 거버넌스.

그러나 데이터 레이크는 모든 분야에 다양한 과제를 제시합니다. 기업 데이터 관리데이터 거버넌스를 포함한. 아래에서는 주요 거버넌스 과제 중 일부와 데이터 레이크를 효과적으로 거버넌스하는 것의 이점을 살펴보겠습니다.

하지만 먼저 데이터 레이크가 무엇인지 정의해 보겠습니다. 데이터 레이크는 다양한 구조화, 비구조화, 반구조화 데이터 유형을 포함하는 대량의 원시 데이터를 보관하는 데이터 플랫폼을 말합니다. 일반적으로 Hadoop, Spark 및 기타 빅 데이터 기술을 기반으로 구축됩니다.

대부분의 데이터 웨어하우스는 관계형 테이블에 데이터를 저장하는 반면, 데이터 레이크는 플랫 스키마를 사용합니다. 각 데이터 요소에는 고유 식별자가 지정되고 일련의 메타데이터 태그로 표시됩니다. 따라서 데이터 레이크는 데이터 웨어하우스만큼 구조화되지 않습니다. 데이터는 일반적으로 원래 형식으로 보관되고 특정 분석 목적에 따라 필요에 따라 정렬, 구성 및 필터링되며, 데이터 레이크에 로드될 때는 그렇지 않습니다.

데이터 레이크 거버넌스

데이터 레이크와 데이터 늪:

데이터 레이크가 제대로 관리되고 거버넌스되지 않으면 레이크가 아닌 늪으로 변할 수 있습니다. 적절한 감독 및 로깅 없이 데이터가 플랫폼에 버려져 데이터 관리 및 거버넌스 팀이 데이터 레이크에 무엇이 있는지 추적하기 어렵게 만듭니다. 이로 인해 데이터 품질, 일관성, 안정성 및 접근성에 문제가 발생할 수 있습니다.

결과적으로, 데이터 과학자, 데이터 엔지니어, 그리고 다른 최종 사용자는 분석 애플리케이션에 대한 관련 데이터를 찾을 수 없을 수 있습니다. 더 나쁜 것은, 데이터 늪은 분석 오류와 궁극적으로 잘못된 비즈니스 결정으로 이어질 수 있습니다. 데이터 보안 및 개인 정보 보호가 제대로 적용되지 않아 조직의 데이터 자산과 비즈니스 평판이 위험에 처할 수 있습니다. 이러한 늪 같은 상황을 피하기 위해 기업은 데이터 레이크 환경을 관리해야 합니다.

데이터 레이크 거버넌스의 이점:

효과적인 데이터 거버넌스를 통해 기업은 데이터 품질을 개선하고 비즈니스 의사 결정을 위한 데이터 사용을 극대화할 수 있으며, 이를 통해 운영 개선, 더 강력한 비즈니스 전략, 더 나은 재무 성과로 이어질 수 있습니다. 다른 유형의 시스템과 마찬가지로 거버넌스 데이터 레이크에도 동일한 원칙이 적용됩니다. 데이터 레이크 거버넌스가 제공하는 구체적인 이점은 다음과 같습니다.

1. 고급 분석을 위해 관련 데이터에 대한 접근성을 높입니다. 잘 관리되는 데이터 레이크에서는 데이터 과학자와 나머지 분석 팀이 머신 러닝, 예측 분석 및 기타 데이터 과학 애플리케이션에 필요한 데이터를 더 쉽게 찾을 수 있습니다.
2. 분석 목적으로 데이터를 준비하는 데 소요되는 시간을 줄이세요. 데이터 레이크의 데이터는 일반적으로 특정 애플리케이션에서 필요하다는 것을 알고 원시 형태로 보관되지만, 규제된 환경에서는 데이터 준비 프로세스를 단축할 수 있습니다. 예를 들어, 사전 데이터 정리를 통해 나중에 데이터 오류 및 기타 문제를 해결하는 데 걸리는 시간을 줄일 수 있습니다.
3. IT 및 데이터 관리 비용을 절감합니다. 데이터 레이크가 제어 불능이 되는 것을 방지함으로써 필요한 데이터 처리 및 저장이 가능합니다. 자원 줄일 수 있습니다. 또한 데이터 정확성, 깔끔함, 일관성을 개선하여 전반적인 데이터 관리 요구 사항을 줄입니다.
4. 민감한 데이터의 보안과 규정 준수를 개선합니다. 데이터 레이크의 일반적인 사용 사례는 마케팅과 판매를 돕는 것입니다. 따라서 일반적으로 고객에 대한 민감한 신뢰를 담고 있습니다. 데이터 레이크의 강력한 거버넌스는 이 데이터가 적절하게 보호되고 오용되지 않도록 하는 데 도움이 됩니다.

데이터 레이크 거버넌스 과제:

데이터 거버넌스의 동반 데이터 관리 분야에는 데이터 품질이 포함됩니다. 메타데이터 관리, 그리고 데이터 보안, 모두 데이터 레이크 거버넌스와 그 과제에 영향을 미칩니다. 데이터 레이크 배포에서 발생하는 다섯 가지 일반적인 데이터 거버넌스 과제는 다음과 같습니다.

1. 올바른 데이터 소스를 식별하고 유지 관리합니다. 많은 데이터 레이크 구현에서 소스 메타데이터가 캡처되지 않거나 전혀 사용할 수 없어 데이터 레이크 콘텐츠의 유효성이 의심스럽습니다. 예를 들어, 기록 시스템이나 데이터 세트의 사업 소유자가 나열되지 않았거나 중복된 데이터가 데이터 분석가에게 문제를 일으킬 수 있습니다. 최소한 데이터 레이크의 모든 데이터에 대한 소스 메타데이터는 문서화되어야 하며 사용자가 어디에서 왔는지에 대한 통찰력을 얻을 수 있도록 제공되어야 합니다.
2. 메타데이터 관리 문제. 메타데이터는 데이터 세트의 콘텐츠에 대한 컨텍스트를 제공하고 애플리케이션에서 이해하고 사용하기 쉽게 만드는 데 중요한 부분입니다. 그러나 많은 데이터 레이크 배포는 수집된 데이터에 올바른 데이터 정의를 적용하지 않습니다. 또한 원시 데이터는 일반적으로 데이터 레이크에 로드되기 때문에 많은 기업은 데이터를 검증하거나 조직 데이터 표준을 적용하기 위한 단계가 없습니다. 데이터 레이크의 데이터는 적절한 메타데이터 관리가 부족하여 분석에 거의 사용되지 않습니다.
3. 데이터 거버넌스와 데이터 품질 간의 조정이 부족합니다. 조정되지 않은 데이터 레이크 거버넌스와 데이터 품질 노력은 낮은 품질의 데이터가 데이터 레이크에 유입되는 결과를 초래할 수 있습니다. 데이터를 사용하여 비즈니스 결정을 분석하고 추진하는 경우 이는 부정확한 결과로 이어져 데이터 레이크에 대한 신뢰 상실과 조직 전체에 걸친 데이터에 대한 일반적인 불신으로 이어질 수 있습니다. 효과적인 데이터 레이크 구현에는 다음이 필요합니다. 데이터 품질 분석가 데이터 거버넌스 팀과 비즈니스와 긴밀히 협력하는 엔지니어 데이터 관리자 데이터 품질 정책을 적용하고, 데이터를 분석하고, 데이터 품질을 개선하기 위한 필요한 조치를 취합니다.
4. 데이터 거버넌스와 데이터 보안 간의 조정 부족. 이 경우 거버넌스 프로세스에 제대로 적용되지 않은 데이터 보안 표준 및 정책은 개인 데이터 및 개인 정보 보호 규정으로 보호되는 기타 유형의 민감한 데이터에 액세스하는 데 문제가 발생할 수 있습니다. 데이터 레이크는 상당히 개방적인 데이터 소스로 설계되었지만 보안 및 액세스 제어는 여전히 필요하며 데이터 거버넌스 및 데이터 보안 팀은 데이터 레이크 설계 및 로딩 프로세스와 지속적인 데이터 거버넌스 노력에 대해 협력해야 합니다.
5. 동일한 데이터 레이크를 사용하는 사업부 간의 충돌. 여러 부서에서 유사한 데이터에 대해 서로 다른 비즈니스 규칙을 가질 수 있으며, 이는 정확한 분석을 위해 데이터 불일치를 조정하지 못하게 할 수 있습니다. 엔터프라이즈 비즈니스 용어집을 포함하여 데이터 정책, 표준, 절차 및 정의에 대한 엔터프라이즈 뷰가 있는 강력한 데이터 거버넌스 프로그램을 보유하면 여러 사업부가 데이터 레이크를 사용할 때 발생하는 문제를 줄일 수 있습니다. 엔터프라이즈에 여러 데이터 레이크가 있는 경우 각 데이터 레이크를 데이터 레이크 거버넌스 프로세스에 포함하고 비즈니스 데이터 관리자를 지정해야 합니다.

데이터 레이크 관리를 시작하는 방법?

다른 유형의 시스템에서의 데이터 거버넌스와 마찬가지로 데이터 레이크 거버넌스를 위한 일반적인 초기 단계는 다음과 같습니다.

1. 데이터 품질 지표와 관리 노력의 이점을 측정하는 다른 방법을 포함하여 데이터 레이크 관리에 대한 비즈니스 사례를 문서화합니다.
2. 임원이나 기업 후원자를 찾아 거버넌스 활동에 대한 승인과 자금 조달을 도와주세요.
3. 아직 데이터 거버넌스 구조가 없다면 거버넌스 팀, 데이터 관리, 비즈니스 리더 및 기타 관련 데이터 소유자로 구성된 데이터 거버넌스 위원회를 포함하는 구조를 만드세요.
4. 거버넌스 위원회와 협력하여 데이터 레이크 환경에 대한 데이터 표준과 거버넌스 정책을 개발합니다.

또 다른 좋은 초기 단계는 최종 사용자가 데이터 레이크에 저장된 데이터를 찾고 이해하는 데 도움이 되는 데이터 카탈로그를 구축하는 것입니다. 또는 다른 데이터 자산의 카탈로그가 이미 있는 경우 데이터 레이크를 포함하도록 확장할 수 있습니다. 데이터 카탈로그는 메타데이터를 캡처하고 사용자가 필요한 데이터를 찾기 위해 검색할 수 있는 사용 가능한 데이터 인벤토리를 만듭니다. 조직의 데이터 거버넌스 정책과 규칙 및 제한을 시행하기 위한 메커니즘에 대한 정보를 카탈로그에 임베드할 수도 있습니다.

결론적으로, 데이터 레이크의 가치는 강력한 데이터 거버넌스와 메타데이터 관리, 데이터 품질 및 데이터 보안 프로세스를 데이터 환경의 설계, 로딩 및 유지 관리에 포함함으로써 상당히 향상될 수 있습니다. 이러한 모든 분야에서 경험이 풍부한 전문가의 적극적인 참여도 중요합니다. 그렇지 않으면 데이터 레이크가 실제로 데이터 늪이 될 수 있습니다.

결론

저희 기사를 읽어주셔서 감사합니다. 이 기사가 데이터 레이크 거버넌스를 더 잘 이해하는 데 도움이 되기를 바랍니다. 데이터 레이크 거버넌스에 대해 더 자세히 알고 싶으시다면, 다음 사이트를 방문해 보시기 바랍니다. Gudu SQLFlow 자세한 내용은.

그 중 하나로서 최고의 데이터 계보 도구 오늘날 시장에 출시된 Gudu SQLFlow는 SQL 스크립트 파일을 분석하고 얻을 수 있을 뿐만 아니라 데이터 계보, 시각적 표시를 수행할 뿐만 아니라, 사용자가 CSV 형식으로 데이터 계보를 제공하고 시각적 표시를 수행할 수 있도록 합니다. (Ryan이 2022년 7월 3일에 게시)