데이터 계보란 무엇인가? | 데이터 계보가 왜 그렇게 중요한가?

오늘날 경제와 기술의 급속한 발전으로 우리는 온갖 종류의 데이터에 둘러싸여 있으며, 우리 사업의 거의 모든 부분이 어떤 식으로든 데이터에 의존하고 있습니다. 데이터를 어떻게 관리할지 고민하다 보면, 데이터가 회사에 미치는 실질적인 이점을 깊이 파고들 시간이 부족하다고 느낄 수 있습니다. 생각해 보세요. 데이터는 우리 회사에서 24시간 내내 이용할 수 있어야 합니다. 따라서 데이터의 출처, 유입 경로, 그리고 비즈니스에서 데이터가 어떻게 유통되었는지에 대한 세부적인 이해는 데이터의 가치를 결정하는 데 매우 중요합니다.

데이터 계보

입력 데이터 계보금광의 기원을 파헤치고, 이를 이해하고, 가장 필요한 사람들의 손에 닿도록 하는 절묘한 도구입니다. 데이터 계보란 무엇인가? 데이터 계보가 왜 그렇게 중요할까요? 이 글에서는 데이터 계보에 대해 자세히 살펴보겠습니다. 데이터 계보.

데이터 계보란 무엇인가요?

데이터의 계보입니다. 간단히 말해, 데이터가 특정 위치에 도달한 경로와 데이터가 비즈니스 시스템을 통과할 때 발생하는 중간 단계 및 변환에 대한 기록을 의미합니다. 본질적으로, 데이터 계보 위에 표시된 것처럼, 모든 단계를 포함하여 데이터 이동 경로에 대한 자세한 지도를 제공합니다.

데이터 계보 vs. 데이터 출처

데이터 출처(data provisionance)라는 개념은 데이터 계보(data lineage)와 관련이 있습니다. 이는 데이터의 출처를 나타냅니다. 출처를 기반으로 데이터의 신뢰성과 품질에 대한 가정을 할 수 있습니다. 데이터웨어하우스 그리고 데이터 레이크 관리자 데이터 출처와 데이터 계보 추적에 중점을 두어야 합니다. 메타데이터 관리의 핵심 측면에는 데이터의 출처와 시기, 누가 데이터를 조작했는지, 그리고 어떻게 수정해야 하는지 파악하는 것이 포함됩니다.

데이터 계보가 왜 중요한가?

데이터의 출처와 계보를 아는 것은 다음과 같은 이유로 매우 중요합니다.

첫째, 데이터의 출처를 기반으로 데이터의 신뢰성을 평가할 수 있습니다. 또한, 오류의 원인을 파악하고 수정하는 데 도움이 될 수 있습니다. 또한, 분석을 왜곡할 수 있는 데이터에 대한 잘못된 가정을 파악할 수 있습니다. 더 나아가, 데이터 거버넌스 및 규제 목적으로 감사 추적을 제공합니다. 이를 통해 데이터 흐름이 변조되지 않도록 보호할 수 있습니다. 마지막으로, 데이터 중복을 식별하고 방지하여 운영을 간소화하고 비용을 절감할 수 있습니다.

데이터 계보는 우리에게 어떤 비즈니스 가치를 제공할 수 있는가?

데이터 계보는 추상적인 개념처럼 보일 수 있지만, 데이터의 전체 수명 주기를 포괄적으로 이해하면 여러 측면에서 비즈니스에 가치를 더할 수 있습니다.

1. 사업 성과 향상

현대 기업의 거의 모든 의사 결정은 BI와 의사 결정 지원 시스템(DSS)에 의존합니다. 예를 들어, 신제품 설계 시 어떤 기능을 우선시해야 하는지, 어디에 광고를 게재해야 하는지, 매출, 수익성, 고객 충성도를 극대화하기 위해 어떤 영업 및 마케팅 전략을 사용해야 하는지 등이 여기에 해당합니다. "쓰레기가 들어가면 쓰레기가 나온다"라는 말은 분석의 모든 측면에 적용될 수 있습니다. 잘못된 데이터는 결과를 심각하게 왜곡하고 비즈니스 성과에 영향을 미칠 수 있습니다.

2. 규정 준수 및 위험 관리

모든 산업 분야의 조직은 다양한 규제 요건을 준수해야 하며, 일부 규제 요건은 특정 산업에만 영향을 미칩니다. 의료 분야의 환자 정보 보호를 목표로 하는 HIPAA와 국제 금융 분야의 위험 완화를 목표로 하는 바젤 협약이 그 예입니다. EU의 일반 데이터 보호 규정(GDPR)과 같은 다른 규정들은 모든 산업에 영향을 미칩니다. 데이터 거버넌스 목적으로 데이터 계보를 추적하는 메타데이터를 보유하면 비즈니스 위험과 규정 준수 관련 비용이 줄어들고, 향후 발생할 수 있는 새로운 규정을 준수하는 데 더 쉽고 비용 효율적입니다.

3. 변화하는 데이터 소스 처리

시스템과 데이터 소스는 비즈니스 환경의 변화에 따라 변화합니다. 예를 들어, 기존의 POS 데이터만 보고 고객 행동을 추정하는 분석 애플리케이션은 거의 확실히 틀릴 것입니다. 이러한 분석 방식은 전자상거래 주문, 앱 내 구매, 그리고 다양한 판매 채널 및 인구 통계에 대한 고객을 놓치게 됩니다. 이는 당연한 것처럼 보일 수 있지만, 데이터 편향과 감지되지 않은 데이터 소스 문제는 아무리 복잡한 조직이라도 쉽게 겪을 수 있는 문제입니다.

4. IT 비용 및 위험 감소

위의 모든 사례의 공통점은 모두 정보 기술(IT)에 의존한다는 것입니다. 데이터 세트와 그 사용 방식을 이해하는 조직은 새로운 애플리케이션을 더 쉽게 구축하고 기존 애플리케이션의 문제를 더 빠르고 경제적으로 해결할 수 있습니다. 데이터의 메타데이터 출처가 명확하면 분석 애플리케이션을 수정하거나 추가하는 것이 훨씬 쉽고 비용 효율적입니다.

데이터 계보를 어떻게 관리하나요?

데이터 계보 관리는 데이터 레이크 환경에서 특히 중요합니다. 데이터 레이크는 이미지, 비디오 파일, 로그 파일, 문서, 원시 텍스트, JSON, CSV, Apache Parquet 또는 최적화된 행-열(ORC) 형식 파일 등 다양한 소스에서 생성된 다양한 형식의 데이터 세트를 포함합니다. 또한, 데이터 레이크의 데이터 세트는 지속적으로, 그리고 종종 빠르게 추가되며, 다양한 도구가 원시 데이터에 액세스하고 처리하여 추가적인 파생 데이터 세트를 생성할 수 있습니다.

이러한 다양성과 속도 문제가 방대한 데이터와 결합되면 모든 데이터 항목의 출처와 세부 정보를 수동으로 추적하는 것은 불가능합니다. 데이터 레이크 환경에서는 메타데이터 관리를 자동화해야 하며, 이는 특히 데이터 레이크를 관리할 때 중요한 고려 사항입니다. 데이터 레이크에 저장되는 데이터 자체와 달리, 메타데이터는 "데이터에 대한 데이터"이며 다양한 형태를 취할 수 있습니다.

결론

저희 기사를 읽어주셔서 감사합니다. 이 기사가 여러분이 더 잘 이해하는 데 도움이 되기를 바랍니다. 뭐야 데이터 계보와 데이터 계보가 왜 중요한가데이터 계보에 대해 자세히 알고 싶으시다면 다음을 방문하시기 바랍니다. Gudu SQLFlow 자세한 내용은. 다시 한번 감사합니다!  (2022년 4월 18일 Ryan 게시)