메타데이터 아키텍처 진화

메타데이터 관리 의 기초이자 근원입니다 데이터 거버넌스 시스템. 기술 개발의 다른 단계에서 기업 데이터 거버넌스에서의 지위와 역할은 매우 다릅니다. 오늘날 데이터는 다중 소스, 이질성, 가치 차이의 특성을 가지고 있으며 이러한 특성은 미친 데이터 성장 과정에서 가속화되고 증폭됩니다. 또한 기업의 컴퓨팅 파워가 일반적으로 크게 증가한 후에는 더 큰 가치를 발휘하기 위해 데이터를 더 깊이 있게 마이닝해야 한다는 강한 기대가 있습니다.

엔터프라이즈 데이터 지원팀으로서 우리가 일상 생활에서 가장 많이 듣는 질문은 "올바른 데이터 세트를 얻는 방법"입니다. 우리는 확장성이 뛰어난 데이터 스토리지, 실시간 컴퓨팅 등을 구축했지만, 우리 팀은 여전히 개발하고 분석할 올바른 데이터 세트를 찾는 데 시간을 낭비하고 있다는 것을 깨닫게 되었습니다. 즉, 여전히 데이터 자산 관리가 부족합니다. 사실, 위의 문제에 대한 오픈 소스 솔루션을 제공하는 회사가 많이 있습니다. 즉, 데이터 검색 및 메타데이터 관리 도구입니다.

그러나 다양한 단계의 다양한 기업의 사업 및 기술 개발 요구 사항에 의해 제한되기 때문에 기업이 관련 관리 플랫폼을 구축하기 위한 기능, 애플리케이션 및 초점 방향을 선택하는 것은 종종 매우 다양합니다. 이 글은 아키텍처 진화를 소개하는 것을 목표로 합니다. 메타데이터 관리 도구.

간단히 말해서, 메타데이터 관리란 메타데이터를 사용하여 데이터 자산을 효율적으로 구성하고 관리하는 것입니다. 또한 데이터 전문가가 메타데이터를 수집, 구성, 액세스 및 풍부화하는 데 도움이 될 수 있으며, 데이터 맵, 데이터 사양, 비용 제어, 품질 검사 및 보안 감사와 같은 상위 계층 애플리케이션을 지원할 수 있습니다.

30년 전만 해도 데이터 자산은 Oracle 데이터베이스의 테이블일 뿐이었습니다. 그러나 현대 기업에서는 다양한 유형의 데이터 자산이 난잡하게 배열되어 있습니다. 관계형 데이터베이스 테이블, 비관계형 데이터베이스의 객체, 실시간 스트리밍 데이터, 지표, 초상화, BI 도구의 다이얼 또는 패널일 수 있습니다.

현대적 메타데이터 관리 시스템은 모든 유형의 데이터 자산을 포괄해야 하며 데이터 작업자가 관련 데이터 자산을 더 잘 활용할 수 있도록 도울 수 있어야 합니다. 따라서 오늘날 적용 가능한 메타데이터 관리 시스템의 핵심 기능은 다음과 같습니다.

• 검색 및 발견: 데이터 테이블, 필드, 태그, 사용 정보
• 접근 제어: 접근 제어 그룹, 사용자, 정책;
• 데이터 계보: 파이프라인 실행, 쿼리;
• 규정 준수: 데이터 개인 정보 보호/규정 준수 주석 유형의 분류
• 데이터 관리: 데이터 소스 구성, 수집 구성, 보존 구성, 데이터 제거 정책
• AI 해석성, 재현성: 기능 정의, 모델 정의, 교육 실행, 문제 설명
• 데이터 조작: 파이프라인 실행, 처리된 데이터 분할, 데이터 통계
• 데이터 품질: 데이터 품질 규칙 정의, 규칙 실행 결과, 데이터 통계.

메타데이터 아키텍처 진화:

그만큼 1세대 메타데이터 아키텍처 일반적으로 추출을 기반으로 합니다. 메타데이터는 데이터 소스(Hive, Kafka 등)를 연결하고 쿼리하여 가져오며, 외부 저장소와 쿼리 서비스만 필요합니다. 일반적으로 쿼리를 위한 기본 저장소(일반적으로 MySQL/Postgres)에 연결하는 클래식 모놀리식 프런트 엔드이며, 쿼리가 관계형 데이터베이스의 "재귀적 쿼리" 한계에 도달하면 검색 쿼리를 제공하는 검색 인덱스(일반적으로 Elasticsearch)이며, 그래프 데이터베이스(일반적으로 Neo4j)를 쿼리 인덱스로 사용하도록 업그레이드할 수 있습니다.

메타데이터 아키텍처

이 메타데이터 아키텍처의 장점은 명확합니다. 아키텍처가 간단하고 저장소와 검색 엔진만 있으면 빠르게 구축할 수 있으며 효율성이 높고 비용이 저렴합니다. 하지만 단점도 명확합니다. 데이터 소스의 성능에 상당한 영향을 미치고 추출 시간, 빈도, 부하에 대한 요구 사항이 많습니다. 게다가 실시간 요구 사항이 점점 더 높아짐에 따라 이 메타데이터 아키텍처는 점점 더 적용 불가능해지고 있습니다.

오픈소스 제품인 아문센(Amundsen)은 1세대 아키텍처를 사용하지만, 매우 강력한 검색 순위를 달성하는 기능에 초점을 맞춥니다.

그만큼 2세대 메타데이터 아키텍처 서비스 분할을 기반으로 하는 3계층 애플리케이션 아키텍처입니다. 이 아키텍처는 모놀리식 애플리케이션을 메타데이터 서비스에서 분리합니다. 이 서비스는 푸시 메커니즘을 사용하여 메타데이터를 시스템에 쓸 수 있는 API와 메타데이터를 프로그래밍 방식으로 읽어야 하는 프로그램을 위한 메타데이터 읽기 API를 제공합니다.

메타데이터 아키텍처

이 아키텍처의 장점은 메타데이터 생산자와 메타데이터 서비스 간에 브리지를 구축하고 실시간 문제를 해결하는 푸시 방식을 기반으로 구현된다는 것입니다. 단점은 로그가 없다는 것입니다. 문제가 발생하면 검색 및 그래프 인덱스를 안정적으로 부트스트랩(재생성)하거나 수정하기 어려울 수 있습니다. 2세대 메타데이터 시스템은 종종 회사 데이터 자산에 대한 안정적인 검색 및 발견 포털이 될 수 있으며 데이터 작업자의 핵심 요구 사항을 해결하며 Marquez는 2세대 메타데이터 아키텍처를 보유하고 있습니다.

그만큼 3세대 메타데이터 아키텍처 이벤트 기반 메타데이터 관리 아키텍처로, 로그 푸시 + 모델 디커플링을 기반으로 합니다. 사용자는 필요에 따라 다양한 방식으로 메타데이터 데이터베이스와 상호 작용할 수 있으며 확장된 메타데이터 모델을 정의할 수 있습니다.

메타데이터 아키텍처

주요 장점은 다음과 같습니다. 유연성, 높은 확장성, 낮은 지연 시간 검색, 메타데이터 속성에 대한 전체 텍스트 및 순위 검색 수행 기능, 메타데이터 관계를 지원하는 그래프 쿼리, 전체 스캔 및 분석 기능. 단점은 종속 구성 요소가 많고 운영 및 유지 관리 비용이 높다는 것입니다. 3세대 메타데이터 아키텍처의 대표적인 시스템은 Altas와 DataHub입니다.

오늘날의 메타데이터 관리 플랫폼 환경(비오픈 소스 포함)에 대한 간단한 시각적 표현:

결론

저희 기사를 읽어주셔서 감사합니다. 이 기사가 메타데이터 아키텍처 진화에 대한 더 나은 이해에 도움이 되기를 바랍니다. 메타데이터에 대해 더 자세히 알고 싶으시다면, 다음 사이트를 방문해 보시기 바랍니다. Gudu SQLFlow 자세한 내용은.

그 중 하나로서 최고의 데이터 계보 도구 현재 시중에 판매되고 있는 Gudu SQLFlow는 SQL 스크립트 파일을 분석하고, 데이터 계보를 얻고, 시각적으로 표시할 수 있을 뿐만 아니라, 사용자가 CSV 형식으로 데이터 계보를 제공하고 시각적으로 표시할 수 있도록 해줍니다. (2022년 6월 29일 Ryan이 게시)