기업 데이터에 가장 적합한 데이터 카탈로그를 선택하는 방법은 무엇입니까?

데이터 카탈로그 데이터 카탈로그는 기업 데이터 관리 전략의 중요한 부분이 되었지만, 적절한 데이터 카탈로그를 선택하는 것은 결코 간단한 문제가 아닙니다. 결정을 내리기 전에 시중에 나와 있는 다양한 옵션과 우선순위를 파악해야 합니다. 데이터 카탈로그는 메타데이터 관리 도구 기업이 대량의 데이터를 찾고 관리하는 데 도움이 되는 데이터 카탈로그입니다. 데이터 카탈로그의 기본 개념은 메타데이터를 한곳에 집중시키고 데이터베이스 전체의 데이터에 대한 완전한 뷰를 제공하는 것입니다.

각 특정 데이터 포인트의 위치에 대한 정보도 포함되어 있습니다. 기업은 공급업체를 선택하기 전에 시장과 시장의 니즈 및 기대치를 이해해야 합니다. 이 글은 기업 데이터에 가장 적합한 데이터 카탈로그를 선택하는 데 도움을 드립니다.

최고의 데이터 카탈로그를 선택하는 방법은?

데이터 카탈로그가 중요한 이유는 무엇입니까?

가트너의 수석 연구 책임자인 조 매과이어에 따르면, 기업에서 데이터 카탈로그 도구에 대한 수요는 크게 세 가지로 나뉩니다.

기업이 데이터 카탈로그를 사용하는 가장 큰 이유는 메타데이터 관리가 점점 더 어려워지고 있기 때문입니다. 데이터 스키마가 더 복잡해지고 데이터 양이 너무 많아 메타데이터를 직접 수집하고 설명하기가 어려워졌습니다.

“아키텍처를 단순화하기 위해 설계된 기술도 마찬가지입니다. 데이터 레이크 다양한 데이터를 저장하기 위한 단일 아키텍처 구성 요소를 제공하는 것은 복잡할 수 있습니다. 메타데이터 관리"라고 매과이어는 말했다.

데이터 양이 늘어나는데도 일부 기업은 메타데이터 관리를 확장하지 않습니다.

매과이어는 "사람들은 데이터 레이크의 메타데이터를 무시하기 때문에 데이터가 복잡하게 얽혀 있고 아무도 정리할 수 없는 데이터 레이크를 설명하기 위해 '데이터 늪'이라는 용어를 만들어냈습니다."라고 말했습니다.

두 번째 요인은 기업이 셀프서비스 분석과 데이터 과학을 추구함에 따라 데이터 거버넌스에 대한 필요성이 증가하고 있다는 것입니다. 이는 데이터 카탈로그에 대한 수요 증가로 이어집니다. 메타데이터는 데이터 거버넌스의 기반이며, 데이터 카탈로그는 메타데이터에 대한 접근을 더욱 쉽게 만들어줍니다.

세 번째 요인은 이 시장이 그 가치를 입증했다는 것입니다. 공급업체의 솔루션은 점점 더 다양해졌으며, 데이터 거버넌스와 메타데이터 관리가 필요한 기업에 실질적인 도움을 줄 수 있습니다. 자동 메타데이터 검색과 같은 기능은 데이터 계보데이터 카탈로그는 데이터 관리 활동에 대한 지원으로 인해 기업에게 매력적입니다.

데이터 카탈로그 카테고리

매과이어에 따르면, 데이터 카탈로그를 논의할 때 가장 중요한 차이점은 엔터프라이즈 데이터 카탈로그와 내장형 데이터 카탈로그의 차이점을 이해하는 것입니다.

Maguire는 "엔터프라이즈 데이터 카탈로그는 다양한 메타데이터 사일로의 메타데이터를 통합하도록 설계된 반면, 임베디드 데이터 카탈로그는 다른 제품에서 사용할 수 있는 메타데이터 관리 기능의 집합입니다."라고 말했습니다.

엔터프라이즈 데이터 카탈로그에는 DBMS, 데이터 웨어하우스 또는 BI 플랫폼이 포함될 수 있습니다. 내장형 데이터 카탈로그는 메타데이터 사일로를 생성하며, 엔터프라이즈 데이터 카탈로그는 이러한 메타데이터 사일로를 통합하려고 합니다.

가장 일반적인 데이터 카탈로그는 다음과 같습니다.

1. 독립형 데이터 카탈로그이러한 데이터 카탈로그는 보편적이고 독립적이며 비즈니스 지향적이며 데이터 관리, 분석 및 데이터 거버넌스에 널리 사용될 수 있습니다. 이 옵션은 여러 사용 사례에 대해 데이터를 분류해야 하는 기업에 적합합니다. 현재 독립적인 데이터 카탈로그를 제공하는 공급업체로는 Alation, Collibra, Informatica, Data.World 등이 있습니다.
2. 카탈로그 기능을 제공하는 메타데이터 관리 도구. 최신 데이터 카탈로그는 주로 다음을 목표로 합니다. 데이터 관리자 그리고 데이터 분석가 메타데이터 관리 작업을 자동화하는 업체입니다. 가트너는 향상된 데이터 카탈로그에 대한 최신 보고서에서 일부 공급업체가 자사의 메타데이터 관리 도구를 데이터 카탈로그로 리브랜딩하고 있다고 경고합니다. 적합한 도구를 선택하려면 직접 조사해야 합니다.
3. 데이터 카탈로그 기능을 갖춘 Data Lake 지원 도구기업들이 데이터 레이크를 지속적으로 구축함에 따라 검색 및 재사용 가능한 데이터가 필요해졌습니다. 이러한 이유로 공급업체들은 자사 제품에 데이터 카탈로그 기능을 추가하고 있습니다. Zaloni와 Cloudera Navigator가 이러한 범주에 속합니다. 데이터 레이크 도입에 어려움을 겪는 기업은 이러한 공급업체를 고려해 볼 수 있습니다.

기업에서 엔터프라이즈 데이터 카탈로그와 내장형 데이터 카탈로그 중 어떤 것을 선택할지 결정했다면, 이제 기능을 찾는 단계로 넘어갈 차례입니다. 좋은 데이터 카탈로그는 다양한 기능을 제공해야 합니다.

좋은 데이터 카탈로그는 무엇을 제공해야 할까?

기업으로서 어떤 제품이 데이터와 가장 관련성이 높은지 판단하는 것은 자사 팀의 몫입니다. 공급업체의 데이터 카탈로그는 특정 특성을 공유하며, 먼저 품질을 평가해야 합니다.

데이터 카탈로그의 중요한 기능 중 하나는 검색 기능입니다. 유연한 검색 및 필터 옵션이 없다면 사용자는 데이터 엔지니어링 및 분석 목적으로 필요한 데이터 세트를 찾을 수 없습니다. 데이터 카탈로그는 또한 수많은 연결된 데이터 자산에서 메타데이터를 수집해야 합니다. 또한 데이터 카탈로그 작성과 관련된 수동 작업을 처리할 수 있도록 자동화 및 데이터 인텔리전스를 제공해야 합니다. AI와 머신러닝은 추천을 통해 데이터를 보강할 수 있습니다.

데이터 카탈로그는 기업 내 데이터 아키텍처의 다양한 구성 요소와도 연결되어야 합니다. 엔터프라이즈 데이터 카탈로그는 다음과 같이 생각할 수 있습니다. 데이터웨어하우스 메타데이터에 대해서는 Maguire가 말했습니다. 데이터 카탈로그는 데이터 웨어하우스가 데이터 웨어하우스 사일로의 데이터를 통합하는 방식과 유사하게 메타데이터 사일로의 메타데이터를 통합합니다.

데이터 카탈로그의 또 다른 중요한 기능은 DBMS, BI 도구, 데이터 웨어하우스 등 다양한 구성 요소에서 메타데이터를 얻을 수 있는 커넥터를 제공하는 것입니다. 데이터 카탈로그는 다음 네 가지를 지원합니다. 메타데이터 유형:

• 데이터 모델, 저장 스키마, 파일 레이아웃, API를 설명하는 기술적 메타데이터입니다.
• 다양한 데이터 작업으로 인해 발생하는 데이터 계보, 성능 및 로그 파일 출력을 설명하는 운영 메타데이터입니다.
• 두 가지 유형이 있습니다 비즈니스 메타데이터하나는 비즈니스를 설명하는 메타데이터(예: 비즈니스 데이터 어휘의 내용)입니다. 다른 하나는 데이터 관리자, 데이터 관리자, 셀프 서비스 분석가 등 비즈니스 역할이 데이터 자산과 상호 작용하는 방식을 설명하는 메타데이터입니다. 여기서 데이터 관리자는 특정 데이터 자산을 담당합니다.
• 소셜 메타데이터는 특정 데이터 자산에 대한 증명이나 보증, 데이터 카탈로그 항목에 대한 사용자가 생성한 기타 주석과 같은 지식을 구성합니다.

데이터 카탈로그의 일반적인 공급업체:

시중에는 다양한 엔터프라이즈 및 임베디드 데이터 카탈로그가 있으며, 이러한 옵션은 종종 유사하거나 중복되는 기능을 가지고 있습니다. 아래는 데이터 카탈로그 옵션을 간략하게 비교한 것입니다.

1. 연관성 데이터 카탈로그. Alation은 AI를 활용하여 기업 내 데이터의 맥락을 파악하는 독립형 데이터 카탈로그 도구입니다. 모든 직원이 쉽게 사용할 수 있는 옵션으로 평가받고 있습니다.
2. Qlik 카탈로그. Qlik의 데이터 카탈로그는 원시 데이터 변환을 지원하는 자동화된 데이터 준비 및 메타데이터 도구를 제공합니다. 또한 사용자가 데이터 세트를 검색하고 게시할 수 있는 데이터 마트도 제공합니다.
3. 클라우데라 데이터 카탈로그. 클라우데라의 데이터 카탈로그를 통해 사용자는 데이터를 검색, 로깅 및 모니터링할 수 있습니다. 동시에, 이 제품을 통해 사용자는 접근 권한을 감사하고 민감한 정보를 무단 접근으로부터 보호할 수 있습니다.
4. 콜리브라 카탈로그. 이 옵션은 비즈니스 최종 사용자를 염두에 두고 구축된 또 다른 독립적인 데이터 카탈로그입니다. 검색 가능한 저장소로, 데이터를 더 쉽게 찾고 이해할 수 있도록 도와줍니다. 또한 관리자가 역할과 책임을 문서화할 수 있도록 지원합니다.
5. IBM Watson 지식 카탈로그. AI 모델 거버넌스 및 데이터를 위한 개방형 스마트 데이터 카탈로그입니다. 이 옵션은 사용자에게 실시간 데이터 가상화 지원, 동적 데이터 마스킹 및 자동 메타데이터 생성 기능을 제공합니다.
6. 오라클 클라우드 인프라. Oracle 제품은 사용자가 다면적인 검색과 필터를 통해 다양한 소스에서 데이터를 찾고 데이터 자산에 대한 기술적 메타데이터를 수집할 수 있는 검색 및 탐색 옵션을 제공합니다.

결론

저희 글을 읽어주셔서 감사합니다. 이 글이 귀사의 기업 데이터에 가장 적합한 데이터 카탈로그를 찾는 데 도움이 되기를 바랍니다. 최고의 데이터 카탈로그에 대해 더 자세히 알아보려면 다음 웹사이트를 방문하세요. Gudu SQLFlow 자세한 내용은.

그 중 하나로서 최고의 데이터 계보 도구 현재 시중에 판매되고 있는 Gudu SQLFlow는 SQL 스크립트 파일을 분석하고, 데이터 계보를 얻고, 시각적으로 표시할 수 있을 뿐만 아니라, 사용자가 CSV 형식으로 데이터 계보를 제공하고 시각적으로 표시할 수 있도록 해줍니다. (2022년 7월 2일 Ryan 게시)