데이터 카탈로그란 무엇인가? | 데이터 카탈로그가 필요한 이유는 무엇인가?

뭐야? 데이터 카탈로그? 데이터 카탈로그가 왜 필요한가요? 이 제품의 특징과 이점은 무엇인가요? 위의 질문에 대한 답을 찾고 싶다면, 당신은 올바른 곳에 왔습니다. 이 게시물에서, 우리는 데이터 카탈로그를 자세히 살펴보고 당신이 그것을 더 잘 이해할 수 있도록 하겠습니다.

데이터 카탈로그

데이터 카탈로그란 무엇입니까??

간단히 말해서, 데이터 카탈로그는 조직 내의 데이터 자산을 정리한 목록입니다. 메타데이터를 사용하여 조직이 데이터를 관리하는 데 도움이 됩니다. 또한, 데이터 전문가가 메타데이터를 수집, 구성, 액세스하고 보강하여 데이터 검색 및 거버넌스를 지원하는 데 도움이 됩니다.

데이터 카탈로그가 필요한 이유는 무엇입니까?

그 어느 때보다 많은 데이터가 있기 때문에 올바른 데이터를 찾는 것이 그 어느 때보다 어렵습니다. 동시에 그 어느 때보다 많은 규칙과 규정이 있습니다. GDPR은 그 중 하나일 뿐입니다. 따라서 데이터 액세스뿐만 아니라 데이터 거버넌스도 어려운 문제입니다. 현재 보유한 데이터 유형, 누가 데이터를 옮기고 있는지, 무엇에 사용되는지, 어떻게 보호해야 하는지 이해하는 것이 매우 중요합니다. 그러나 데이터 주위에 너무 많은 계층과 래퍼를 두는 것도 피해야 합니다. 데이터를 사용하기 너무 어려우면 쓸모가 없기 때문입니다.

데이터 카탈로그의 기능과 이점은 무엇입니까?

지난 몇 년 동안 데이터 디렉토리라는 개념은 관리하고 액세스해야 하는 데이터 양이 증가함에 따라 인기를 얻었습니다. 클라우드, 빅데이터 분석, 인공 지능 및 머신 러닝은 우리가 데이터를 보고, 관리하고, 사용하는 방식을 변화시키기 시작했습니다. 단순히 데이터를 관리하는 것이 아니라 데이터를 최대한 활용하고 액세스할 수 있게 되었습니다.

데이터 카탈로그를 올바르게 사용하면 다음과 같은 이점이 있습니다.

1. 비용을 절감하다 
2. 운영 효율성 개선
3. 더 많은 경쟁 우위
4. 더 나은 고객 경험
5. 사기 및 위험 이점

데이터 카탈로그의 데이터를 최대한 활용하려면 무엇이 필요할까요?

그러니 한 걸음 물러나서 메타데이터에 대해 완전히 익숙하지 않은 사람들에게 간단히 설명해 보겠습니다. 메타데이터란 무엇일까요? 메타데이터에는 세 가지 유형이 있습니다.

• 기술적 메타데이터: 스키마, 테이블, 열, 파일 이름, 보고서 이름 등 소스 시스템에 기록된 모든 것을 말합니다.
• 비즈니스 메타데이터: 이는 일반적으로 조직의 자산에 대한 사용자의 비즈니스 지식입니다. 여기에는 비즈니스 설명, 리뷰, 주석, 분류, 적합성, 평가 등이 포함될 수 있습니다.
• 운영 메타데이터: 이 객체는 언제 새로 고쳐질까요? 어떤 ETL 작업이 생성했을까요? 사용자가 테이블에 액세스한 횟수는 몇 번인가요?

지난 몇 년 동안 우리는 이 귀중한 메타데이터가 사용되는 방식에 작은 혁명을 보았습니다. 옛날 옛적에 메타데이터는 주로 감사에만 사용되었습니다. 혈통, 보고. 하지만 오늘날 서버리스 처리, 그래픽 데이터베이스, 특히 새롭거나 더 접근하기 쉬운 인공 지능 및 머신 러닝 기술과 같은 기술 혁신은 경계를 넓히고 이전에는 규모상 불가능했던 메타데이터를 통해 가능한 일을 가능하게 만들고 있습니다.

오늘날 메타데이터는 데이터 관리를 강화하는 데 사용될 수 있습니다. 셀프 서비스 데이터 준비부터 역할 및 데이터 콘텐츠에 따른 액세스 제어, 자동 데이터 입력, 이상 모니터링 및 경보, 자동 할당 및 확장까지 자원, 등등. 이 모든 것은 이제 메타데이터의 도움으로 향상될 수 있습니다. 그리고 데이터 카탈로그는 메타데이터를 사용하여 그 어느 때보다 더 많은 데이터를 관리하는 데 도움이 됩니다.

좋은 데이터 카탈로그는 무엇을 제공해야 할까?

• 검색 및 발견. 좋은 데이터 카탈로그는 사용자가 데이터 과학, 분석 또는 데이터 엔지니어링을 위한 관련 데이터 세트를 빠르게 찾을 수 있도록 유연한 검색 및 필터링 옵션을 가져야 하며, 사용자가 데이터 자산의 기술적 계층 구조에 따라 메타데이터를 탐색할 수 있도록 해야 합니다. 또한, 좋은 데이터 카탈로그는 사용자가 기술 정보, 사용자 정의 태그 또는 비즈니스 용어를 입력할 수 있도록 해야 하며, 검색 기능도 개선해야 합니다.
• 다양한 소스에서 메타데이터를 얻으세요. 우수한 데이터 카탈로그는 객체 저장소, 자율 주행 데이터베이스, 로컬 시스템 등 다양한 연결된 데이터 자산에서 기술적 메타데이터를 수집할 수 있습니다.
• 메타데이터 큐레이션. 우수한 데이터 카탈로그는 주제 전문가가 엔터프라이즈 비즈니스 용어집, 레이블, 연관성, 사용자 정의 주석, 범주, 등급 등의 형태로 비즈니스 지식을 제공할 수 있는 수단을 제공해야 합니다.
• 자동화 및 데이터 인텔리전스. 인공 지능과 머신 러닝은 우리가 언급한 데이터 규모에서 종종 필요합니다. 자동화할 수 있는 모든 인간 작업은 인공 지능의 머신 러닝 기술과 수집된 메타데이터를 통해 자동화되어야 합니다. 또한 AI와 머신 러닝은 최신 데이터 플랫폼의 데이터 카탈로그 및 기타 서비스 사용자에게 데이터 권장 사항을 제공하는 등 데이터를 실제로 강화하기 시작할 수 있습니다.
• 기업 수준의 역량. 귀하의 데이터는 중요하며, 적절하게 사용하려면 ID 및 액세스 관리와 같은 엔터프라이즈 수준의 기능과 REST API를 통한 주요 기능이 필요합니다. 이는 또한 고객과 파트너가 REST를 통해 자체 애플리케이션에서 메타데이터(예: 사용자 지정 하베스터)를 제공하고 데이터 카탈로그 기능을 노출할 수 있음을 의미합니다.
• 또한, 우수한 데이터 카탈로그는 사실상의 시스템 카탈로그가 되어 모든 데이터 저장소에서 작동하는 객체 스토리지, Hadoop, 데이터베이스, 데이터 웨어하우스, 쿼리 서비스 등 모든 지속성 계층에 대한 추상화를 제공해야 합니다.

결론

저희 기사를 읽어주셔서 감사합니다. 이 기사가 여러분이 더 잘 이해하는 데 도움이 되기를 바랍니다. 데이터 카탈로그란 무엇인가. 더 알고 싶다면 데이터 카탈로그 및 그 기능 및 이점, 방문하시기를 권장드립니다. Gudu SQLFlow 자세한 내용은. 다시 한번 감사합니다! (Ryan이 게시함 2022년 4월 20일)