2022년 최고의 오픈 소스 데이터 카탈로그 도구 4가지
근본적으로 데이터 기반 조직은 다음이 필요합니다. 데이터 카탈로그 도구. 데이터 카탈로그 조직의 모든 데이터와 해당 데이터에 대한 컨텍스트에 접근할 수 있는 단일 환경을 구축하여 조직이 인사이트 도출 시간을 단축하고 고품질의 데이터 기반 비즈니스 의사결정을 신속하게 내릴 수 있도록 지원합니다. 만약 당신이 다음을 찾고 있다면 최고의 오픈 소스 데이터 카탈로그 도구그렇다면 잘 찾아오셨습니다. 이 글에서는 다음과 같은 목록을 정리했습니다. 2022년 최고의 오픈 소스 데이터 카탈로그 도구 당신의 삶을 더 편하게 해드리기 위해서입니다.
최고의 오픈 소스 데이터 카탈로그 도구 – 1. Apache Atlas
오픈 소스로서 메타데이터 관리 도구 및 거버넌스 플랫폼인 Apache Atlas는 Hortonworks가 데이터 거버넌스 이니셔티브(Data Governance Initiative)의 일환으로 육성하고 있습니다.
아파치 아틀라스는 2015년 아파치 재단 인큐베이터에 합류하여 2017년 최고 프로그램으로 성장했습니다. 아파치 아틀라스는 메타데이터를 활용하여 데이터 카탈로그화, 정렬, 검색, 관리 및 협업과 관련된 문제를 해결하려는 초기 비전 덕분에 현대 데이터 플랫폼의 핵심 구성 요소 중 하나로 널리 인정받고 있습니다.
Apache Atlas의 주요 기능:
- 메타데이터 분류: Apache Atlas를 사용하면 개인 식별 정보(PII), 민감 데이터 및 기타 민감한 데이터를 자동으로 분류할 수 있습니다. 데이터 자산은 여러 분류와 연결될 수 있습니다. 이러한 정책은 계보를 통해 전파되어 파생 데이터가 동일한 분류 및 보안 제어를 상속받도록 합니다.
- 메타데이터 유형 및 인스턴스: Apache 문서에 따르면 "타입"은 Atlas에서 특정 유형의 메타데이터 객체가 저장되고 액세스되는 방식을 정의하는 것으로, 이를 통해 데이터 관리자 기술적 및 비즈니스 메타데이터를 정의합니다.
- 검색 및 계보: Apache Atlas의 직관적인 사용자 인터페이스를 통해 데이터 유형을 유형, 범주, 속성 값 또는 자유 텍스트로 미리 정의된 방식으로 또는 임시로 탐색할 수 있습니다. 또한 데이터 소스 또는 명시적 데이터가 어떻게 구성되었고 시간이 지남에 따라 어떻게 변화했는지에 대한 기록을 보존합니다.
- 보안 및 데이터 마스킹: Apache Atlas는 주로 데이터 거버넌스 도구로서, 메타데이터 접근에 대한 세밀한 보안을 제공하여 엔티티 인스턴스에 대한 접근 제어를 설정하고 분류를 추가/업데이트/삭제하는 등의 작업을 수행할 수 있도록 합니다.
최고의 오픈 소스 데이터 카탈로그 도구 – 2. Amundsen Lyft
Lyft의 엔지니어링 팀이 개발한 오픈 소스 데이터 카탈로그 플랫폼인 Amundsen은 내부 사용 목적으로 출시된 지 1년 후인 2019년 10월에 오픈 소스로 공개되었습니다.
Amundsen은 응집력 있는 기여자 및 사용자 커뮤니티를 보유하고 있으며, 데이터 민주화, 거버넌스 및 메타데이터 서비스 이니셔티브를 발전시키기 위해 이 오픈 소스 데이터 카탈로그 도구를 기반으로 구축된 다른 조직에서 널리 채택되고 있습니다.
아문센의 주요 능력:
- 신뢰할 수 있는 데이터를 쉽게 찾을 수 있습니다. Amundsen은 간단한 텍스트 검색을 통해 다양한 출처의 데이터를 찾는 데 도움을 주며, 검색 결과에는 온라인 메타데이터까지 표시됩니다.
- 자동화되고 선별된 메타데이터: 데이터 자산을 클릭하면 사용자는 해당 자산에 대한 자세한 설명과 동작 방식을 볼 수 있는데, 설명은 수동으로 작성된 것이고 동작 방식은 자동으로 생성된 것입니다.
- 동료들과 맥락을 공유할 수 있는 능력: 데이터 자산에 대한 설명을 업데이트할 수 있으므로 동료들이 특정 데이터 자산에 대한 추가 맥락 정보를 찾기 위해 왔다 갔다 할 필요성이 줄어듭니다.
- 데이터 사용을 통해 배우고 이해하세요: 사용자는 자주 사용되는 데이터 자산, 소유된 데이터, 북마크된 데이터를 확인할 수 있으며, 특정 테이블을 기반으로 구축된 대시보드를 통해 해당 테이블과 관련된 가장 일반적인 쿼리까지 확인할 수 있습니다.
최고의 오픈 소스 데이터 카탈로그 도구 – 3. LinkedIn DataHub
LinkedIn 엔지니어링 팀이 개발한 오픈 소스 메타데이터 관리 플랫폼인 DataHub는 데이터 카탈로그화, 검색, 관찰 가능성 및 계보 관리와 관련된 문제를 해결하기 위한 LinkedIn의 두 번째 시도입니다.
DataHub를 출시하기 전, LinkedIn은 2016년에 WhereHows라는 오픈 소스 데이터 디렉토리 도구를 개발했습니다. DataHub는 2019년에 발표되었고 2020년에 오픈 소스로 공개되었습니다. 따라서 LinkedIn은 내부용 버전과 다른 사용자가 개발할 수 있도록 오픈 소스 버전, 이렇게 두 가지 버전의 DataHub를 운영하고 있습니다.
DataHub의 주요 기능:
- 자동화된 메타데이터 수집: LinkedIn DataHub에서는 API 또는 Kafka 스트림 푸시를 통해 다양한 소스에서 메타데이터를 수집합니다.
- 간편한 데이터 검색: 최종 사용자를 위한 최상위 수준에서 DataHub 프런트엔드는 검색, 탐색 및 메타데이터 보기/편집의 세 가지 유형의 상호 작용을 지원합니다.
- 맥락을 통해 데이터를 이해하세요: DataHub의 각 데이터 엔티티에는 해당 데이터 엔티티와 관련된 모든 메타데이터를 표시하는 프로필 페이지가 함께 제공되어 사용자가 해당 데이터 컨텍스트를 개발하는 데 필요한 정보를 얻을 수 있습니다.
최고의 오픈 소스 데이터 카탈로그 도구 – 4. Netflix Metacat
넷플릭스가 공동 개발하고 2018년 6월 오픈소스로 공개한 메타데이터 관리 서비스인 메타캣(Metacat)은 데이터의 분류, 검색, 처리 및 관리를 간소화하는 것을 목표로 합니다.
Metacat은 주로 Netflix의 모든 데이터 자산에 접근할 수 있는 단일 소스 역할을 합니다. Metacat은 오픈 소스 데이터 카탈로그이지만, 다른 사람들이 효과적으로 스키마를 사용하고 확장할 수 있도록 하는 데 필요한 공개 정보가 부족한 것으로 보입니다.
Metacat의 주요 기능:
- 데이터 추상화 및 상호 운용성: Metacat은 공통 추상화 계층을 형성하며, Netflix의 여러 쿼리 엔진에서 데이터 세트에 액세스할 수 있습니다.
- 비즈니스 및 사용자 정의 메타데이터 저장소: Metacat은 데이터 자산에 대한 비즈니스 및 사용자 정의 메타데이터를 문서화하고, 데이터 사용자가 데이터 자산에 대한 더 많은 정보와 이를 처리하는 방법에 대한 표준 규칙을 제공받을 수 있도록 지원합니다.
- 데이터 탐색: Metacat은 ElasticSearch를 통해 데이터에 대한 스키마 메타데이터와 비즈니스/사용자 정의 메타데이터를 제공하며, 이를 통해 텍스트 검색을 통한 쿼리가 가능합니다.
- 데이터 변경 감사 및 알림: 메타데이터 변경 또는 업데이트를 캡처하여 사용자의 주의가 필요한 이벤트에 대한 푸시 알림을 활성화합니다.
오픈 소스 데이터 카탈로그 도구의 장점은 무엇인가요?
고품질 데이터 카탈로그는 모든 데이터를 적절하게 분류할 수 있도록 할 뿐만 아니라, 서로 다른 데이터 유형 간의 데이터 흐름을 정확하게 추적하고 개선할 수 있는 데이터 흐름의 결함까지 보여줍니다.
또 다른 장점은 민감한 데이터도 관리할 수 있다는 점입니다. 이 도구는 민감한 데이터가 가장 많이 표시되는 위치를 파악하여 데이터 유출 위험을 줄여줍니다. 일부 고급 데이터 카탈로그 도구는 머신 러닝 기능을 제공하여 사용자의 데이터 관리 방식을 이해하고 대량의 데이터를 처리하는 데 도움을 주기도 합니다. 그렇다면 왜 오픈 소스 데이터 디렉토리 도구를 사용해야 할까요?
오픈 소스 데이터 카탈로그 도구는 여전히 고품질 소프트웨어이며, 저렴하거나 심지어 무료인 경우도 있지만, 확장성이 뛰어나고 다양한 사용자 지정 옵션을 제공하며, 아무런 제약 없이 작동할 수 있어 대용량 데이터에 이상적입니다.
그뿐 아니라, 기업이나 조직은 업데이트를 위해 한 명의 개발자에게만 의존할 필요 없이, 오픈 소스 소프트웨어를 추가로 개발할 개발자를 고용하거나 필요에 맞게 쉽게 맞춤 설정할 수 있습니다.
결론
저희 기사를 읽어주셔서 감사합니다. 이 기사가 여러분이 원하는 것을 찾는 데 도움이 되기를 바랍니다. 최고의 오픈 소스 데이터 카탈로그 도구 2022년. 오픈 소스 데이터 카탈로그 도구에 대한 더 자세한 정보를 원하시면 다음 웹사이트를 방문하시기를 권장합니다. Gudu SQLFlow 자세한 내용은.
그 중 하나로서 최고의 데이터 계보 도구 오늘날 시장에 출시된 Gudu SQLFlow는 SQL 스크립트 파일을 분석하고 얻을 수 있을 뿐만 아니라 데이터 계보, 시각적 표시를 수행할 뿐만 아니라, 사용자가 CSV 형식으로 데이터 계보를 제공하고 시각적 표시를 수행할 수 있도록 합니다. (2022년 7월 16일 Ryan 게시)