Amazon Redshift 데이터 계보 | Gudu SQLFlow

Amazon 창고 환경에서 다음을 사용하세요. 아마존 레드시프트 스펙트럼 Amazon S3의 파일에서 직접 데이터를 쿼리하고, Redshift 데이터베이스에 데이터를 저장하고, Tableau, PowerBI, Looker, Qlik, Superset과 같은 Business Intelligence 도구를 사용하여 데이터에서 보고서를 생성합니다. 데이터는 비즈니스 소스 시스템에서 시작하여 Amazon S3에 도착한 다음 DBT와 같은 ETL 도구를 사용하여 나중에 사용할 수 있도록 Redshift Database에 전송하여 저장합니다.

Amazon Redshift 데이터 계보

Amazon 창고 시스템의 데이터 흐름을 개요로 파악하려면 다음이 필요합니다. 데이터 계보 도구 데이터가 특정 위치에 도달한 과정과 데이터가 비즈니스 시스템을 통과하면서 발생하는 중간 단계와 변환을 이해하는 데 도움이 됩니다.

얻는 한 가지 방법 데이터 라인지 Amazon 웨어하우스 환경에서 자동으로 데이터 로딩, 변환 및 분석 중에 사용된 모든 SQL 쿼리를 분석하는 것입니다. 좋은 소식은 모든 SQL 문이 다음에 저장된다는 것입니다. Redshift 사용자 활동 로그 그리고 구두 SQL플로우 로그 파일을 구문 분석하여 자동으로 데이터 계통을 파악할 수 있습니다.

Redshift 사용자 활동 로그

사용자 활동 로그는 주로 문제 해결 목적으로 유용하며 여기서는 데이터 계보 검색에 사용합니다. 이는 사용자와 시스템이 데이터베이스에서 수행하는 쿼리 유형에 대한 정보를 추적합니다.

데이터베이스에서 실행되기 전에 각 쿼리를 기록합니다.

확인해주세요 이 기사 로깅을 활성화하는 방법을 알아보세요.

Amazon Redshift 사용자 활동 감사 로그 샘플

'2018-05-21T06:00:09Z UTC [db=prod_sales user=duc pid=99753 userid=95 xid=6728324]' 로그: SumoProdbackUp.organization 테이블을 생성합니다(select * from SumoProd.simpleuser) '2018-05-21T06:00:09Z UTC [db=vendor user=ankit pid=36616 userid=53 xid=2956702]' 로그: SumoProd.employee에서 삭제 WHERE id = 38; '2018-05-21T06:20:09Z UTC [db=dev user=himanshu pid=64458 userid=35 xid=5143208]' 로그: testuser3 사용자를 삭제합니다.

자동 데이터 계통 분석

Gudu SQLFlow 데이터베이스, ETL, Business Intelligence, Cloud, Hadoop 환경에서 SQL 스크립트와 저장 프로시저를 구문 분석하여 SQL 데이터 계보 분석을 자동화하는 도구입니다. 또한 Redshift 사용자 활동 로그 파일을 분석하여 데이터 계보를 발견하고 모든 데이터 이동을 그래픽으로 표현할 수 있습니다.

Amazon Redshift 사용자 활동 로그 파일을 분석한 후 생성된 데이터 계보 그림의 일부는 다음과 같습니다.

결론 

저희 기사를 읽어주셔서 감사합니다. 이 기사가 여러분이 더 잘 이해하는 데 도움이 되기를 바랍니다. Amazon Redshift 데이터 계보. 더 알고 싶다면 Amazon Redshift 데이터 계보, 저희 웹사이트를 방문해 주시기를 바랍니다. Gudu SQLFlow 자세한 내용은 Gudu SQLFlow를 참조하세요. 데이터 계보 분석 도구인 Gudu SQLFlow는 SQL 스크립트 파일을 분석하고, 데이터 계보를 얻고, 시각적 표시를 수행할 수 있을 뿐만 아니라 사용자가 CSV 형식으로 데이터 계보를 제공하고 시각적 표시를 수행할 수 있도록 합니다. 다시 한번 감사드립니다! (Ryan이 2022년 4월 26일에 편집)