Teradata 데이터 계보: 마이그레이션 및 규정 준수를 위한 열 계보

테라데이터 데이터 계보 Teradata 환경에서 데이터가 이동하는 방식을 열 수준에서 보여주는 지도입니다. 즉, 어떤 소스 열이 각 대상 테이블, 뷰 및 보고서에 데이터를 제공하는지, 그리고 어떤 조인, 표현식 등을 통해 데이터가 전달되는지를 나타냅니다. 자격 그 과정에서 필터를 사용합니다. Gudu SQLFlow 이 소프트웨어는 전용 Teradata 방언 파서(제공되는 39가지 방언별 파서 중 하나)를 사용하여 Teradata SQL을 구문 분석함으로써 해당 맵을 자동으로 생성하고, JSON, CSV 및 PNG 내보내기 기능과 REST API를 통해 대화형 드릴다운 가능한 다이어그램으로 렌더링합니다.

Teradata 데이터 계보에 Teradata 파서가 필요한 이유는 무엇일까요?

Teradata SQL은 단순히 로고만 다른 ANSI SQL이 아닙니다. BTEQ 시대부터 운영되어 온 일반적인 시스템에는 수십 년 동안 특정 방언에 따른 구문이 남아 있습니다. 세트 그리고 멀티셋 테이블 정의, 자격 윈도우 함수를 기준으로 필터링하는 절, 명명된 기간 열, 그리고 기계가 다시 읽어야 할 필요성을 아무도 생각하지 못했던 시절에 작성된 스크립트 등이 있습니다. 일반적인 ANSI 문법은 바로 이러한 구문에서 오류를 발생시키며, 계보 도구가 구문 분석에 실패하는 모든 구문은 계보 그래프의 구멍이 됩니다.

SQLFlow는 정반대의 접근 방식을 취합니다. SQLFlow는 다음을 기반으로 구축되었습니다. 일반 SQL 파서, a commercial SQL compiler front-end developed since the mid-2000s and validated against roughly 13,600 per-dialect test fixtures. Its Teradata parser handles BTEQ-era SQL, 세트/멀티셋 테이블, 자격그리고 명명된 기간을 Teradata의 일급 구문으로 지정한 다음, CTE, 서브쿼리, 뷰 등을 통해 모든 열 참조를 해결합니다. 선택하다 * 열 단위로 소스-대상 관계를 추출하기 전에 확장합니다.

예시 작업: QUALIFY 중복 제거 추적

그만큼 QUALIFY ROW_NUMBER() 중복 제거 삽입은 Teradata 데이터 웨어하우스에서 가장 일반적인 패턴 중 하나이며, ANSI 형식만 사용하는 데이터 계보 도구를 무력화하는 확실한 방법입니다.

INSERT INTO dw.customer_dim (customer_id, full_name, risk_rating) SELECT src.customer_id, TRIM(src.first_nm) || ' ' || TRIM(src.last_nm) AS full_name, src.risk_rating FROM staging.customer_feed src QUALIFY ROW_NUMBER() OVER ( PARTITION BY src.customer_id ORDER BY src.load_ts DESC) = 1;

SQLFlow를 통해 실행하면 다이어그램에 두 가지 유형의 관계가 명확하게 표시됩니다.

• 직계 혈통: dw.customer_dim.full_name ~에서 파생됨 스테이징.고객피드.첫 번째_nm 그리고 마지막_nm ~을 통해 손질 그리고 연결; 고객 ID 그리고 위험 등급 변경 없이 통과합니다.
• 간접적 (영향) 계보: load_ts 목표 위치에 도달하지는 않지만, 중복 제거 후 어떤 행이 남을지 결정합니다. SQLFlow는 이를 기록합니다. 고객 ID 그 안에서 파티션 기준 역할 — 간접적인 종속성으로, 다이어그램에서 별도로 켜고 끌 수 있습니다.

그 간접적인 요소가 중요합니다. 누군가가 질감을 바꾸면 load_ts중복 제거 기능은 조용히 다른 행들을 유지하기 시작하며, 순수하게 직접적인 계보 그래프에서는 경고 메시지가 표시되지 않습니다. 대부분의 경쟁 도구는 간접 계보를 전혀 모델링하지 않지만, SQLFlow는 이를 별개의 관계 유형으로 취급합니다.

사용 사례 1: Teradata 기반 은행 규제 이력 추적

Teradata는 은행 부문에 탄탄한 기반을 구축해 왔으며, 은행은 가장 엄격한 데이터 계보 관리 의무를 부담합니다. BCBS 239는 금융기관이 위험 데이터 집계의 정확성과 무결성을 입증할 것을 요구합니다. 실제로 이는 감사관에게 어떤 소스 필드가 어떤 변환 과정을 거쳐 각 규제 수치로 이어지는지 정확하게 보여주는 것을 의미합니다. 컬럼 수준의 데이터 계보는 이러한 증거이며, 테이블 수준의 데이터 계보는 감사관들이 점점 더 신뢰하지 않는 근사치에 불과합니다.

수동으로 관리하는 계보 스프레드시트는 작성된 다음 날에도 이러한 테스트를 통과하지 못합니다. SQLFlow는 SQL 자체에서 계보를 도출합니다. Teradata DDL, 뷰 정의 및 로드 스크립트를 지정하면 모든 규제 대상 출력에 대한 열 수준의 출처 정보를 생성합니다. 이 정보는 증분 스캔을 통해 변경 사항이 발생할 때마다 갱신되며, 영구적인 계보 저장소가 함께 제공됩니다.

두 가지 특징 덕분에 은행의 통제 환경 내에서 이 방식이 효과적으로 작동할 수 있습니다. 첫째, SQLFlow는 SQL 코드에 대한 정적 분석만 수행하며 행 데이터를 읽지 않으므로 고객 기록은 전혀 건드리지 않습니다. 둘째, 온프레미스 에디션 Docker 또는 Kubernetes 환경에서 네트워크 내부에서 완벽하게 실행되며, 에어갭 환경까지 포함하므로 SQL 텍스트조차도 인프라 외부로 유출되지 않습니다. 엔터프라이즈 배포 환경에서는 100개 이상의 데이터베이스와 백만 개 이상의 열을 포함하는 대규모 환경을 일괄 스캔할 수 있으며, DataHub, Microsoft Purview, OpenMetadata용 내보내기 어댑터를 통해 거버넌스 팀에서 이미 사용 중인 카탈로그에 데이터 계보를 자동으로 추가합니다.

사용 사례 2: 진정한 종속성 맵을 사용하여 Teradata에서 마이그레이션

오늘날 대부분의 Teradata 계보 프로젝트는 마이그레이션으로 시작됩니다. 기존 시스템을 Snowflake, BigQuery 또는 Databricks로 이전해야 하는데, 이때 무엇이 무엇에 의존하는지 정확히 파악해야 합니다. 테이블 이름과 기존 경험에 의존하여 추측하는 방식은 마이그레이션 일정을 지연시키는 주요 원인입니다. 종속성 맵은 SQL 쿼리에서 도출되어야 합니다.

• 범위를 솔직하게 평가하세요. 컬럼 수준 계보를 통해 하위 보고서에 사용되는 컬럼과 더 이상 사용되지 않는 컬럼(마이그레이션 대신 폐기할 수 있는 로직)을 확인할 수 있습니다.
• 순차적 이주 파동. 계보 그래프는 주제 영역 간의 실제 종속성 순서를 보여주므로, 이를 소비하는 데이터 마트보다 상위 피드를 먼저 이동해야 합니다.
• 방언 함정에 빠지지 마세요. 다음과 같은 구조물 자격, 세트 테이블 중복 제거 의미론과 명명된 기간은 모두 신중한 변환이 필요합니다. 계보를 통해 각 구성 요소가 데이터 흐름에서 어디에 위치하는지, 그리고 변환이 잘못될 경우 하위 단계에서 어떤 일이 발생하는지 알 수 있습니다.
• 전환 후 확인하십시오. SQLFlow는 두 가지 방언 모두를 구문 분석하므로 생성할 수 있습니다. 눈송이 계보 수정된 SQL을 Teradata 기준선과 비교하여 대상과 소스 열이 동일한지 확인합니다. 그렇지 않으면 변환 오류가 있는 것입니다.

다른 기존 MPP 폐지에도 동일한 전후 워크플로가 적용됩니다. 자세한 내용은 다음을 참조하십시오. 네테자 데이터 계보 폐기 버전에 대한 페이지와 Oracle 데이터 계보 Teradata와 Oracle 소스를 혼합하여 사용하는 경우 이 페이지를 참조하십시오.

SQLFlow가 Teradata 환경을 수집하는 방법

SQLFlow를 사용하면 작업 규모에 관계없이 Teradata SQL에 데이터를 공급할 수 있습니다.

• 쿼리를 붙여넣으세요 브라우저에서 한 문장의 빠른 추적을 확인해 보세요.
• 파일 업로드 — 프로젝트 규모 분석을 위한 DDL 내보내기, 뷰 정의, ETL 및 로드 스크립트.
• JDBC를 통해 연결 Teradata에서 스키마 메타데이터와 객체 정의를 직접 가져옵니다.
• 자동화 배포 파이프라인의 일부로 리멘터를 최신 상태로 유지하기 위해 헤드리스 CLI 또는 REST API를 사용하고, 사용자 정의 항목의 경우 결과를 JSON 또는 CSV 형식으로 내보낼 수 있습니다.

엔진이 39개 방언 전체에서 수행하는 작업(직접 계보와 간접 계보, DDL에서 ER 다이어그램 추론, dbt 지원, AI 계보 쿼리 등)에 대한 자세한 내용은 다음을 참조하십시오. SQL 데이터 계보 도구 핵심 페이지.

오픈소스 및 카탈로그 도구는 어떻습니까?

오픈소스 파서(예: ...) sqllineage 그리고 sqlglot 개별적인, 주로 ANSI 형식의 명령문에서 계보를 추출하는 데 실제로 유용하며, 카탈로그 우선 플랫폼은 조직 전체의 메타데이터와 소유권을 체계적으로 관리하는 데 탁월합니다. 특히 테라데이터의 경우, 방언 지원의 깊이가 부족합니다. 수십 년 전의 BTEQ 시대 스크립트, 자격-복잡한 중복 제거 로직과 벤더별 DDL은 일반 문법이 파싱을 멈추는 지점입니다. Teradata 환경에 적합한 도구를 평가하는 경우 테스트는 간단합니다. 가장 복잡한 프로덕션 로드 스크립트를 각 후보 도구에 대해 실행하고 열 수준의 데이터 계보가 완벽하게 기록된 문장의 수를 세어보세요.

배포 옵션 및 가격

판	~에 가장 적합함	가격
SQLFlow 클라우드	오늘은 Teradata Lineage를 사용해 보고 있습니다. 개별 분석 작업입니다.	무료 요금제; 프리미엄 요금제 $49.99/월
온프레미스 SQLFlow	은행 및 규제 대상 자산 - SQL은 네트워크를 벗어나지 않으며, 에어갭 환경에서도 지원됩니다.	데이터베이스 유형별로 월 $500 또는 일회성 $4,800이며, 두 대의 서버에 설치 가능합니다.
REST API / CLI / 자바 라이브러리	파이프라인 및 플랫폼에 계보 정보 내장	가격 페이지를 참조하세요.

온프레미스에서 추가 데이터베이스 유형은 월 $100 또는 일회성 $1,000의 추가 요금이 부과됩니다. 이는 마이그레이션 도중 Teradata와 Snowflake를 나란히 분석해야 할 때 중요합니다. 자세한 내용은 다음을 참조하십시오. 가격 페이지.

자주 묻는 질문

SQLFlow는 QUALIFY 및 SET/MULTISET 테이블과 같은 Teradata 고유 구문을 이해합니까?

예. SQLFlow는 일반적인 ANSI 문법이 아닌, 테라데이터 전용 방언 파서를 사용합니다. BTEQ 시대의 SQL이죠. 세트/멀티셋 테이블 정의, 자격 절과 명명된 기간은 모두 Teradata SQL로 구문 분석할 수 있으므로 계보 추출은 일반 구문 분석기가 거부하는 문장까지 포함합니다.

SQLFlow는 Teradata에서 Snowflake 또는 BigQuery로의 마이그레이션에 도움이 될 수 있습니까?

네. 먼저 Teradata 환경을 분석하여 정확한 열 수준 종속성 맵을 파악해야 합니다. 즉, 어떤 데이터를 마이그레이션하고, 어떤 데이터를 폐기하며, 어떤 순서로 진행해야 하는지 결정해야 합니다. Snowflake와 BigQuery도 SQLFlow의 39개 방언트에 포함되므로, 전환 후 재작성된 SQL을 분석하고 Teradata 기준선과 비교하여 변환 과정을 검증할 수 있습니다.

SQLFlow는 Teradata 테이블에서 데이터를 읽을 수 있습니까?

아니요. SQLFlow는 SQL 코드에 대한 정적 분석을 수행하고 선택적으로 테이블 및 열 정의와 같은 스키마 메타데이터를 읽습니다. 행 데이터는 절대 쿼리하지 않습니다. 온프레미스 환경에서는 SQL 텍스트조차도 네트워크 내에 유지됩니다.

규정 준수를 위해 Lineage를 네트워크 내에서 완전히 실행할 수 있습니까?

예. SQLFlow On-Premise는 에어갭 환경을 포함하여 고객 인프라 내의 Docker 또는 Kubernetes에 배포되며, 월 $500 또는 데이터베이스 유형별 일회성 $4,800의 비용으로 이용할 수 있습니다. 100개 이상의 데이터베이스와 백만 개 이상의 열을 보유한 대규모 환경까지 확장 가능하며, 증분 스캔 기능과 DataHub, Microsoft Purview, OpenMetadata용 내보내기 어댑터를 제공합니다.

SQLFlow는 어떤 Teradata 입력값을 허용합니까?

붙여넣은 SQL, 업로드된 파일(DDL, 뷰, 로드 스크립트) 및 JDBC를 통해 가져온 실시간 스키마 메타데이터를 분석합니다. 결과는 인터랙티브 다이어그램, JSON, CSV, PNG 형식 또는 REST API를 통해 제공됩니다.

BCBS 239의 경우 컬럼 수준의 계보 정보만으로 충분할까요?

컬럼 수준 데이터 계보는 기술적 증거 계층입니다. 각 위험 수치에 어떤 소스 필드가 어떤 변환을 거쳐 반영되었는지, 필터 및 조인 조건으로 인한 간접적인 종속성까지 포함하여 문서화합니다. 규정 준수 프로그램에서 전체 범위를 정의하며, SQLFlow는 데이터 계보 계층을 정확하게 유지하고 수동으로 관리하는 대신 자동으로 새로 고침합니다.