SQLFlow 인제스터 (이전 Grabit)은 테이블, 뷰, 저장 프로시저, 함수, 트리거 및 패키지의 DDL과 같은 데이터 자산의 SQL을 수집하여 SQLFlow에 제공합니다. 컬럼 수준 데이터 계보 분석 도구입니다. JDBC를 통해 실시간 데이터베이스, GitHub 및 Bitbucket과 같은 리비전 시스템, 그리고 로컬 파일 시스템에서 데이터를 읽어옵니다. 추출 기능도 있습니다. 메타데이터만 그리고 테이블의 행을 전혀 읽지 않습니다.
3분 안에 실행하세요: 인제스터를 데이터베이스에 연결하면 메타데이터 번들을 생성하고, SQLFlow는 이를 대화형 열 수준 계보 다이어그램으로 변환합니다. 모든 작업은 명령줄에서 실행되므로 cron 작업으로 간편하게 예약할 수 있습니다.
세 가지 유형의 소스에서 SQL을 수집합니다.
데이터베이스에 연결
DDL 추출 — 테이블 생성, 뷰 생성Oracle, SQL Server, Snowflake, PostgreSQL 및 9개 이상의 다른 SQL 방언에서 저장 프로시저, 함수, 트리거 및 제약 조건을 JDBC를 통해 가져와 SQLFlow로 전송하여 분석합니다.
복습 시스템에 연결하세요
GitHub, Bitbucket 및 기타 버전 관리 시스템에서 SQL 파일을 직접 가져와 SQLFlow로 전송하여 팀에서 이미 버전 관리 중인 코드에서 데이터 계보를 구축하세요.
파일 시스템을 검색하세요
로컬 디렉터리 트리에서 SQL 파일을 찾아 SQLFlow로 푸시하여 데이터 계보를 시각화할 수 있습니다. 데이터베이스나 저장소에 저장되지 않은 스크립트나 내보내기 파일에 유용합니다.
내보내기 형식은 단일 JSON과 분할된 JSON 두 가지입니다.
데이터 수집기가 데이터베이스를 읽으면 정규화된 메타데이터 번들을 작성합니다. 이 번들에는 카탈로그 구조와 모든 뷰, 프로시저, 함수, 트리거 및 외래 키의 DDL 텍스트가 포함됩니다. 하나의 모델로 지원되는 모든 방언을 포괄하며, 각 공급업체는 자사에서 지원하지 않는 객체 유형을 생략합니다. 이 번들은 두 가지 형태로 제공됩니다.
| 단일 JSON | 분할됨(기본값) | |
|---|---|---|
| 디스크에 | 하나 metadata.json 파일 | 디렉토리: manifest.json + 목록/ + 원천/ + 색인/ |
| DDL이 사는 곳 | 인라인, 안에 서버[].쿼리[] | ~ 안에 source/*.jsonl바이트 오프셋으로 위치를 지정합니다. 인덱스/*.idx |
| ~에 가장 적합함 | 소규모 및 중규모 카탈로그 | 대규모 자산 관리 - 카탈로그는 상주하며, 수 GB 용량의 DDL 스트림 및 검색 기능을 제공합니다. |
| 추가 기능 | 가장 간편하게 섭취 가능 | 샤드별 SHA-256, 객체별 콘텐츠 해싱, 증분 내보내기, 블록 압축 |
단일 JSON 전체 자산을 하나의 파일에 담고 모든 객체의 DDL을 인라인으로 포함시켜 파싱하기 가장 간단하게 만듭니다. 조각난 대규모 환경에서는 이 방식이 기본값입니다. 제한된 메모리를 사용하여 내보내기를 스트리밍하고, 구조적 카탈로그를 작고 상주적으로 유지하며, 인덱스를 통해 DDL을 무작위로 검색할 수 있도록 하고, 매니페스트를 마지막에 기록하여 소비자가 불완전하게 작성된 내보내기를 보지 않도록 합니다. 필드별 전체 참조는 다음과 같습니다. 단일 JSON 내보내기 그리고 분할된 내보내기.
SQL Server 데이터베이스에서 데이터 계보를 3분 만에 확인하세요
명령줄에서 예약된 시간에 실행하세요.
이 인제스터는 명령줄에서 실행되는 독립형 Java 도구이므로, 자동화되고 반복 가능한 추출을 위해 cron 작업으로 깔끔하게 예약할 수 있습니다. 암호는 환경 변수 또는 파일에서 제공할 수 있으므로 프로세스 인수에 나타나지 않으며, 세부적인 포함/제외 필터를 통해 추출할 데이터베이스, 스키마 및 객체를 정확하게 제어할 수 있습니다. 자세한 내용은 다음을 참조하십시오. SQLFlow Ingester 문서 에게 시작하다.
데이터베이스 자산의 계보를 확인하세요
SQLFlow Ingester를 다운로드하고 데이터베이스를 지정한 다음 메타데이터를 열 수준 데이터 계보로 변환하세요.