Traçabilité des données Python (version Gudu SQLFlow Lite pour Python)
Le package Python d'analyse de la lignée des données (également connu sous le nom de Gudu SQLFlow Lite, version Python) est un ensemble d'outils utilisé pour analyser les requêtes SQL et les procédures stockées de diverses bases de données afin d'obtenir des informations complexes. lignée de données établir des relations et les visualiser.
Version Gudu SQLFlow Lite pour python Permet aux développeurs Python d'intégrer rapidement des fonctionnalités d'analyse et de visualisation de la lignée des données dans leurs applications Python. Les data scientists peuvent également l'utiliser au quotidien pour identifier rapidement la lignée des données issues de scripts SQL complexes, généralement utilisés dans les tâches ETL pour la transformation des données sur une plateforme de données volumineuse.
Gudu SQLFlow Lite, version Python, est gratuit pour un usage non commercial et prend en charge les requêtes SQL complexes jusqu'à 10 000 caractères, y compris les procédures stockées. Il est compatible avec les dialectes SQL de plus de 20 grands fournisseurs de bases de données, tels qu'Oracle, DB2, Snowflake, Redshift, PostgreSQL, etc.
La version Gudu SQLFlow Lite pour python comprend une bibliothèque Java pour analyser des instructions SQL complexes et des procédures stockées afin de récupérer les relations de traçabilité des données, un fichier Python qui utilise jpype pour appeler les API de la bibliothèque Java, et une bibliothèque JavaScript pour visualiser les relations de traçabilité des données.
La version Gudu SQLFlow Lite pour Python peut également extraire automatiquement les contraintes de table et de colonne, ainsi que les relations entre les tables et les champs, à partir de Scripts DDL exportés de la base de données et générer un diagramme ER.
Visualisation automatique de la lignée des données
python dlineage.py /t oracle /f test.sql /graphNous pouvons obtenir automatiquement les relations de traçabilité des données contenues dans l'instruction SQL Oracle suivante.
CREATE VIEW vsal AS SELECT a.deptno "Département", a.num_emp / b.total_count "Employés", a.sal_sum / b.total_sal "Salaire" FROM (SELECT deptno, Count() num_emp, SUM(sal) sal_sum FROM scott.emp WHERE city = 'NYC' GROUP BY deptno) a, (SELECT Count() total_count, SUM(sal) total_sal FROM scott.emp WHERE city = 'NYC') b ; INSÉRER TOUTES LES ENTITÉS LORSQUE ottl < 100000 THEN DANS small_orders VALUES(oid, ottl, sid, cid) LORSQUE ottl > 100000 ET ottl < 200000 THEN DANS medium_orders VALUES(oid, ottl, sid, cid) LORSQUE ottl > 200000 THEN DANS large_orders VALUES(oid, ottl, sid, cid) LORSQUE ottl > 290000 THEN DANS special_orders SÉLECTIONNER o.order_id oid, o.customer_id cid, o.order_total ottl, o.sales_rep_id sid, c.credit_limit cl, c.cust_email cem DE orders o, customers c OÙ o.customer_id = c.customer_id;Et visualisez-le comme :
Fonctionnalités du package Python de traçabilité des données :
- Générer des visualisations interactives de la lignée des données
- Créer une traçabilité des données au format JSON/CSV/GRAPHML
- Prise en charge de SQL provenant de plus de 20 principaux fournisseurs de bases de données
Comment fonctionne l'outil de traçabilité des données Python ?
Tous les composants mentionnés ci-dessus sont désormais regroupés dans un seul dépôt sur GitHub, que vous pouvez obtenir gratuitement en le clonant simplement.
git clone https://github.com/sqlparser/python_data_lineage.git– Aucune connexion à une base de données n'est nécessaire.
– Aucune connexion internet n'est nécessaire.
Vous n'avez besoin que d'un JDK et d'un interpréteur Python pour exécuter localement ce package Python de traçabilité des données.