{"id":3554,"date":"2022-04-26T06:51:53","date_gmt":"2022-04-26T14:51:53","guid":{"rendered":"https:\/\/www.gudusoft.com\/?p=3554"},"modified":"2022-05-19T01:36:03","modified_gmt":"2022-05-19T09:36:03","slug":"amazon-redshift-data-lineage-gudu-sqlflow","status":"publish","type":"post","link":"https:\/\/www.gudusoft.com\/es\/amazon-redshift-linaje-de-datos-gudu-sqlflow\/","title":{"rendered":"Linaje de datos de Amazon Redshift | Gudu SQLFlow"},"content":{"rendered":"

Linaje de datos de Amazon Redshift | Gudu SQLFlow<\/strong><\/h2>\n

En su entorno de almac\u00e9n de Amazon, utilice Espectro de Amazon Redshift<\/a><\/strong> Para consultar datos directamente desde archivos en Amazon S3, guardarlos en bases de datos de Redshift y usar herramientas de inteligencia empresarial como Tableau, Power BI, Looker, Qlik y Superset para generar informes a partir de ellos. Los datos se originan en el sistema de origen de su empresa y llegan a Amazon S3. Posteriormente, se utiliza una herramienta ETL como DBT para transferirlos y almacenarlos en la base de datos de Redshift para su uso posterior.<\/p>\n

\"Linaje

Linaje de datos de Amazon Redshift<\/p><\/div>\n

Para tener una visi\u00f3n general del flujo de datos en su sistema de almac\u00e9n de Amazon, necesita una herramienta de linaje de datos<\/strong> para ayudarle a comprender c\u00f3mo llegaron los datos a una ubicaci\u00f3n particular, as\u00ed como los pasos intermedios y las transformaciones que ocurren a medida que los datos se mueven a trav\u00e9s del sistema empresarial.<\/p>\n

Una forma de llegar el linaje de datos<\/a><\/strong> La forma autom\u00e1tica de procesar datos desde el entorno de almac\u00e9n de Amazon es analizar todas las consultas SQL utilizadas durante la carga, la transformaci\u00f3n y el an\u00e1lisis de datos. La buena noticia es que todas esas sentencias SQL se almacenan en... el registro de actividad del usuario de Redshift<\/a><\/strong> y Gudu<\/strong> Flujo de SQL<\/strong> Puede analizar esos archivos de registro para descubrir el linaje de datos autom\u00e1ticamente.<\/p>\n

Registro de actividad del usuario de Redshift<\/h3>\n

El registro de actividad del usuario es \u00fatil principalmente para la resoluci\u00f3n de problemas y, en este caso, lo utilizamos para el descubrimiento del linaje de datos. Registra informaci\u00f3n sobre los tipos de consultas que tanto los usuarios como el sistema realizan en la base de datos.<\/p>\n

Registra cada consulta antes de ejecutarse en la base de datos.<\/strong><\/p>\n

\n\n\n\n\n\n\n\n\n\n\n\n
Nombre de la columna<\/th>\nDescripci\u00f3n<\/th>\n<\/tr>\n<\/thead>\n
tiempo r\u00e9cord<\/td>\nHora en que ocurri\u00f3 el evento.<\/td>\n<\/tr>\n
base de datos<\/td>\nNombre de la base de datos.<\/td>\n<\/tr>\n
usuario<\/td>\nNombre de usuario.<\/td>\n<\/tr>\n
pid<\/td>\nID de proceso asociado a la declaraci\u00f3n.<\/td>\n<\/tr>\n
ID de usuario<\/td>\nID de usuario.<\/td>\n<\/tr>\n
xid<\/td>\nID de transacci\u00f3n.<\/td>\n<\/tr>\n
consulta<\/td>\nUn prefijo de LOG: seguido del texto de la consulta, incluidas las nuevas l\u00edneas.<\/td>\n<\/tr>\n<\/tbody>\n<\/table>
Redshift user activity log<\/figcaption><\/figure>\n

por favor, compruebe Este art\u00edculo<\/a> para ver c\u00f3mo habilitar el registro.<\/p>\n<\/p>\n

Ejemplo de registro de auditor\u00eda de actividad del usuario de Amazon Redshift<\/h5>\n<\/p>\n
'2018-05-21T06:00:09Z UTC [ db=prod_sales usuario=duc pid=99753 id=95 xid=6728324 ]' REGISTRO: crear tabla SumoProdbackUp.organization como (seleccionar * de SumoProd.simpleuser) '2018-05-21T06:00:09Z UTC [ db=vendor usuario=ankit pid=36616 id=53 xid=2956702 ]' REGISTRO: ELIMINAR DE SumoProd.employee DONDE id = 38; '2018-05-21T06:20:09Z UTC [ db=dev usuario=himanshu pid=64458 id=35 xid=5143208 ]' REGISTRO: eliminar usuario testuser3<\/code><\/pre>\n<\/p>\n
 <\/p>\n<\/p>\n
An\u00e1lisis autom\u00e1tico del linaje de datos<\/h3>\n<\/p>\n
Flujo de SQL de Gudu<\/a><\/strong> Es una herramienta que automatiza el an\u00e1lisis de linaje de datos SQL en bases de datos, ETL, inteligencia empresarial, nube y entornos Hadoop mediante el an\u00e1lisis de scripts SQL y procedimientos almacenados. Tambi\u00e9n puede analizar los archivos de registro de actividad de usuario de Redshift para descubrir el linaje de datos y representar gr\u00e1ficamente todo el movimiento de datos.<\/p>\n<\/p>\n
A continuaci\u00f3n se muestra una parte de una imagen de linaje de datos que se gener\u00f3 despu\u00e9s de analizar los archivos de registro de actividad del usuario de Amazon Redshift:<\/p>\n<\/p>\n
<\/figure>\n<\/p>\n
\"Linaje<\/a>
Linaje de datos de Amazon Redshift<\/figcaption><\/figure>\n<\/p>\n
 <\/p>\n<\/p>\n
Conclusi\u00f3n<\/strong>\u00a0<\/h3>\n
Gracias por leer nuestro art\u00edculo y esperamos que pueda ayudarle a tener una mejor comprensi\u00f3n de Linaje de datos de Amazon Redshift<\/strong>Si quieres saber m\u00e1s sobre Linaje de datos de Amazon Redshift<\/strong>Nos gustar\u00eda recomendarle que visite nuestro sitio web. Flujo de SQL de Gudu<\/strong><\/a> Para m\u00e1s informaci\u00f3n. Gudu SQLFlow, como herramienta de an\u00e1lisis de linaje de datos, no solo analiza archivos de script SQL, obtiene el linaje de datos y lo muestra visualmente, sino que tambi\u00e9n permite a los usuarios proporcionar el linaje de datos en formato CSV y mostrarlo visualmente. \u00a1Gracias de nuevo! (Editado por Ryan el 26 de abril de 2022)<\/strong><\/p>\n<\/div><\/div><\/div>