{"id":3493,"date":"2022-04-25T07:19:32","date_gmt":"2022-04-25T15:19:32","guid":{"rendered":"https:\/\/www.gudusoft.com\/?p=3493"},"modified":"2022-05-19T01:40:00","modified_gmt":"2022-05-19T09:40:00","slug":"data-lineage-create-external-table","status":"publish","type":"post","link":"https:\/\/www.gudusoft.com\/es\/linaje-de-datos-crear-tabla-externa\/","title":{"rendered":"Linaje de datos: crear una tabla externa | Gudu SQLFlow"},"content":{"rendered":"

Linaje de datos: crear una tabla externa | Gudu SQLFlow<\/strong><\/h2>\n

En el almac\u00e9n de datos, los datos originales siempre provienen de almacenamientos masivos como Amazon S3, Google Cloud Storage y Microsoft Azure, y se cargan en sistemas como BigQuery, Snowflake, Redshift y Microsoft Azure. Uno de los m\u00e9todos para cargar o usar estos datos es la instrucci\u00f3n SQL para crear una tabla externa. La conexi\u00f3n de datos del archivo externo a la tabla externa se puede capturar f\u00e1cilmente mediante... Flujo de SQL de Gudu<\/strong> Analizando la consulta SQL de creaci\u00f3n de tabla externa. Con estos datos disponibles, Flujo de SQL de Gudu<\/strong> Simplifica enormemente la capacidad de rastrear errores hasta su causa ra\u00edz en un proceso de an\u00e1lisis de datos.<\/p>\n

\"Linaje

Linaje de datos Crear tabla externa<\/p><\/div>\n

En el art\u00edculo, presentaremos la declaraci\u00f3n SQL de creaci\u00f3n de tabla externa utilizada en BigQuery, Snowflake, Redshift y Microsoft Azure, y veremos el linaje de datos generado por la Flujo de SQL de Gudu<\/strong> despu\u00e9s de analizar el script SQL.<\/p>\n

BigQuery crea una tabla externa<\/h3>\n

Las tablas externas permiten a BigQuery consultar datos almacenados fuera del almacenamiento de BigQuery. Para obtener m\u00e1s informaci\u00f3n sobre las tablas externas, consulte Introducci\u00f3n a las fuentes de datos externas<\/a><\/strong>.<\/p>\n

Flujo de SQL de Gudu<\/strong> Puede analizar la declaraci\u00f3n de creaci\u00f3n de tabla externa de BigQuery y crearla. linaje de datos<\/a><\/strong> despu\u00e9s de analizar esta declaraci\u00f3n SQL.<\/p>\n

A continuaci\u00f3n se muestra una consulta SQL de creaci\u00f3n de tabla externa de BigQuery:<\/p>\n

CREAR O REEMPLAZAR TABLA EXTERNA dataset.CsvTable ( x INT64, y STRING ) OPCIONES ( formato = 'CSV', uris = ['gs:\/\/bucket\/path1.csv'], delimitador_de_campo = '|', max_bad_records = 5 );<\/code><\/pre>\n
El linaje de datos generado para el SQL anterior aqu\u00ed, como puede ver, el archivo gs:\/\/bucket\/path1.csv almacenado en Google Storage se trata como la fuente de la tabla externa dataset.CsvTable.<\/p>\n
<\/figure>\n
\n
\"Linaje<\/a>
Linaje de datos Crear tabla externa<\/figcaption><\/figure>\n<\/div>\n
Snowflake crea una tabla externa<\/h3>\n
Snowflake crea una tabla externa para leer datos de un conjunto de uno o m\u00e1s archivos en una etapa externa especificada y genera los datos en una \u00fanica columna VARIANT. Crear declaraci\u00f3n de tabla externa<\/strong><\/a> crea una nueva tabla externa en el esquema actual\/especificado o reemplaza una tabla externa existente.<\/p>\n
Antes de crear una tabla externa, necesitamos: crear un escenario externo<\/strong><\/a> para la ubicaci\u00f3n de almacenamiento donde se almacenan los archivos de datos.<\/p>\n
crear etapa s1 url='s3:\/\/mybucket\/files\/logs\/' ... ;<\/code><\/pre>\n
Cree la tabla externa particionada:<\/p>\n
crear tabla externa et1( fecha_parte fecha como hasta_fecha(parte_dividida(metadata$filename, '\/', 3) || '\/' || parte_dividida(metadata$filename, '\/', 4) || '\/' || parte_dividida(metadata$filename, '\/', 5), 'AAAA\/MM\/DD'), marca de tiempo bigint como (valor:marca_de_tiempo::bigint), col2 varchar como (valor:col2::varchar)) particionar por (parte_de_fecha) ubicaci\u00f3n=@s1\/logs\/ actualizaci\u00f3n_autom\u00e1tica = verdadero formato_de_archivo = (tipo = parquet) aws_sns_topic = 'arn:aws:sns:us-west-2:001234567890:s3_mybucket';<\/code><\/pre>\n
Gudu SQLFlow puede procesar la declaraci\u00f3n de consulta de creaci\u00f3n de tabla externa de Snowflake y construir un linaje de datos entre los archivos en la etapa externa y la tabla externa de la siguiente manera:<\/p>\n
<\/figure>\n
\n
\"Linaje<\/a>
Linaje de datos Crear tabla externa<\/figcaption><\/figure>\n<\/div>\n
En Snowflake, los datos de archivos externos tambi\u00e9n se pueden mover a la tabla usando copiar en<\/a><\/strong> La declaraci\u00f3n SQL y Gudu SQLFlow tambi\u00e9n pueden detectar el linaje de datos en la copia en la declaraci\u00f3n de consulta SQL.<\/p>\n
SQL Server y Azure Synapse Analytics<\/h2>\n
El comando Crear tabla externa crea una tabla externa para que PolyBase acceda a los datos almacenados en un cl\u00faster de Hadoop o un almacenamiento de blobs de Azure. Tabla externa de PolyBase que hace referencia a los datos almacenados en un cl\u00faster de Hadoop o un almacenamiento de blobs de Azure.<\/p>\n
En Azure Synapse Analytics, la tabla externa creada:<\/p>\n