En el almac\u00e9n de datos, los datos originales siempre provienen de almacenamientos masivos como Amazon S3, Google Cloud Storage y Microsoft Azure, y se cargan en sistemas como BigQuery, Snowflake, Redshift y Microsoft Azure. Uno de los m\u00e9todos para cargar o usar estos datos es la instrucci\u00f3n SQL para crear una tabla externa. La conexi\u00f3n de datos del archivo externo a la tabla externa se puede capturar f\u00e1cilmente mediante... Flujo de SQL de Gudu<\/strong> Analizando la consulta SQL de creaci\u00f3n de tabla externa. Con estos datos disponibles, Flujo de SQL de Gudu<\/strong> Simplifica enormemente la capacidad de rastrear errores hasta su causa ra\u00edz en un proceso de an\u00e1lisis de datos.<\/p>\r\n En el art\u00edculo, presentaremos la declaraci\u00f3n SQL de creaci\u00f3n de tabla externa utilizada en BigQuery, Snowflake, Redshift y Microsoft Azure, y veremos el linaje de datos generado por la Flujo de SQL de Gudu<\/strong> despu\u00e9s de analizar el script SQL.<\/p>\r\n Las tablas externas permiten a BigQuery consultar datos almacenados fuera del almacenamiento de BigQuery. Para obtener m\u00e1s informaci\u00f3n sobre las tablas externas, consulte Introducci\u00f3n a las fuentes de datos externas<\/a><\/strong>.<\/p>\r\n Flujo de SQL de Gudu<\/strong> Puede analizar la declaraci\u00f3n de creaci\u00f3n de tabla externa de BigQuery y crearla. linaje de datos<\/a><\/strong> despu\u00e9s de analizar esta declaraci\u00f3n SQL.<\/p>\r\n A continuaci\u00f3n se muestra una consulta SQL de creaci\u00f3n de tabla externa de BigQuery:<\/p>\r\n\r\n El linaje de datos generado para el SQL anterior aqu\u00ed, como puede ver, el archivo gs:\/\/bucket\/path1.csv almacenado en Google Storage se trata como la fuente de la tabla externa dataset.CsvTable.<\/p>\r\n\r\n\r\n\r\n Snowflake crea una tabla externa para leer datos de un conjunto de uno o m\u00e1s archivos en una etapa externa especificada y genera los datos en una \u00fanica columna VARIANT. Crear declaraci\u00f3n de tabla externa<\/strong><\/a> crea una nueva tabla externa en el esquema actual\/especificado o reemplaza una tabla externa existente.<\/p>\r\n\r\n\r\n\r\n Antes de crear una tabla externa, necesitamos: crear un escenario externo<\/strong><\/a> para la ubicaci\u00f3n de almacenamiento donde se almacenan los archivos de datos.<\/p>\r\n\r\n\r\n\r\n Cree la tabla externa particionada:<\/p>\r\n\r\n\r\n\r\n Gudu SQLFlow puede procesar la declaraci\u00f3n de consulta de creaci\u00f3n de tabla externa de Snowflake y construir un linaje de datos entre los archivos en la etapa externa y la tabla externa de la siguiente manera:<\/p>\r\n\r\n\r\n\r\n En Snowflake, los datos de archivos externos tambi\u00e9n se pueden mover a la tabla usando copiar en<\/a><\/strong> La declaraci\u00f3n SQL y Gudu SQLFlow tambi\u00e9n pueden detectar el linaje de datos en la copia en la declaraci\u00f3n de consulta SQL.<\/p>\r\n\r\n\r\n\r\n El comando Crear tabla externa crea una tabla externa para que PolyBase acceda a los datos almacenados en un cl\u00faster de Hadoop o un almacenamiento de blobs de Azure. Tabla externa de PolyBase que hace referencia a los datos almacenados en un cl\u00faster de Hadoop o un almacenamiento de blobs de Azure.<\/p>\r\n\r\n\r\n\r\n En Azure Synapse Analytics, la tabla externa creada:<\/p>\r\n\r\n\r\n\r\n Para crear una tabla externa, primero se debe crear una fuente de datos externa:<\/p>\r\n\r\n\r\n\r\n Luego, crea una tabla externa usando esta consulta SQL:<\/p>\r\n\r\n\r\n\r\n El linaje de datos generado por Gudu SQLFlow despu\u00e9s de analizar la declaraci\u00f3n de creaci\u00f3n de tabla externa es:<\/p>\r\n\r\n\r\n\r\n Puede crear una tabla externa en Amazon Redshift, AWS Glue, Amazon Athena o un metaalmac\u00e9n de Apache Hive. Si su tabla externa est\u00e1 definida en AWS Glue, Athena o un metaalmac\u00e9n de Hive, primero debe crear un esquema externo que haga referencia a la base de datos externa. Despu\u00e9s, puede hacer referencia a la tabla externa en su instrucci\u00f3n SELECT prefijando el nombre del esquema en el nombre de la tabla, sin necesidad de crear la tabla en Amazon Redshift.\u00a0<\/p>\r\n\r\n\r\n\r\n El siguiente ejemplo crea una tabla denominada VENTAS en el esquema externo de Amazon Redshift denominado\u00a0 El linaje de datos generado por Gudu SQLFlow despu\u00e9s de analizar el SQL anterior es:<\/p>\r\n\r\n\r\n\r\n Gracias por leer nuestro art\u00edculo y si te puede ayudar a tener una mejor comprensi\u00f3n de \u00bfC\u00f3mo crea el linaje de datos una tabla externa?<\/strong>Estar\u00edamos muy contentos. Si quieres saber m\u00e1s sobre linaje de datos crear tabla externa<\/strong>Nos gustar\u00eda recomendarle que visite nuestro sitio web. Flujo de SQL de Gudu<\/a><\/strong> Para m\u00e1s informaci\u00f3n. (Editado por Ryan el 25 de abril de 2022) <\/p>","protected":false},"excerpt":{"rendered":" Linaje de datos: Creaci\u00f3n de tabla externa | Gudu SQLFlow En el almac\u00e9n de datos, los datos originales siempre provienen de almacenamiento masivo como Amazon S3, Google Cloud Storage y Microsoft Azure, y se cargan en sistemas como BigQuery, Snowflake, Redshift y Microsoft Azure. Uno de los m\u00e9todos utilizados para cargar o usar estos datos es mediante la instrucci\u00f3n SQL para crear una tabla externa. Gudu SQLFlow puede capturar f\u00e1cilmente el linaje de datos desde el archivo externo hasta la tabla externa analizando la consulta SQL para crear la tabla externa. Con estos datos disponibles, Gudu\u2026<\/p>","protected":false},"author":27,"featured_media":3544,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":[],"categories":[31],"tags":[81,83,79,55,75,82,80],"blocksy_meta":{"styles_descriptor":{"styles":{"desktop":"","tablet":"","mobile":""},"google_fonts":[],"version":5}},"_links":{"self":[{"href":"https:\/\/www.gudusoft.com\/es\/wp-json\/wp\/v2\/posts\/3493"}],"collection":[{"href":"https:\/\/www.gudusoft.com\/es\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/www.gudusoft.com\/es\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/www.gudusoft.com\/es\/wp-json\/wp\/v2\/users\/27"}],"replies":[{"embeddable":true,"href":"https:\/\/www.gudusoft.com\/es\/wp-json\/wp\/v2\/comments?post=3493"}],"version-history":[{"count":50,"href":"https:\/\/www.gudusoft.com\/es\/wp-json\/wp\/v2\/posts\/3493\/revisions"}],"predecessor-version":[{"id":6618,"href":"https:\/\/www.gudusoft.com\/es\/wp-json\/wp\/v2\/posts\/3493\/revisions\/6618"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/www.gudusoft.com\/es\/wp-json\/wp\/v2\/media\/3544"}],"wp:attachment":[{"href":"https:\/\/www.gudusoft.com\/es\/wp-json\/wp\/v2\/media?parent=3493"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/www.gudusoft.com\/es\/wp-json\/wp\/v2\/categories?post=3493"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/www.gudusoft.com\/es\/wp-json\/wp\/v2\/tags?post=3493"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}![\"Linaje](\"https:\/\/www.gudusoft.com\/wp-content\/uploads\/2022\/04\/Data_Lineage_Create_External_Table.png\")
BigQuery crea una tabla externa<\/h3>\r\n
CREAR O REEMPLAZAR TABLA EXTERNA dataset.CsvTable ( x INT64, y STRING ) OPCIONES ( formato = 'CSV', uris = ['gs:\/\/bucket\/path1.csv'], delimitador_de_campo = '|', max_bad_records = 5 );<\/code><\/pre>\r\n\r\n\r\n\r\n![\"Linaje](\"https:\/\/www.gudusoft.com\/wp-content\/uploads\/2022\/04\/data-lineage-bigquery-create-external-table-1.png\")
<\/a>\r\nSnowflake crea una tabla externa<\/h3>\r\n\r\n\r\n\r\n
crear etapa s1 url='s3:\/\/mybucket\/files\/logs\/' ... ;<\/code><\/pre>\r\n\r\n\r\n\r\ncrear tabla externa et1( fecha_parte fecha como hasta_fecha(parte_dividida(metadata$filename, '\/', 3) || '\/' || parte_dividida(metadata$filename, '\/', 4) || '\/' || parte_dividida(metadata$filename, '\/', 5), 'AAAA\/MM\/DD'), marca de tiempo bigint como (valor:marca_de_tiempo::bigint), col2 varchar como (valor:col2::varchar)) particionar por (parte_de_fecha) ubicaci\u00f3n=@s1\/logs\/ actualizaci\u00f3n_autom\u00e1tica = verdadero formato_de_archivo = (tipo = parquet) aws_sns_topic = 'arn:aws:sns:us-west-2:001234567890:s3_mybucket';<\/code><\/pre>\r\n\r\n\r\n\r\n![\"Linaje](\"https:\/\/www.gudusoft.com\/wp-content\/uploads\/2022\/04\/data-lineage-snowflake-create-external-table.png\")
<\/a>\r\nSQL Server y Azure Synapse Analytics<\/h2>\r\n\r\n\r\n\r\n
\r\n
CREAR FUENTE DE DATOS EXTERNA AzureDataLakeStore CON (TIPO = HADOOP, UBICACI\u00d3N = 'abfss:\/\/data@pbasetr.azuredatalakestore.net' )<\/code><\/pre>\r\n\r\n\r\n\r\nCREAR TABLA EXTERNA [dbo].[DimProductexternal] ( [ProductKey] [int] NO NULO, [ProductLabel] nvarchar NULL, [ProductName] nvarchar NULL ) CON ( UBICACI\u00d3N='\/DimProduct\/' , FUENTE_DE_DATOS = AzureDataLakeStore , FORMATO_DE_ARCHIVO = TextFileFormat , TIPO_DE_RECHAZO = VALOR , VALOR_DE_RECHAZO = 0 ) ;<\/code><\/pre>\r\n\r\n\r\n\r\n![\"\"](\"https:\/\/www.gudusoft.com\/wp-content\/uploads\/2022\/05\/data-lineage-sqlserver-create-external-table-1-1024x119.png\")
<\/a>\r\nAWS Redshift crea una tabla externa<\/h2>\r\n\r\n\r\n\r\n
espectro<\/code>Los datos est\u00e1n en archivos de texto delimitados por tabulaciones.<\/p>\r\n\r\n\r\n\r\ncrear tabla externa spectrum.sales(salesid entero, listid entero, sellerid entero, buyerid entero, eventid entero, dateid smallint, qtysold smallint, pricepaid decimal(8,2), commission decimal(8,2), saletime timestamp) formato de fila campos delimitados terminados en 't' almacenados como archivo de texto ubicaci\u00f3n 's3:\/\/awssampledbuswest2\/tickit\/spectrum\/sales\/' propiedades de tabla ('numRows'='172000');<\/code><\/pre>\r\n\r\n\r\n\r\n![\"\"](\"https:\/\/www.gudusoft.com\/wp-content\/uploads\/2022\/05\/data-lineage-redshift-create-external-table.png\")
<\/a>\r\nConclusi\u00f3n\u00a0<\/h2>\r\n\r\n\r\n\r\n
<\/p>\r\n\r\n