No data warehouse, os dados originais s\u00e3o sempre provenientes de armazenamento em massa, como Amazon S3, Google Cloud Storage e Microsoft Azure, e esses dados ser\u00e3o carregados no sistema, como BigQuery, Snowflake, Redshift e Microsoft Azure. Um dos m\u00e9todos usados para carregar ou usar esses dados \u00e9 usar a instru\u00e7\u00e3o SQL "create external table". A linhagem dos dados do arquivo externo para a tabela externa pode ser facilmente capturada pelo Gudu SQLFlow<\/strong> analisando a consulta SQL de cria\u00e7\u00e3o de tabela externa. Com esses dados em m\u00e3os, Gudu SQLFlow<\/strong> simplifica muito a capacidade de rastrear erros at\u00e9 a causa raiz em um processo de an\u00e1lise de dados.<\/p>\r\n No artigo, apresentaremos a instru\u00e7\u00e3o SQL de cria\u00e7\u00e3o de tabela externa usada no BigQuery, Snowflake, Redshift e Microsoft Azure e veremos a linhagem de dados gerada pela Gudu SQLFlow<\/strong> depois de analisar o script SQL.<\/p>\r\n Tabelas externas permitem que o BigQuery consulte dados armazenados fora do armazenamento do BigQuery. Para obter mais informa\u00e7\u00f5es sobre tabelas externas, consulte introdu\u00e7\u00e3o a fontes de dados externas<\/a><\/strong>.<\/p>\r\n Gudu SQLFlow<\/strong> pode analisar a instru\u00e7\u00e3o de cria\u00e7\u00e3o de tabela externa do BigQuery e criar a linhagem de dados<\/a><\/strong> depois de analisar esta instru\u00e7\u00e3o SQL.<\/p>\r\n Aqui est\u00e1 uma consulta SQL para cria\u00e7\u00e3o de tabela externa do BigQuery:<\/p>\r\n\r\n A linhagem de dados gerada para o SQL acima aqui, como voc\u00ea pode ver, o arquivo gs:\/\/bucket\/path1.csv armazenado no Google Storage \u00e9 tratado como a origem da tabela externa dataset.CsvTable.<\/p>\r\n\r\n\r\n\r\n O Snowflake cria uma tabela externa para ler dados de um conjunto de um ou mais arquivos em um est\u00e1gio externo especificado e gera os dados em uma \u00fanica coluna VARIANT. Criar instru\u00e7\u00e3o de tabela externa<\/strong><\/a> cria uma nova tabela externa no esquema atual\/especificado ou substitui uma tabela externa existente.<\/p>\r\n\r\n\r\n\r\n Antes de criar uma tabela externa, precisamos criar um palco externo<\/strong><\/a> para o local de armazenamento onde os arquivos de dados s\u00e3o armazenados.<\/p>\r\n\r\n\r\n\r\n Crie a tabela externa particionada:<\/p>\r\n\r\n\r\n\r\n O Gudu SQLFlow pode processar a instru\u00e7\u00e3o de consulta de cria\u00e7\u00e3o de tabela externa do Snowflake e construir uma linhagem de dados entre os arquivos no est\u00e1gio externo e a tabela externa como esta:<\/p>\r\n\r\n\r\n\r\n No Snowflake, os dados de arquivos externos tamb\u00e9m podem ser movidos para a tabela usando copiar para<\/a><\/strong> A instru\u00e7\u00e3o SQL e o Gudu SQLFlow tamb\u00e9m podem detectar a linhagem de dados na c\u00f3pia para a instru\u00e7\u00e3o de consulta SQL.<\/p>\r\n\r\n\r\n\r\n O comando Create external table cria uma tabela externa para o PolyBase acessar dados armazenados em um cluster Hadoop ou armazenamento de blobs do Azure. A tabela externa do PolyBase que faz refer\u00eancia a dados armazenados em um cluster Hadoop ou armazenamento de blobs do Azure.<\/p>\r\n\r\n\r\n\r\n No Azure Synapse Analytics, a tabela externa criada:<\/p>\r\n\r\n\r\n\r\n Para criar uma tabela externa, uma fonte de dados externa deve ser criada primeiro:<\/p>\r\n\r\n\r\n\r\n Em seguida, crie uma tabela externa usando esta consulta SQL:<\/p>\r\n\r\n\r\n\r\n A linhagem de dados gerada pelo Gudu SQLFlow ap\u00f3s analisar a instru\u00e7\u00e3o create external table \u00e9:<\/p>\r\n\r\n\r\n\r\n Voc\u00ea pode criar uma tabela externa no Amazon Redshift, AWS Glue, Amazon Athena ou em um metastore do Apache Hive. Se a sua tabela externa estiver definida no AWS Glue, Athena ou em um metastore do Hive, primeiro crie um esquema externo que fa\u00e7a refer\u00eancia ao banco de dados externo. Em seguida, voc\u00ea pode referenciar a tabela externa na sua instru\u00e7\u00e3o SELECT prefixando o nome da tabela com o nome do esquema, sem precisar criar a tabela no Amazon Redshift.\u00a0<\/p>\r\n\r\n\r\n\r\n O exemplo a seguir cria uma tabela chamada SALES no esquema externo do Amazon Redshift chamado\u00a0 A linhagem de dados gerada pelo Gudu SQLFlow ap\u00f3s analisar o SQL acima \u00e9:<\/p>\r\n\r\n\r\n\r\n Obrigado por ler nosso artigo e se ele puder ajud\u00e1-lo a ter um melhor entendimento de como a linhagem de dados cria uma tabela externa<\/strong>, ficar\u00edamos muito felizes. Se voc\u00ea quiser saber mais sobre linhagem de dados cria tabela externa<\/strong>, gostar\u00edamos de aconselh\u00e1-lo a visitar o nosso site Gudu SQLFlow<\/a><\/strong> para mais informa\u00e7\u00f5es. (Editado por Ryan em 25 de abril de 2022) <\/p>","protected":false},"excerpt":{"rendered":" Rastreamento de Linhagem de Dados | Cria\u00e7\u00e3o de Tabela Externa | Gudu SQLFlow Em um data warehouse, os dados originais geralmente prov\u00eam de armazenamentos em massa como Amazon S3, Google Cloud Storage e Microsoft Azure, e s\u00e3o carregados em sistemas como BigQuery, Snowflake, Redshift e Microsoft Azure. Um dos m\u00e9todos utilizados para carregar ou usar esses dados \u00e9 a instru\u00e7\u00e3o SQL `CREATE EXTERNAL TABLE`. O Gudu SQLFlow captura facilmente a linhagem de dados do arquivo externo at\u00e9 a tabela externa, analisando a consulta SQL `CREATE EXTERNAL TABLE`. Com esses dados em m\u00e3os, o Gudu\u2026<\/p>","protected":false},"author":27,"featured_media":3544,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":[],"categories":[31],"tags":[81,83,79,55,75,82,80],"blocksy_meta":{"styles_descriptor":{"styles":{"desktop":"","tablet":"","mobile":""},"google_fonts":[],"version":5}},"_links":{"self":[{"href":"https:\/\/www.gudusoft.com\/pt\/wp-json\/wp\/v2\/posts\/3493"}],"collection":[{"href":"https:\/\/www.gudusoft.com\/pt\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/www.gudusoft.com\/pt\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/www.gudusoft.com\/pt\/wp-json\/wp\/v2\/users\/27"}],"replies":[{"embeddable":true,"href":"https:\/\/www.gudusoft.com\/pt\/wp-json\/wp\/v2\/comments?post=3493"}],"version-history":[{"count":50,"href":"https:\/\/www.gudusoft.com\/pt\/wp-json\/wp\/v2\/posts\/3493\/revisions"}],"predecessor-version":[{"id":6618,"href":"https:\/\/www.gudusoft.com\/pt\/wp-json\/wp\/v2\/posts\/3493\/revisions\/6618"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/www.gudusoft.com\/pt\/wp-json\/wp\/v2\/media\/3544"}],"wp:attachment":[{"href":"https:\/\/www.gudusoft.com\/pt\/wp-json\/wp\/v2\/media?parent=3493"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/www.gudusoft.com\/pt\/wp-json\/wp\/v2\/categories?post=3493"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/www.gudusoft.com\/pt\/wp-json\/wp\/v2\/tags?post=3493"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}![\"Linhagem](\"https:\/\/www.gudusoft.com\/wp-content\/uploads\/2022\/04\/Data_Lineage_Create_External_Table.png\")
BigQuery cria tabela externa<\/h3>\r\n
CRIAR OU SUBSTITUIR TABELA EXTERNA dataset.CsvTable ( x INT64, y STRING ) OP\u00c7\u00d5ES ( format = 'CSV', uris = ['gs:\/\/bucket\/path1.csv'], field_delimiter = '|', max_bad_records = 5 );<\/code><\/pre>\r\n\r\n\r\n\r\n![\"Linhagem](\"https:\/\/www.gudusoft.com\/wp-content\/uploads\/2022\/04\/data-lineage-bigquery-create-external-table-1.png\")
<\/a>\r\nFloco de neve cria tabela externa<\/h3>\r\n\r\n\r\n\r\n
criar est\u00e1gio s1 url='s3:\/\/mybucket\/files\/logs\/' ... ;<\/code><\/pre>\r\n\r\n\r\n\r\ncriar tabela externa et1( date_part data como to_date(split_part(metadata$filename, '\/', 3) || '\/' || split_part(metadata$filename, '\/', 4) || '\/' || split_part(metadata$filename, '\/', 5), 'AAAA\/MM\/DD'), timestamp bigint como (valor:timestamp::bigint), col2 varchar como (valor:col2::varchar)) parti\u00e7\u00e3o por (date_part) localiza\u00e7\u00e3o=@s1\/logs\/ atualiza\u00e7\u00e3o_autom\u00e1tica = true formato_de_arquivo = (tipo = parquet) aws_sns_topic = 'arn:aws:sns:us-west-2:001234567890:s3_mybucket';<\/code><\/pre>\r\n\r\n\r\n\r\n![\"Linhagem](\"https:\/\/www.gudusoft.com\/wp-content\/uploads\/2022\/04\/data-lineage-snowflake-create-external-table.png\")
<\/a>\r\nSQL Server e Azure Synapse Analytics<\/h2>\r\n\r\n\r\n\r\n
\r\n
CRIAR FONTE DE DADOS EXTERNA AzureDataLakeStore COM (TIPO = HADOOP, LOCALIZA\u00c7\u00c3O = 'abfss:\/\/data@pbasetr.azuredatalakestore.net' )<\/code><\/pre>\r\n\r\n\r\n\r\nCRIAR TABELA EXTERNA [dbo].[DimProductexternal] ( [ProductKey] [int] N\u00c3O NULO, [ProductLabel] nvarchar NULO, [ProductName] nvarchar NULO ) COM ( LOCALIZA\u00c7\u00c3O='\/DimProduct\/' , ORIGEM_DE_DADOS = AzureDataLakeStore , FORMATO_DE_ARQUIVO = TextFileFormat , TIPO_DE_REJEI\u00c7\u00c3O = VALOR , VALOR_DE_REJEI\u00c7\u00c3O = 0 ) ;<\/code><\/pre>\r\n\r\n\r\n\r\n![\"\"](\"https:\/\/www.gudusoft.com\/wp-content\/uploads\/2022\/05\/data-lineage-sqlserver-create-external-table-1-1024x119.png\")
<\/a>\r\nAWS Redshift cria tabela externa<\/h2>\r\n\r\n\r\n\r\n
espectro<\/code>. Os dados est\u00e3o em arquivos de texto delimitados por tabula\u00e7\u00e3o.<\/p>\r\n\r\n\r\n\r\ncriar tabela externa spectrum.sales( salesid inteiro, listid inteiro, sellerid inteiro, buyerid inteiro, eventid inteiro, dateid smallint, qtysold smallint, pricepaid decimal(8,2), commission decimal(8,2), saletime timestamp) formato de linha campos delimitados terminados por 't' armazenados como arquivo de texto local 's3:\/\/awssampledbuswest2\/tickit\/spectrum\/sales\/' propriedades da tabela ('numRows'='172000');<\/code><\/pre>\r\n\r\n\r\n\r\n![\"\"](\"https:\/\/www.gudusoft.com\/wp-content\/uploads\/2022\/05\/data-lineage-redshift-create-external-table.png\")
<\/a>\r\nConclus\u00e3o\u00a0<\/h2>\r\n\r\n\r\n\r\n
<\/p>\r\n\r\n