{"id":3493,"date":"2022-04-25T07:19:32","date_gmt":"2022-04-25T15:19:32","guid":{"rendered":"https:\/\/www.gudusoft.com\/?p=3493"},"modified":"2022-05-19T01:40:00","modified_gmt":"2022-05-19T09:40:00","slug":"data-lineage-create-external-table","status":"publish","type":"post","link":"https:\/\/www.gudusoft.com\/pt\/linhagem-de-dados-criar-tabela-externa\/","title":{"rendered":"Linhagem de dados Criar tabela externa | Gudu SQLFlow"},"content":{"rendered":"

Linhagem de dados Criar tabela externa | Gudu SQLFlow<\/strong><\/h2>\n

No data warehouse, os dados originais s\u00e3o sempre provenientes de armazenamento em massa, como Amazon S3, Google Cloud Storage e Microsoft Azure, e esses dados ser\u00e3o carregados no sistema, como BigQuery, Snowflake, Redshift e Microsoft Azure. Um dos m\u00e9todos usados para carregar ou usar esses dados \u00e9 usar a instru\u00e7\u00e3o SQL "create external table". A linhagem dos dados do arquivo externo para a tabela externa pode ser facilmente capturada pelo Gudu SQLFlow<\/strong> analisando a consulta SQL de cria\u00e7\u00e3o de tabela externa. Com esses dados em m\u00e3os, Gudu SQLFlow<\/strong> simplifica muito a capacidade de rastrear erros at\u00e9 a causa raiz em um processo de an\u00e1lise de dados.<\/p>\n

\"Linhagem

Linhagem de Dados Criar Tabela Externa<\/p><\/div>\n

No artigo, apresentaremos a instru\u00e7\u00e3o SQL de cria\u00e7\u00e3o de tabela externa usada no BigQuery, Snowflake, Redshift e Microsoft Azure e veremos a linhagem de dados gerada pela Gudu SQLFlow<\/strong> depois de analisar o script SQL.<\/p>\n

BigQuery cria tabela externa<\/h3>\n

Tabelas externas permitem que o BigQuery consulte dados armazenados fora do armazenamento do BigQuery. Para obter mais informa\u00e7\u00f5es sobre tabelas externas, consulte introdu\u00e7\u00e3o a fontes de dados externas<\/a><\/strong>.<\/p>\n

Gudu SQLFlow<\/strong> pode analisar a instru\u00e7\u00e3o de cria\u00e7\u00e3o de tabela externa do BigQuery e criar a linhagem de dados<\/a><\/strong> depois de analisar esta instru\u00e7\u00e3o SQL.<\/p>\n

Aqui est\u00e1 uma consulta SQL para cria\u00e7\u00e3o de tabela externa do BigQuery:<\/p>\n

CRIAR OU SUBSTITUIR TABELA EXTERNA dataset.CsvTable ( x INT64, y STRING ) OP\u00c7\u00d5ES ( format = 'CSV', uris = ['gs:\/\/bucket\/path1.csv'], field_delimiter = '|', max_bad_records = 5 );<\/code><\/pre>\n
A linhagem de dados gerada para o SQL acima aqui, como voc\u00ea pode ver, o arquivo gs:\/\/bucket\/path1.csv armazenado no Google Storage \u00e9 tratado como a origem da tabela externa dataset.CsvTable.<\/p>\n
<\/figure>\n
\n
\"Linhagem<\/a>
Linhagem de Dados Criar Tabela Externa<\/figcaption><\/figure>\n<\/div>\n
Floco de neve cria tabela externa<\/h3>\n
O Snowflake cria uma tabela externa para ler dados de um conjunto de um ou mais arquivos em um est\u00e1gio externo especificado e gera os dados em uma \u00fanica coluna VARIANT. Criar instru\u00e7\u00e3o de tabela externa<\/strong><\/a> cria uma nova tabela externa no esquema atual\/especificado ou substitui uma tabela externa existente.<\/p>\n
Antes de criar uma tabela externa, precisamos criar um palco externo<\/strong><\/a> para o local de armazenamento onde os arquivos de dados s\u00e3o armazenados.<\/p>\n
criar est\u00e1gio s1 url='s3:\/\/mybucket\/files\/logs\/' ... ;<\/code><\/pre>\n
Crie a tabela externa particionada:<\/p>\n
criar tabela externa et1( date_part data como to_date(split_part(metadata$filename, '\/', 3) || '\/' || split_part(metadata$filename, '\/', 4) || '\/' || split_part(metadata$filename, '\/', 5), 'AAAA\/MM\/DD'), timestamp bigint como (valor:timestamp::bigint), col2 varchar como (valor:col2::varchar)) parti\u00e7\u00e3o por (date_part) localiza\u00e7\u00e3o=@s1\/logs\/ atualiza\u00e7\u00e3o_autom\u00e1tica = true formato_de_arquivo = (tipo = parquet) aws_sns_topic = 'arn:aws:sns:us-west-2:001234567890:s3_mybucket';<\/code><\/pre>\n
O Gudu SQLFlow pode processar a instru\u00e7\u00e3o de consulta de cria\u00e7\u00e3o de tabela externa do Snowflake e construir uma linhagem de dados entre os arquivos no est\u00e1gio externo e a tabela externa como esta:<\/p>\n
<\/figure>\n
\n
\"Linhagem<\/a>
Linhagem de Dados Criar Tabela Externa<\/figcaption><\/figure>\n<\/div>\n
No Snowflake, os dados de arquivos externos tamb\u00e9m podem ser movidos para a tabela usando copiar para<\/a><\/strong> A instru\u00e7\u00e3o SQL e o Gudu SQLFlow tamb\u00e9m podem detectar a linhagem de dados na c\u00f3pia para a instru\u00e7\u00e3o de consulta SQL.<\/p>\n
SQL Server e Azure Synapse Analytics<\/h2>\n
O comando Create external table cria uma tabela externa para o PolyBase acessar dados armazenados em um cluster Hadoop ou armazenamento de blobs do Azure. A tabela externa do PolyBase que faz refer\u00eancia a dados armazenados em um cluster Hadoop ou armazenamento de blobs do Azure.<\/p>\n
No Azure Synapse Analytics, a tabela externa criada:<\/p>\n