Im Data Warehouse stammen die Originaldaten stets aus Massenspeichern wie Amazon S3, Google Cloud Storage und Microsoft Azure. Diese Daten werden in Systeme wie BigQuery, Snowflake, Redshift und Microsoft Azure geladen. Eine der Methoden zum Laden und Verwenden dieser Daten ist die SQL-Anweisung `CREATE EXTERNAL TABLE`. Die Datenherkunft von der externen Datei zur externen Tabelle l\u00e4sst sich einfach nachverfolgen. Gudu SQLFlow<\/strong> durch Parsen der SQL-Abfrage zum Erstellen externer Tabellen. Mit diesen Daten, Gudu SQLFlow<\/strong> vereinfacht die R\u00fcckverfolgung von Fehlern zu ihrer Ursache in einem Datenanalyseprozess erheblich.<\/p>\r\n In diesem Artikel stellen wir die SQL-Anweisung `CREATE EXTERNAL TABLE` vor, die in BigQuery, Snowflake, Redshift und Microsoft Azure verwendet wird, und betrachten die dadurch generierte Datenherkunft. Gudu SQLFlow<\/strong> nach der Analyse des SQL-Skripts.<\/p>\r\n Externe Tabellen erm\u00f6glichen es BigQuery, Daten abzufragen, die au\u00dferhalb des BigQuery-Speichers abgelegt sind. Weitere Informationen zu externen Tabellen finden Sie unter Einf\u00fchrung in externe Datenquellen<\/a><\/strong>.<\/p>\r\n Gudu SQLFlow<\/strong> kann die BigQuery-Anweisung zum Erstellen externer Tabellen analysieren und diese erstellen. Datenherkunft<\/a><\/strong> nach der Analyse dieser SQL-Anweisung.<\/p>\r\n Hier ist eine SQL-Abfrage in BigQuery zum Erstellen einer externen Tabelle:<\/p>\r\n\r\n Die f\u00fcr die obige SQL-Abfrage generierte Datenherkunft zeigt, dass die in Google Storage gespeicherte Datei gs:\/\/bucket\/path1.csv als Quelle der externen Tabelle dataset.CsvTable verwendet wird.<\/p>\r\n\r\n\r\n\r\n Snowflake erstellt eine externe Tabelle, um Daten aus einer oder mehreren Dateien in einer bestimmten externen Stufe zu lesen und gibt die Daten in einer einzelnen VARIANT-Spalte aus. CREATE EXTERNAL TABLE-Anweisung<\/strong><\/a> Erstellt eine neue externe Tabelle im aktuellen\/angegebenen Schema oder ersetzt eine vorhandene externe Tabelle.<\/p>\r\n\r\n\r\n\r\n Bevor wir eine externe Tabelle erstellen, m\u00fcssen wir eine externe Stufe erstellen<\/strong><\/a> f\u00fcr den Speicherort, an dem die Datendateien gespeichert sind.<\/p>\r\n\r\n\r\n\r\n Erstellen Sie die partitionierte externe Tabelle:<\/p>\r\n\r\n\r\n\r\n Gudu SQLFlow kann die Snowflake-Abfrage zum Erstellen externer Tabellen verarbeiten und eine Datenherkunft zwischen den Dateien in der externen Stufe und der externen Tabelle wie folgt herstellen:<\/p>\r\n\r\n\r\n\r\n In Snowflake k\u00f6nnen Daten aus externen Dateien auch mithilfe von in die Tabelle verschoben werden. kopieren nach<\/a><\/strong> SQL-Anweisungen und Gudu SQLFlow k\u00f6nnen auch die Datenherkunft in der Kopier-in-SQL-Abfrageanweisung erkennen.<\/p>\r\n\r\n\r\n\r\n Der Befehl "Create External Table" erstellt eine externe Tabelle f\u00fcr PolyBase, um auf Daten zuzugreifen, die in einem Hadoop-Cluster oder Azure Blob Storage gespeichert sind.<\/p>\r\n\r\n\r\n\r\n In Azure Synapse Analytics wurde die folgende externe Tabelle erstellt:<\/p>\r\n\r\n\r\n\r\n Um eine externe Tabelle zu erstellen, muss zun\u00e4chst eine externe Datenquelle erstellt werden:<\/p>\r\n\r\n\r\n\r\n Erstellen Sie anschlie\u00dfend eine externe Tabelle mithilfe dieser SQL-Abfrage:<\/p>\r\n\r\n\r\n\r\n Die von Gudu SQLFlow nach dem Parsen der CREATE EXTERNAL TABLE-Anweisung generierte Datenherkunft lautet:<\/p>\r\n\r\n\r\n\r\n Sie k\u00f6nnen eine externe Tabelle in Amazon Redshift, AWS Glue, Amazon Athena oder einem Apache Hive Metastore erstellen. Wenn Ihre externe Tabelle in AWS Glue, Athena oder einem Hive Metastore definiert ist, erstellen Sie zun\u00e4chst ein externes Schema, das auf die externe Datenbank verweist. Anschlie\u00dfend k\u00f6nnen Sie in Ihrer SELECT-Anweisung auf die externe Tabelle zugreifen, indem Sie dem Tabellennamen den Schemanamen voranstellen, ohne die Tabelle in Amazon Redshift erstellen zu m\u00fcssen.\u00a0<\/p>\r\n\r\n\r\n\r\n Das folgende Beispiel erstellt eine Tabelle namens SALES im externen Amazon Redshift-Schema namens\u00a0 Die von Gudu SQLFlow nach dem Parsen des obigen SQL-Codes generierte Datenherkunft lautet:<\/p>\r\n\r\n\r\n\r\n Vielen Dank f\u00fcrs Lesen unseres Artikels. Wir hoffen, er hat Ihnen zu einem besseren Verst\u00e4ndnis verholfen. Wie erzeugt die Datenherkunft eine externe Tabelle?<\/strong>Wir w\u00fcrden uns sehr freuen. Wenn Sie mehr erfahren m\u00f6chten \u00fcber Datenherkunft externe Tabelle erstellen<\/strong>Wir m\u00f6chten Ihnen empfehlen, unsere Website zu besuchen. Gudu SQLFlow<\/a><\/strong> Weitere Informationen finden Sie hier. (Bearbeitet von Ryan am 25. April 2022) <\/p>","protected":false},"excerpt":{"rendered":" Datenherkunft: Externe Tabelle erstellen | Gudu SQLFlow Im Data Warehouse stammen die Originaldaten stets aus Massenspeichern wie Amazon S3, Google Cloud Storage und Microsoft Azure. Diese Daten werden in Systeme wie BigQuery, Snowflake, Redshift und Microsoft Azure geladen. Eine der Methoden zum Laden und Verwenden dieser Daten ist die SQL-Anweisung `CREATE EXTERNAL TABLE`. Die Datenherkunft von der externen Datei zur externen Tabelle l\u00e4sst sich mit Gudu SQLFlow durch das Parsen der `CREATE EXTERNAL TABLE`-Abfrage einfach erfassen. Mit diesen Daten kann Gudu\u2026<\/p>","protected":false},"author":27,"featured_media":3544,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":[],"categories":[31],"tags":[81,83,79,55,75,82,80],"blocksy_meta":{"styles_descriptor":{"styles":{"desktop":"","tablet":"","mobile":""},"google_fonts":[],"version":5}},"_links":{"self":[{"href":"https:\/\/www.gudusoft.com\/de\/wp-json\/wp\/v2\/posts\/3493"}],"collection":[{"href":"https:\/\/www.gudusoft.com\/de\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/www.gudusoft.com\/de\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/www.gudusoft.com\/de\/wp-json\/wp\/v2\/users\/27"}],"replies":[{"embeddable":true,"href":"https:\/\/www.gudusoft.com\/de\/wp-json\/wp\/v2\/comments?post=3493"}],"version-history":[{"count":50,"href":"https:\/\/www.gudusoft.com\/de\/wp-json\/wp\/v2\/posts\/3493\/revisions"}],"predecessor-version":[{"id":6618,"href":"https:\/\/www.gudusoft.com\/de\/wp-json\/wp\/v2\/posts\/3493\/revisions\/6618"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/www.gudusoft.com\/de\/wp-json\/wp\/v2\/media\/3544"}],"wp:attachment":[{"href":"https:\/\/www.gudusoft.com\/de\/wp-json\/wp\/v2\/media?parent=3493"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/www.gudusoft.com\/de\/wp-json\/wp\/v2\/categories?post=3493"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/www.gudusoft.com\/de\/wp-json\/wp\/v2\/tags?post=3493"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}![\"Datenherkunft:](\"https:\/\/www.gudusoft.com\/wp-content\/uploads\/2022\/04\/Data_Lineage_Create_External_Table.png\")
BigQuery erstellt externe Tabelle<\/h3>\r\n
CREATE OR REPLACE EXTERNAL TABLE dataset.CsvTable ( x INT64, y STRING ) OPTIONS ( format = 'CSV', uris = ['gs:\/\/bucket\/path1.csv'], field_delimiter = '|', max_bad_records = 5 );<\/code><\/pre>\r\n\r\n\r\n\r\n![\"Datenherkunft:](\"https:\/\/www.gudusoft.com\/wp-content\/uploads\/2022\/04\/data-lineage-bigquery-create-external-table-1.png\")
<\/a>\r\nSnowflake erstellt externe Tabelle<\/h3>\r\n\r\n\r\n\r\n
create stage s1 url='s3:\/\/mybucket\/files\/logs\/' ... ;<\/code><\/pre>\r\n\r\n\r\n\r\nCREATE EXTERNAL TABLE et1( date_part date AS TO_DATE(SPLIT_PART(metadata$filename, '\/', 3) || '\/' || Split_Part(metadata$filename, '\/', 4) || '\/' || Split_Part(metadata$filename, '\/', 5), 'YYYY\/MM\/DD'), TIMESTAMP BIGINT AS (value:TIMESTAMP::BIGINT), col2 VARCHAR AS (value:col2::VARCHAR)) PARTITION BY (date_part) LOAD=@s1\/logs\/ AUTO_REFRESH = TRUE FILE_FORMAT = (TYPE = PARQUET) aws_sns_TOPIC = 'ARN:AWS:SNS:US-West-2:001234567890:S3_MyBucket';<\/code><\/pre>\r\n\r\n\r\n\r\n![\"Datenherkunft:](\"https:\/\/www.gudusoft.com\/wp-content\/uploads\/2022\/04\/data-lineage-snowflake-create-external-table.png\")
<\/a>\r\nSQL Server und Azure Synapse Analytics<\/h2>\r\n\r\n\r\n\r\n
\r\n
CREATE EXTERNAL DATA SOURCE AzureDataLakeStore WITH (TYPE = HADOOP, LOCATION = 'abfss:\/\/data@pbasetr.azuredatalakestore.net' )<\/code><\/pre>\r\n\r\n\r\n\r\nCREATE EXTERNAL TABLE [dbo].[DimProductexternal] ( [ProductKey] [int] NOT NULL, [ProductLabel] nvarchar NULL, [ProductName] nvarchar NULL ) WITH ( LOCATION='\/DimProduct\/' , DATA_SOURCE = AzureDataLakeStore , FILE_FORMAT = TextFileFormat , REJECT_TYPE = VALUE , REJECT_VALUE = 0 ) ;<\/code><\/pre>\r\n\r\n\r\n\r\n![\"\"](\"https:\/\/www.gudusoft.com\/wp-content\/uploads\/2022\/05\/data-lineage-sqlserver-create-external-table-1-1024x119.png\")
<\/a>\r\nAWS Redshift erstellt externe Tabelle<\/h2>\r\n\r\n\r\n\r\n
Spektrum<\/code>Die Daten liegen in tabulatorgetrennten Textdateien vor.<\/p>\r\n\r\n\r\n\r\nCREATE EXTERNAL TABLE spectrum.sales( salesid integer, listid integer, sellerid integer, buyerid integer, eventid integer, dateid smallint, qtysold smallint, pricepaid decimal(8,2), commission decimal(8,2), saletime timestamp) row format delimited fields terminated by 't' stored as textfile location 's3:\/\/awssampledbuswest2\/tickit\/spectrum\/sales\/' table properties ('numRows'='172000');<\/code><\/pre>\r\n\r\n\r\n\r\n![\"\"](\"https:\/\/www.gudusoft.com\/wp-content\/uploads\/2022\/05\/data-lineage-redshift-create-external-table.png\")
<\/a>\r\nAbschluss\u00a0<\/h2>\r\n\r\n\r\n\r\n
<\/p>\r\n\r\n