Dans un entrep\u00f4t de donn\u00e9es, les donn\u00e9es d'origine proviennent toujours de services de stockage de masse tels qu'Amazon S3, Google Cloud Storage et Microsoft Azure. Ces donn\u00e9es sont ensuite charg\u00e9es dans des syst\u00e8mes comme BigQuery, Snowflake, Redshift et Microsoft Azure. L'une des m\u00e9thodes utilis\u00e9es pour charger ou utiliser ces donn\u00e9es consiste \u00e0 utiliser l'instruction SQL CREATE EXTERNAL TABLE. La tra\u00e7abilit\u00e9 des donn\u00e9es, du fichier externe \u00e0 la table externe, peut \u00eatre facilement assur\u00e9e par\u2026 Gudu SQLFlow<\/strong> en analysant la requ\u00eate SQL de cr\u00e9ation de table externe. Avec ces donn\u00e9es en main, Gudu SQLFlow<\/strong> simplifie consid\u00e9rablement la capacit\u00e9 \u00e0 remonter \u00e0 la cause premi\u00e8re des erreurs dans un processus d'analyse de donn\u00e9es.<\/p>\r\n Dans cet article, nous pr\u00e9senterons l'instruction SQL de cr\u00e9ation de table externe utilis\u00e9e dans BigQuery, Snowflake, Redshift et Microsoft Azure, et nous examinerons la tra\u00e7abilit\u00e9 des donn\u00e9es g\u00e9n\u00e9r\u00e9e par cette instruction. Gudu SQLFlow<\/strong> apr\u00e8s avoir analys\u00e9 le script SQL.<\/p>\r\n Les tables externes permettent \u00e0 BigQuery d'interroger des donn\u00e9es stock\u00e9es en dehors de son syst\u00e8me de stockage. Pour plus d'informations sur les tables externes, consultez la documentation correspondante. introduction aux sources de donn\u00e9es externes<\/a><\/strong>.<\/p>\r\n Gudu SQLFlow<\/strong> peut analyser l'instruction de cr\u00e9ation de table externe BigQuery et cr\u00e9er la lign\u00e9e de donn\u00e9es<\/a><\/strong> apr\u00e8s avoir analys\u00e9 cette instruction SQL.<\/p>\r\n Voici une requ\u00eate SQL BigQuery pour cr\u00e9er une table externe\u00a0:<\/p>\r\n\r\n La tra\u00e7abilit\u00e9 des donn\u00e9es g\u00e9n\u00e9r\u00e9e pour la requ\u00eate SQL ci-dessus est pr\u00e9sent\u00e9e ici. Comme vous pouvez le constater, le fichier gs:\/\/bucket\/path1.csv stock\u00e9 sur Google Storage est consid\u00e9r\u00e9 comme la source de la table externe dataset.CsvTable.<\/p>\r\n\r\n\r\n\r\n Snowflake cr\u00e9e une table externe pour lire les donn\u00e9es d'un ou plusieurs fichiers dans une \u00e9tape externe sp\u00e9cifi\u00e9e et les affiche dans une seule colonne VARIANT. D\u00e9claration de cr\u00e9ation de table externe<\/strong><\/a> cr\u00e9e une nouvelle table externe dans le sch\u00e9ma actuel\/sp\u00e9cifi\u00e9 ou remplace une table externe existante.<\/p>\r\n\r\n\r\n\r\n Avant de cr\u00e9er une table externe, nous devons cr\u00e9er une sc\u00e8ne ext\u00e9rieure<\/strong><\/a> pour l'emplacement de stockage o\u00f9 sont stock\u00e9s les fichiers de donn\u00e9es.<\/p>\r\n\r\n\r\n\r\n Cr\u00e9er la table externe partitionn\u00e9e\u00a0:<\/p>\r\n\r\n\r\n\r\n Gudu SQLFlow peut traiter l'instruction de requ\u00eate de cr\u00e9ation de table externe Snowflake et \u00e9tablir une tra\u00e7abilit\u00e9 des donn\u00e9es entre les fichiers de l'environnement externe et la table externe, comme ceci\u00a0:<\/p>\r\n\r\n\r\n\r\n Dans Snowflake, les donn\u00e9es provenant de fichiers externes peuvent \u00e9galement \u00eatre d\u00e9plac\u00e9es vers la table \u00e0 l'aide de copier dans<\/a><\/strong> Les instructions SQL et Gudu SQLFlow peuvent \u00e9galement d\u00e9tecter la provenance des donn\u00e9es dans la copie dans une instruction de requ\u00eate SQL.<\/p>\r\n\r\n\r\n\r\n La commande CREATE EXTERNAL TABLE cr\u00e9e une table externe permettant \u00e0 PolyBase d'acc\u00e9der aux donn\u00e9es stock\u00e9es dans un cluster Hadoop ou dans le stockage Blob Azure. Cette table externe PolyBase r\u00e9f\u00e9rence des donn\u00e9es stock\u00e9es dans un cluster Hadoop ou dans le stockage Blob Azure.<\/p>\r\n\r\n\r\n\r\n Dans Azure Synapse Analytics, la table externe cr\u00e9\u00e9e\u00a0:<\/p>\r\n\r\n\r\n\r\n Pour cr\u00e9er une table externe, il faut d'abord cr\u00e9er une source de donn\u00e9es externe\u00a0:<\/p>\r\n\r\n\r\n\r\n Ensuite, cr\u00e9ez une table externe \u00e0 l'aide de cette requ\u00eate SQL\u00a0:<\/p>\r\n\r\n\r\n\r\n La tra\u00e7abilit\u00e9 des donn\u00e9es g\u00e9n\u00e9r\u00e9e par Gudu SQLFlow apr\u00e8s l'analyse de l'instruction de cr\u00e9ation de table externe est la suivante\u00a0:<\/p>\r\n\r\n\r\n\r\n Vous pouvez cr\u00e9er une table externe dans Amazon Redshift, AWS Glue, Amazon Athena ou un m\u00e9tastore Apache Hive. Si votre table externe est d\u00e9finie dans AWS Glue, Athena ou un m\u00e9tastore Hive, vous devez d'abord cr\u00e9er un sch\u00e9ma externe qui r\u00e9f\u00e9rence la base de donn\u00e9es externe. Vous pouvez ensuite r\u00e9f\u00e9rencer la table externe dans votre instruction SELECT en pr\u00e9fixant le nom de la table par le nom du sch\u00e9ma, sans avoir besoin de la cr\u00e9er dans Amazon Redshift.\u00a0<\/p>\r\n\r\n\r\n\r\n L'exemple suivant cr\u00e9e une table nomm\u00e9e SALES dans le sch\u00e9ma externe Amazon Redshift nomm\u00e9\u00a0 La tra\u00e7abilit\u00e9 des donn\u00e9es g\u00e9n\u00e9r\u00e9e par Gudu SQLFlow apr\u00e8s l'analyse de la requ\u00eate SQL ci-dessus est la suivante\u00a0:<\/p>\r\n\r\n\r\n\r\n Merci d'avoir lu notre article et s'il vous a permis de mieux comprendre Comment la tra\u00e7abilit\u00e9 des donn\u00e9es cr\u00e9e-t-elle une table externe ?<\/strong>Nous serions ravis. Si vous souhaitez en savoir plus sur la tra\u00e7abilit\u00e9 des donn\u00e9es cr\u00e9e une table externe<\/strong>Nous vous conseillons de visiter notre site web. Gudu SQLFlow<\/a><\/strong> Pour plus d'informations. (Modifi\u00e9 par Ryan le 25 avril 2022) <\/p>","protected":false},"excerpt":{"rendered":" Tra\u00e7abilit\u00e9 des donn\u00e9es\u00a0: Cr\u00e9ation d'une table externe | Gudu SQLFlow Dans un entrep\u00f4t de donn\u00e9es, les donn\u00e9es d'origine proviennent toujours de syst\u00e8mes de stockage de masse tels qu'Amazon S3, Google Cloud Storage et Microsoft Azure. Ces donn\u00e9es sont ensuite charg\u00e9es dans des syst\u00e8mes comme BigQuery, Snowflake, Redshift et Microsoft Azure. L'une des m\u00e9thodes utilis\u00e9es pour charger ou utiliser ces donn\u00e9es consiste \u00e0 utiliser l'instruction SQL `create external table`. Gudu SQLFlow peut facilement capturer la tra\u00e7abilit\u00e9 des donn\u00e9es, du fichier externe \u00e0 la table externe, en analysant la requ\u00eate SQL `create external table`. Gr\u00e2ce \u00e0 ces donn\u00e9es, Gudu\u2026<\/p>","protected":false},"author":27,"featured_media":3544,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":[],"categories":[31],"tags":[81,83,79,55,75,82,80],"blocksy_meta":{"styles_descriptor":{"styles":{"desktop":"","tablet":"","mobile":""},"google_fonts":[],"version":5}},"_links":{"self":[{"href":"https:\/\/www.gudusoft.com\/fr\/wp-json\/wp\/v2\/posts\/3493"}],"collection":[{"href":"https:\/\/www.gudusoft.com\/fr\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/www.gudusoft.com\/fr\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/www.gudusoft.com\/fr\/wp-json\/wp\/v2\/users\/27"}],"replies":[{"embeddable":true,"href":"https:\/\/www.gudusoft.com\/fr\/wp-json\/wp\/v2\/comments?post=3493"}],"version-history":[{"count":50,"href":"https:\/\/www.gudusoft.com\/fr\/wp-json\/wp\/v2\/posts\/3493\/revisions"}],"predecessor-version":[{"id":6618,"href":"https:\/\/www.gudusoft.com\/fr\/wp-json\/wp\/v2\/posts\/3493\/revisions\/6618"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/www.gudusoft.com\/fr\/wp-json\/wp\/v2\/media\/3544"}],"wp:attachment":[{"href":"https:\/\/www.gudusoft.com\/fr\/wp-json\/wp\/v2\/media?parent=3493"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/www.gudusoft.com\/fr\/wp-json\/wp\/v2\/categories?post=3493"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/www.gudusoft.com\/fr\/wp-json\/wp\/v2\/tags?post=3493"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}![\"Lign\u00e9e](\"https:\/\/www.gudusoft.com\/wp-content\/uploads\/2022\/04\/Data_Lineage_Create_External_Table.png\")
BigQuery cr\u00e9e une table externe<\/h3>\r\n
CR\u00c9ER OU REMPLACER TABLE EXTERNE dataset.CsvTable ( x INT64, y STRING ) OPTIONS ( format = 'CSV', uris = ['gs:\/\/bucket\/path1.csv'], field_delimiter = '|', max_bad_records = 5 );<\/code><\/pre>\r\n\r\n\r\n\r\n![\"Lign\u00e9e](\"https:\/\/www.gudusoft.com\/wp-content\/uploads\/2022\/04\/data-lineage-bigquery-create-external-table-1.png\")
<\/a>\r\nSnowflake cr\u00e9e une table externe<\/h3>\r\n\r\n\r\n\r\n
cr\u00e9er l'\u00e9tape s1 url='s3:\/\/mybucket\/files\/logs\/' ... ;<\/code><\/pre>\r\n\r\n\r\n\r\nCREATE EXTERNAL TABLE et1( date_part date AS TO_DATE(Split_Part(metadata$filename, '\/', 3) || '\/' || Split_Part(metadata$filename, '\/', 4) || '\/' || Split_Part(metadata$filename, '\/', 5), 'YYYY\/MM\/DD'), timestamp bigint AS (value:timestamp::bigint), col2 varchar AS (value:col2::varchar)) PARTITION BY (date_part) LOCATION=@s1\/logs\/ auto_refresh = true file_format = (type = parquet) aws_sns_topic = 'arn:aws:sns:us-west-2:001234567890:s3_mybucket';<\/code><\/pre>\r\n\r\n\r\n\r\n![\"Lign\u00e9e](\"https:\/\/www.gudusoft.com\/wp-content\/uploads\/2022\/04\/data-lineage-snowflake-create-external-table.png\")
<\/a>\r\nSQL Server et Azure Synapse Analytics<\/h2>\r\n\r\n\r\n\r\n
\r\n
CR\u00c9ER UNE SOURCE DE DONN\u00c9ES EXTERNE AzureDataLakeStore AVEC (TYPE = HADOOP, EMPLACEMENT = 'abfss:\/\/data@pbasetr.azuredatalakestore.net' )<\/code><\/pre>\r\n\r\n\r\n\r\nCR\u00c9ER UNE TABLE EXTERNE [dbo].[DimProductexternal] ( [ProductKey] [int] NOT NULL, [ProductLabel] nvarchar NULL, [ProductName] nvarchar NULL ) AVEC ( LOCATION='\/DimProduct\/' , DATA_SOURCE = AzureDataLakeStore , FILE_FORMAT = TextFileFormat , REJECT_TYPE = VALUE , REJECT_VALUE = 0 ) ;<\/code><\/pre>\r\n\r\n\r\n\r\n![\"\"](\"https:\/\/www.gudusoft.com\/wp-content\/uploads\/2022\/05\/data-lineage-sqlserver-create-external-table-1-1024x119.png\")
<\/a>\r\nAWS Redshift cr\u00e9e une table externe<\/h2>\r\n\r\n\r\n\r\n
spectre<\/code>Les donn\u00e9es sont contenues dans des fichiers texte d\u00e9limit\u00e9s par des tabulations.<\/p>\r\n\r\n\r\n\r\ncr\u00e9er une table externe spectrum.sales( salesid integer, listid integer, sellerid integer, buyerid integer, eventid integer, dateid smallint, qtysold smallint, pricepaid decimal(8,2), commission decimal(8,2), saletime timestamp) row format delimited fields terminated by 't' stored as textfile location 's3:\/\/awssampledbuswest2\/tickit\/spectrum\/sales\/' table properties ('numRows'='172000');<\/code><\/pre>\r\n\r\n\r\n\r\n![\"\"](\"https:\/\/www.gudusoft.com\/wp-content\/uploads\/2022\/05\/data-lineage-redshift-create-external-table.png\")
<\/a>\r\nConclusion\u00a0<\/h2>\r\n\r\n\r\n\r\n
<\/p>\r\n\r\n