{"id":3554,"date":"2022-04-26T06:51:53","date_gmt":"2022-04-26T14:51:53","guid":{"rendered":"https:\/\/www.gudusoft.com\/?p=3554"},"modified":"2026-07-11T22:56:12","modified_gmt":"2026-07-12T06:56:12","slug":"amazon-redshift-data-lineage-gudu-sqlflow","status":"publish","type":"post","link":"https:\/\/www.gudusoft.com\/pt\/amazon-redshift-linhagem-de-dados-gudu-sqlflow\/","title":{"rendered":"Linhagem de dados do Amazon Redshift | Gudu SQLFlow"},"content":{"rendered":"

<\/p>\r\n

Linhagem de dados do Amazon Redshift | Gudu SQLFlow<\/strong><\/h2>\r\n\r\n

No seu ambiente de warehouse da Amazon, use Espectro Redshift da Amazon<\/a><\/strong> para consultar dados diretamente de arquivos no Amazon S3, salvar dados em bancos de dados Redshift e usar ferramentas de Business Intelligence como Tableau, PowerBI, Looker, Qlik, Superset para gerar relat\u00f3rios a partir dos dados. Os dados se originam do seu sistema de origem empresarial e chegam ao Amazon S3, usando ent\u00e3o uma ferramenta ETL como DBT para transferi-los e armazen\u00e1-los no Redshift Database para usos posteriores.<\/p>\r\n\r\n

\"Linhagem
Linhagem de dados do Amazon Redshift<\/figcaption><\/figure>\r\n\r\n

Para ter uma vis\u00e3o geral do fluxo de dados em seu sistema de warehouse da Amazon, voc\u00ea precisa de um ferramenta de linhagem de dados<\/strong> para ajudar voc\u00ea a entender como os dados chegaram a um local espec\u00edfico, bem como as etapas intermedi\u00e1rias e transforma\u00e7\u00f5es que acontecem \u00e0 medida que os dados se movem pelo sistema de neg\u00f3cios.<\/p>\r\n\r\n\r\n\r\n

Uma maneira de obter a linhagem de dados<\/a><\/strong> automaticamente do ambiente de warehouse da Amazon \u00e9 analisar todas as consultas SQL usadas durante o carregamento, transforma\u00e7\u00e3o e an\u00e1lise de dados. A boa not\u00edcia \u00e9 que todas essas instru\u00e7\u00f5es SQL s\u00e3o armazenadas em o log de atividades do usu\u00e1rio Redshift<\/a><\/strong> e Gudu<\/strong> Fluxo SQL<\/strong> pode analisar esses arquivos de log para descobrir a linhagem de dados automaticamente.<\/p>\r\n\r\n\r\n\r\n

Registro de atividades do usu\u00e1rio Redshift<\/h3>\r\n\r\n\r\n\r\n

O log de atividade do usu\u00e1rio \u00e9 \u00fatil principalmente para fins de solu\u00e7\u00e3o de problemas e aqui o usamos para a descoberta da linhagem de dados. Ele rastreia informa\u00e7\u00f5es sobre os tipos de consultas que tanto os usu\u00e1rios quanto o sistema realizam no banco de dados.<\/p>\r\n\r\n\r\n\r\n

Registra cada consulta antes de execut\u00e1-la no banco de dados.<\/strong><\/p>\r\n\r\n\r\n\r\n

\r\n\r\n\r\n\r\n\r\n\r\n\r\n\r\n\r\n\r\n\r\n\r\n
Nome da coluna<\/th>\r\nDescri\u00e7\u00e3o<\/th>\r\n<\/tr>\r\n<\/thead>\r\n
tempo recorde<\/td>\r\nHora em que o evento ocorreu.<\/td>\r\n<\/tr>\r\n
banco de dados<\/td>\r\nNome do banco de dados.<\/td>\r\n<\/tr>\r\n
usu\u00e1rio<\/td>\r\nNome de usu\u00e1rio.<\/td>\r\n<\/tr>\r\n
pid<\/td>\r\nID do processo associado \u00e0 declara\u00e7\u00e3o.<\/td>\r\n<\/tr>\r\n
ID do usu\u00e1rio<\/td>\r\nID do usu\u00e1rio.<\/td>\r\n<\/tr>\r\n
xid<\/td>\r\nID da transa\u00e7\u00e3o.<\/td>\r\n<\/tr>\r\n
consulta<\/td>\r\nUm prefixo de LOG: seguido pelo texto da consulta, incluindo novas linhas.<\/td>\r\n<\/tr>\r\n<\/tbody>\r\n<\/table>\r\n
Redshift user activity log<\/figcaption>\r\n<\/figure>\r\n\r\n\r\n\r\n

por favor, verifique este artigo<\/a> para ver como habilitar o registro.<\/p>\r\n

\r\n\r\n<\/p>\r\n

Exemplo de log de auditoria de atividade do usu\u00e1rio do Amazon Redshift<\/h5>\r\n

\r\n\r\n<\/p>\r\n

'2018-05-21T06:00:09Z UTC [ db=prod_sales user=duc pid=99753 userid=95 xid=6728324 ]' LOG: criar tabela SumoProdbackUp.organization como (selecionar * de SumoProd.simpleuser) '2018-05-21T06:00:09Z UTC [ db=vendor user=ankit pid=36616 userid=53 xid=2956702 ]' LOG: EXCLUIR DE SumoProd.employee ONDE id = 38; '2018-05-21T06:20:09Z UTC [ db=dev user=himanshu pid=64458 userid=35 xid=5143208 ]' LOG: remover usu\u00e1rio testuser3<\/code><\/pre>\r\n
\r\n\r\n<\/p>\r\n
 <\/p>\r\n
\r\n\r\n<\/p>\r\n
An\u00e1lise autom\u00e1tica de linhagem de dados<\/h3>\r\n
\r\n\r\n<\/p>\r\n
Gudu SQLFlow<\/a><\/strong> \u00e9 uma ferramenta que automatizou a an\u00e1lise de linhagem de dados SQL em ambientes de Bancos de Dados, ETL, Business Intelligence, Nuvem e Hadoop, analisando o SQL Script e o procedimento armazenado. Ele tamb\u00e9m pode analisar os arquivos de log de atividade do usu\u00e1rio Redshift para descobrir a linhagem de dados e descrever todo o movimento de dados graficamente.<\/p>\r\n
\r\n\r\n<\/p>\r\n
Aqui est\u00e1 uma parte de uma imagem de linhagem de dados que foi gerada ap\u00f3s a an\u00e1lise dos arquivos de log de atividades do usu\u00e1rio do Amazon Redshift:<\/p>\r\n
\r\n\r\n<\/p>\r\n
<\/figure>\r\n
\r\n\r\n<\/p>\r\n
\"Linhagem<\/a>\r\n
Linhagem de dados do Amazon Redshift<\/figcaption>\r\n<\/figure>\r\n
\r\n\r\n\r\n\r\n<\/p>\r\n
 <\/p>\r\n
<\/p>\r\n
Conclus\u00e3o<\/strong>\u00a0<\/h3>\r\n
Obrigado por ler nosso artigo e esperamos que ele possa ajud\u00e1-lo a ter uma melhor compreens\u00e3o de Linhagem de dados do Amazon Redshift<\/strong>. Se voc\u00ea quiser saber mais sobre Linhagem de dados do Amazon Redshift<\/strong>, gostar\u00edamos de aconselh\u00e1-lo a visitar o nosso site Gudu SQLFlow<\/strong><\/a> para mais informa\u00e7\u00f5es. Gudu SQLFlow, como uma ferramenta de an\u00e1lise de linhagem de dados, pode n\u00e3o apenas analisar arquivos de script SQL, obter linhagem de dados e executar exibi\u00e7\u00e3o visual, mas tamb\u00e9m permitir que os usu\u00e1rios forne\u00e7am linhagem de dados em formato CSV e executem exibi\u00e7\u00e3o visual. Obrigado novamente! (Editado por Ryan em 26 de abril de 2022)<\/strong><\/p>\r\n
<\/p>","protected":false},"excerpt":{"rendered":"
Amazon Redshift Data Lineage | Gudu SQLFlow In your Amazon warehouse environment, use Amazon Redshift Spectrum to query data directly from files on Amazon S3, save data in Redshift databases, and use Business Intelligence tools such as Tableau, PowerBI, Looker, Qlik, Superset to generate reports from the data. The data originates from your business source system and lands on Amazon S3, then using an ETL tool such as DBT to transfer and store it in Redshift Database for later uses. In order to have an overview of the data flow in your Amazon warehouse system, you need a data lineage\u2026<\/p>","protected":false},"author":27,"featured_media":3583,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":[],"categories":[14],"tags":[89,90,91,75,92],"blocksy_meta":{"styles_descriptor":{"styles":{"desktop":"","tablet":"","mobile":""},"google_fonts":[],"version":5}},"_links":{"self":[{"href":"https:\/\/www.gudusoft.com\/pt\/wp-json\/wp\/v2\/posts\/3554"}],"collection":[{"href":"https:\/\/www.gudusoft.com\/pt\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/www.gudusoft.com\/pt\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/www.gudusoft.com\/pt\/wp-json\/wp\/v2\/users\/27"}],"replies":[{"embeddable":true,"href":"https:\/\/www.gudusoft.com\/pt\/wp-json\/wp\/v2\/comments?post=3554"}],"version-history":[{"count":32,"href":"https:\/\/www.gudusoft.com\/pt\/wp-json\/wp\/v2\/posts\/3554\/revisions"}],"predecessor-version":[{"id":6616,"href":"https:\/\/www.gudusoft.com\/pt\/wp-json\/wp\/v2\/posts\/3554\/revisions\/6616"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/www.gudusoft.com\/pt\/wp-json\/wp\/v2\/media\/3583"}],"wp:attachment":[{"href":"https:\/\/www.gudusoft.com\/pt\/wp-json\/wp\/v2\/media?parent=3554"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/www.gudusoft.com\/pt\/wp-json\/wp\/v2\/categories?post=3554"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/www.gudusoft.com\/pt\/wp-json\/wp\/v2\/tags?post=3554"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}