{"id":3554,"date":"2022-04-26T06:51:53","date_gmt":"2022-04-26T14:51:53","guid":{"rendered":"https:\/\/www.gudusoft.com\/?p=3554"},"modified":"2022-05-19T01:36:03","modified_gmt":"2022-05-19T09:36:03","slug":"amazon-redshift-data-lineage-gudu-sqlflow","status":"publish","type":"post","link":"https:\/\/www.gudusoft.com\/pt\/amazon-redshift-linhagem-de-dados-gudu-sqlflow\/","title":{"rendered":"Linhagem de dados do Amazon Redshift | Gudu SQLFlow"},"content":{"rendered":"

Linhagem de dados do Amazon Redshift | Gudu SQLFlow<\/strong><\/h2>\n

No seu ambiente de warehouse da Amazon, use Espectro Redshift da Amazon<\/a><\/strong> para consultar dados diretamente de arquivos no Amazon S3, salvar dados em bancos de dados Redshift e usar ferramentas de Business Intelligence como Tableau, PowerBI, Looker, Qlik, Superset para gerar relat\u00f3rios a partir dos dados. Os dados se originam do seu sistema de origem empresarial e chegam ao Amazon S3, usando ent\u00e3o uma ferramenta ETL como DBT para transferi-los e armazen\u00e1-los no Redshift Database para usos posteriores.<\/p>\n

\"Linhagem

Linhagem de dados do Amazon Redshift<\/p><\/div>\n

Para ter uma vis\u00e3o geral do fluxo de dados em seu sistema de warehouse da Amazon, voc\u00ea precisa de um ferramenta de linhagem de dados<\/strong> para ajudar voc\u00ea a entender como os dados chegaram a um local espec\u00edfico, bem como as etapas intermedi\u00e1rias e transforma\u00e7\u00f5es que acontecem \u00e0 medida que os dados se movem pelo sistema de neg\u00f3cios.<\/p>\n

Uma maneira de obter a linhagem de dados<\/a><\/strong> automaticamente do ambiente de warehouse da Amazon \u00e9 analisar todas as consultas SQL usadas durante o carregamento, transforma\u00e7\u00e3o e an\u00e1lise de dados. A boa not\u00edcia \u00e9 que todas essas instru\u00e7\u00f5es SQL s\u00e3o armazenadas em o log de atividades do usu\u00e1rio Redshift<\/a><\/strong> e Gudu<\/strong> Fluxo SQL<\/strong> pode analisar esses arquivos de log para descobrir a linhagem de dados automaticamente.<\/p>\n

Registro de atividades do usu\u00e1rio Redshift<\/h3>\n

O log de atividade do usu\u00e1rio \u00e9 \u00fatil principalmente para fins de solu\u00e7\u00e3o de problemas e aqui o usamos para a descoberta da linhagem de dados. Ele rastreia informa\u00e7\u00f5es sobre os tipos de consultas que tanto os usu\u00e1rios quanto o sistema realizam no banco de dados.<\/p>\n

Registra cada consulta antes de execut\u00e1-la no banco de dados.<\/strong><\/p>\n

\n\n\n\n\n\n\n\n\n\n\n\n
Nome da coluna<\/th>\nDescri\u00e7\u00e3o<\/th>\n<\/tr>\n<\/thead>\n
tempo recorde<\/td>\nHora em que o evento ocorreu.<\/td>\n<\/tr>\n
banco de dados<\/td>\nNome do banco de dados.<\/td>\n<\/tr>\n
usu\u00e1rio<\/td>\nNome de usu\u00e1rio.<\/td>\n<\/tr>\n
pid<\/td>\nID do processo associado \u00e0 declara\u00e7\u00e3o.<\/td>\n<\/tr>\n
ID do usu\u00e1rio<\/td>\nID do usu\u00e1rio.<\/td>\n<\/tr>\n
xid<\/td>\nID da transa\u00e7\u00e3o.<\/td>\n<\/tr>\n
consulta<\/td>\nUm prefixo de LOG: seguido pelo texto da consulta, incluindo novas linhas.<\/td>\n<\/tr>\n<\/tbody>\n<\/table>
Redshift user activity log<\/figcaption><\/figure>\n

por favor, verifique este artigo<\/a> para ver como habilitar o registro.<\/p>\n<\/p>\n

Exemplo de log de auditoria de atividade do usu\u00e1rio do Amazon Redshift<\/h5>\n<\/p>\n
'2018-05-21T06:00:09Z UTC [ db=prod_sales user=duc pid=99753 userid=95 xid=6728324 ]' LOG: criar tabela SumoProdbackUp.organization como (selecionar * de SumoProd.simpleuser) '2018-05-21T06:00:09Z UTC [ db=vendor user=ankit pid=36616 userid=53 xid=2956702 ]' LOG: EXCLUIR DE SumoProd.employee ONDE id = 38; '2018-05-21T06:20:09Z UTC [ db=dev user=himanshu pid=64458 userid=35 xid=5143208 ]' LOG: remover usu\u00e1rio testuser3<\/code><\/pre>\n<\/p>\n
 <\/p>\n<\/p>\n
An\u00e1lise autom\u00e1tica de linhagem de dados<\/h3>\n<\/p>\n
Gudu SQLFlow<\/a><\/strong> \u00e9 uma ferramenta que automatizou a an\u00e1lise de linhagem de dados SQL em ambientes de Bancos de Dados, ETL, Business Intelligence, Nuvem e Hadoop, analisando o SQL Script e o procedimento armazenado. Ele tamb\u00e9m pode analisar os arquivos de log de atividade do usu\u00e1rio Redshift para descobrir a linhagem de dados e descrever todo o movimento de dados graficamente.<\/p>\n<\/p>\n
Aqui est\u00e1 uma parte de uma imagem de linhagem de dados que foi gerada ap\u00f3s a an\u00e1lise dos arquivos de log de atividades do usu\u00e1rio do Amazon Redshift:<\/p>\n<\/p>\n
<\/figure>\n<\/p>\n
\"Linhagem<\/a>
Linhagem de dados do Amazon Redshift<\/figcaption><\/figure>\n<\/p>\n
 <\/p>\n<\/p>\n
Conclus\u00e3o<\/strong>\u00a0<\/h3>\n
Obrigado por ler nosso artigo e esperamos que ele possa ajud\u00e1-lo a ter uma melhor compreens\u00e3o de Linhagem de dados do Amazon Redshift<\/strong>. Se voc\u00ea quiser saber mais sobre Linhagem de dados do Amazon Redshift<\/strong>, gostar\u00edamos de aconselh\u00e1-lo a visitar o nosso site Gudu SQLFlow<\/strong><\/a> para mais informa\u00e7\u00f5es. Gudu SQLFlow, como uma ferramenta de an\u00e1lise de linhagem de dados, pode n\u00e3o apenas analisar arquivos de script SQL, obter linhagem de dados e executar exibi\u00e7\u00e3o visual, mas tamb\u00e9m permitir que os usu\u00e1rios forne\u00e7am linhagem de dados em formato CSV e executem exibi\u00e7\u00e3o visual. Obrigado novamente! (Editado por Ryan em 26 de abril de 2022)<\/strong><\/p>\n<\/div><\/div><\/div>