{"id":4990,"date":"2022-07-03T07:05:14","date_gmt":"2022-07-03T15:05:14","guid":{"rendered":"https:\/\/www.gudusoft.com\/?p=4990"},"modified":"2022-07-03T20:11:10","modified_gmt":"2022-07-04T04:11:10","slug":"data-warehouse-environment-modernization","status":"publish","type":"post","link":"https:\/\/www.gudusoft.com\/pt\/modernizacao-do-ambiente-de-data-warehouse\/","title":{"rendered":"Ferramentas e dicas para moderniza\u00e7\u00e3o do ambiente de data warehouse"},"content":{"rendered":"

Ferramentas e dicas para moderniza\u00e7\u00e3o do ambiente de data warehouse<\/h2>\n

Armaz\u00e9m de dados<\/strong><\/a> tem uma longa hist\u00f3ria, e a ideia b\u00e1sica aqui \u00e9 que a maioria das empresas cria v\u00e1rios aplicativos para automatizar seus processos de neg\u00f3cios b\u00e1sicos, e esses processos de neg\u00f3cios evoluem de forma independente, resultando em m\u00faltiplas vers\u00f5es de dados. No passado, dados inconsistentes eram uma dor de cabe\u00e7a para quem tentava entender a receita de vendas ou as margens de lucro em diferentes linhas de produtos ou regi\u00f5es.<\/p>\n

Em ess\u00eancia, o conceito original de um data warehouse \u00e9 replicar dados cr\u00edticos de v\u00e1rios sistemas transacionais, resolver inconsist\u00eancias e produzir conjuntos de dados limpos e f\u00e1ceis de analisar. Esse processo geralmente \u00e9 realizado por meio de programas em execu\u00e7\u00e3o regular que mant\u00eam o data warehouse atualizado \u00e0 medida que novos dados s\u00e3o inseridos.<\/p>\n

\"Moderniza\u00e7\u00e3o

Moderniza\u00e7\u00e3o do ambiente de data warehouse<\/p><\/div>\n

Hist\u00f3ria do Ambiente de Data Warehouse<\/h3>\n

H\u00e1 muitos componentes necess\u00e1rios aqui para garantir o funcionamento adequado do ambiente de data warehouse. S\u00e3o necess\u00e1rios procedimentos de extra\u00e7\u00e3o de dados, e o data warehouse deve ser projetado com seu pr\u00f3prio esquema. Data warehouses modernos tamb\u00e9m exigem procedimentos adicionais para resolver vers\u00f5es concorrentes de dados em segundo plano por meio de regras de neg\u00f3cios para determinar a hierarquia das principais vers\u00f5es dos dados.<\/p>\n

O desafio hist\u00f3rico aqui \u00e9 que um data warehouse \u00e9 semelhante a um edif\u00edcio constru\u00eddo sobre um sistema operacional subjacente em constante mudan\u00e7a. Quando ocorrem grandes mudan\u00e7as nesses sistemas (como uma reorganiza\u00e7\u00e3o ou aquisi\u00e7\u00e3o de neg\u00f3cios), a estrutura do data warehouse precisa mudar para refletir as mudan\u00e7as subjacentes nos neg\u00f3cios. Se o ritmo das mudan\u00e7as nos neg\u00f3cios for muito r\u00e1pido, o data warehouse pode se tornar inst\u00e1vel por um per\u00edodo, minando a confian\u00e7a dos empres\u00e1rios nele.<\/p>\n

Para resolver este problema, data marts<\/strong><\/a> surgiu. No entanto, a menos que os data marts sejam sincronizados com os dados no data warehouse, eles podem competir com eles e produzir m\u00faltiplas vers\u00f5es dos dados. Para lidar com essa instabilidade, v\u00e1rios projetos de data warehouse come\u00e7aram a surgir, incluindo esquemas em estrela<\/strong>, esquemas de floco de neve<\/strong>, e outros defendidos pelos tecn\u00f3logos Bill Inmon e Ralph Kimball.<\/p>\n

Ent\u00e3o, o campo da gest\u00e3o de dados mestres come\u00e7ou a emergir, com empresas buscando coletar conjuntos cada vez mais complexos de dados de contexto de neg\u00f3cios, muitas vezes com bancos de dados separados que trabalham em conjunto com data warehouses. Competir por diferentes vers\u00f5es de hierarquias de produtos exige participa\u00e7\u00e3o da empresa, de modo que governan\u00e7a de dados<\/strong><\/a> no data warehouse fornece processos para controle comercial desses dados mestres.<\/p>\n

Al\u00e9m da enorme quantidade de dados, a complexidade adicional tamb\u00e9m \u00e9 um problema. Com o tempo, come\u00e7amos a ver ferramentas de consulta e an\u00e1lise mais complexas, que muitas vezes exigiam sua pr\u00f3pria camada de metadados para representar a vis\u00e3o de neg\u00f3cios do data warehouse.<\/p>\n

Ao mesmo tempo, extraia, transforme e carregue (ETL<\/strong><\/a>) os dados deram origem a uma ind\u00fastria de integra\u00e7\u00e3o de dados<\/strong><\/a> Ferramentas. Essas ferramentas automatizam o processo e possuem scripts propriet\u00e1rios que adicionam componentes adicionais que precisam ser processados no ambiente de data warehouse.<\/p>\n

Moderniza\u00e7\u00e3o de Data Warehouse<\/h3>\n

H\u00e1 muitos anos, v\u00eam sendo feitas tentativas para organizar os componentes de um ambiente de data warehouse empresarial. Para modernizar data warehouses cada vez mais complexos, os fornecedores tentam produzir modelos pr\u00e9-definidos e geradores de data warehouse, como Idera, Magnitude e Attunity. Apesar do sucesso em alguns casos de uso, nenhum deles alcan\u00e7ou o dom\u00ednio do mercado.<\/p>\n

Al\u00e9m disso, DevOps e DataOps se dedicam a ajudar o esquema do data warehouse a evoluir e outros aspectos para fazer o ambiente do data warehouse funcionar de maneira controlada.<\/p>\n

Apesar dos enormes esfor\u00e7os de fornecedores inovadores, n\u00e3o h\u00e1 atalhos para a moderniza\u00e7\u00e3o de data warehouses. Grandes empresas investiram pesadamente em data warehouses corporativos e seus ambientes associados, mas o grande volume de processos, procedimentos, scripts e esquemas continua sendo um obst\u00e1culo significativo para o avan\u00e7o. Outro obst\u00e1culo \u00e9 superar a in\u00e9rcia das pr\u00e1ticas atuais por parte de administradores de banco de dados e equipes de TI.<\/p>\n

A migra\u00e7\u00e3o \u00e9 dif\u00edcil porque a maior parte das an\u00e1lises da empresa depende de data warehouses. Reestruturar um ambiente operacional de data warehouse \u00e9 como um mec\u00e2nico tentando atualizar o motor de um carro em movimento. No entanto, as ferramentas de automa\u00e7\u00e3o de data warehouse e o moderno marketplace de DataOps est\u00e3o se esfor\u00e7ando ao m\u00e1ximo para ajudar as empresas a modernizar seus ambientes de data warehouse.<\/p>\n

Conclus\u00e3o<\/h3>\n

Agradecemos a leitura do nosso artigo e esperamos que ele possa ajud\u00e1-lo a entender melhor as ferramentas e dicas para a moderniza\u00e7\u00e3o do ambiente de data warehouse. Se quiser saber mais sobre data warehouse, recomendamos que visite Gudu SQLFlow<\/strong><\/a> para maiores informa\u00e7\u00f5es.<\/p>\n

Como um dos\u00a0melhores ferramentas de linhagem de dados<\/a><\/strong>\u00a0dispon\u00edvel no mercado hoje, o Gudu SQLFlow pode n\u00e3o apenas analisar arquivos de script SQL, obter\u00a0linhagem de dados<\/strong><\/a>, e executar exibi\u00e7\u00e3o visual, mas tamb\u00e9m permitir que os usu\u00e1rios forne\u00e7am linhagem de dados em formato CSV e executem exibi\u00e7\u00e3o visual.\u00a0(Publicado por Ryan em 3 de julho de 2022)<\/strong><\/p>\n<\/div><\/div><\/div>