{"id":4147,"date":"2022-05-29T23:28:51","date_gmt":"2022-05-30T07:28:51","guid":{"rendered":"https:\/\/www.gudusoft.com\/?p=4147"},"modified":"2022-09-17T14:34:59","modified_gmt":"2022-09-17T22:34:59","slug":"what-is-a-data-lake","status":"publish","type":"post","link":"https:\/\/www.gudusoft.com\/pt\/o-que-e-um-data-lake\/","title":{"rendered":"O que \u00e9 um Data Lake? | Data Lake 101"},"content":{"rendered":"

Lago de Dados 101<\/h2>\n

O data lake \u00e9 um conceito quente no momento, e muitas empresas est\u00e3o construindo ou planejando construir seus pr\u00f3prios data lakes. No entanto, antes de planejar e construir um data lake, voc\u00ea deve esclarecer o que \u00e9 um data lake, por que precisamos dele, qual \u00e9 seu valor e quais s\u00e3o seus cen\u00e1rios de aplica\u00e7\u00e3o. Neste artigo, tentaremos responder a essas perguntas para que voc\u00ea possa entend\u00ea-lo melhor.<\/p>\n

\"O

O que \u00e9 um Data Lake?<\/p><\/div>\n

O que \u00e9 um data lake?<\/h2>\n

Um data lake \u00e9 um reposit\u00f3rio centralizado para armazenar, processar e proteger grandes volumes de dados estruturados, semiestruturados e n\u00e3o estruturados. Ele pode armazenar dados em seu formato nativo e lidar com qualquer formato de convers\u00e3o, independentemente das limita\u00e7\u00f5es de tamanho.<\/p>\n

Ele fornece uma plataforma escal\u00e1vel e segura que permite \u00e0s empresas ingerir quaisquer dados de qualquer sistema, em qualquer velocidade, de sistemas locais, em nuvem ou de computa\u00e7\u00e3o de ponta, armazenar qualquer tipo ou quantidade de dados com total fidelidade, processar dados em tempo real ou em lote e analisar dados usando SQL, Python, R ou qualquer outra linguagem, dados de terceiros ou aplicativo de an\u00e1lise.<\/p>\n

Por que precisamos disso?<\/h2>\n

As organiza\u00e7\u00f5es que criam valor comercial com sucesso a partir de dados superar\u00e3o seus pares. Uma pesquisa da Aberdeen mostra que as organiza\u00e7\u00f5es que implementam data lakes superam empresas compar\u00e1veis em crescimento org\u00e2nico de receita em 9%. Esses l\u00edderes permitem novos tipos de an\u00e1lises, como aprendizado de m\u00e1quina de novas fontes, como arquivos de log, dados de fluxos de cliques, m\u00eddia social e dispositivos conectados \u00e0 Internet armazenados em data lakes. Isso os ajuda a identificar e responder a oportunidades de crescimento de neg\u00f3cios mais rapidamente, atraindo e retendo clientes, aumentando a produtividade, mantendo equipamentos proativamente e tomando decis\u00f5es informadas.<\/p>\n

Qual \u00e9 o seu valor?<\/h2>\n

Por um lado, ele pode reunir diferentes tipos de dados. Por outro lado, seu valor \u00e9 que a an\u00e1lise de dados pode ser realizada sem um modelo predefinido. As arquiteturas de big data de hoje s\u00e3o escal\u00e1veis e podem fornecer aos usu\u00e1rios cada vez mais an\u00e1lises em tempo real. Hoje, antes que a intelig\u00eancia empresarial (BI) e os data warehouses sejam eliminados, as an\u00e1lises de big data e os big data lakes est\u00e3o se desenvolvendo em dire\u00e7\u00e3o a mais tipos de servi\u00e7os inteligentes em tempo real que podem dar suporte \u00e0 tomada de decis\u00f5es em tempo real.<\/p>\n

Como isso beneficia as empresas?<\/h2>\n

Primeiro<\/strong>, ele tem fun\u00e7\u00f5es mais poderosas para minera\u00e7\u00e3o de valor de dados. Na realiza\u00e7\u00e3o de autoriza\u00e7\u00e3o e auditoria de granularidade fina, como an\u00e1lise de dados, aprendizado de m\u00e1quina, acesso e gerenciamento de dados, o valor dos data lakes \u00e9 mais incisivo.<\/p>\n

Segundo,<\/strong> o fen\u00f4meno dos silos de dados \u00e9 eliminado. N\u00e3o h\u00e1 restri\u00e7\u00e3o quanto ao tipo de formato de dados, e todos os dados podem fluir para o data lake. Depois que os dados do usu\u00e1rio s\u00e3o gerados, eles podem ser armazenados diretamente no data lake de acordo com o conte\u00fado original e os atributos dos dados, sem qualquer processamento ou estrutura\u00e7\u00e3o dos dados antes de flu\u00edrem para o data lake.<\/p>\n

O terceiro<\/strong> \u00e9 atender \u00e0 expans\u00e3o el\u00e1stica do armazenamento de dados em larga escala dos usu\u00e1rios. Suporta tipos de dados complexos para usu\u00e1rios atuais, incluindo dados estruturados, como tabelas em bancos de dados relacionais, dados semiestruturados, como CSV, JSON, XML, logs, etc., e dados n\u00e3o estruturados, como e-mails, documentos, PDFs, gr\u00e1ficos, \u00e1udio, v\u00eddeo, etc. Os data lakes podem realizar a implanta\u00e7\u00e3o de armazenamento em larga escala no n\u00edvel PB e no n\u00edvel EB.<\/p>\n

Quarto<\/strong>, a separa\u00e7\u00e3o de computa\u00e7\u00e3o e armazenamento \u00e9 alcan\u00e7ada. Em vista da dire\u00e7\u00e3o geral do futuro reconhecida pela ind\u00fastria, a arquitetura de separa\u00e7\u00e3o de armazenamento e computa\u00e7\u00e3o fornece escalabilidade independente, permitindo que os mecanismos de computa\u00e7\u00e3o se expandam conforme necess\u00e1rio enquanto os dados fluem para o lago. Mais importante, o modo desacoplado de armazenamento e computa\u00e7\u00e3o traz melhor desempenho de custo. Deve-se ressaltar que a separa\u00e7\u00e3o de computa\u00e7\u00e3o e armazenamento no lago de dados n\u00e3o significa que o mecanismo de processamento e an\u00e1lise de dados e o disco estejam em hosts diferentes, mas a separa\u00e7\u00e3o do armazenamento de conte\u00fado de dados e do mecanismo de processamento e an\u00e1lise de dados.<\/p>\n

Como voc\u00ea determina se precisa de um data lake?<\/h2>\n

Ao determinar se sua empresa precisa de um data lake, voc\u00ea deve considerar o tipo de dados com os quais est\u00e1 lidando, o que deseja fazer com esses dados, a complexidade do seu processo de aquisi\u00e7\u00e3o de dados, seu gerenciamento de dados e governan\u00e7a de dados<\/a><\/strong> estrat\u00e9gias e as ferramentas e n\u00edveis de habilidade usados pelas pessoas na sua organiza\u00e7\u00e3o.<\/p>\n

Hoje, as empresas est\u00e3o come\u00e7ando a olhar para o valor dos data lakes de uma perspectiva diferente, ou seja, os data lakes n\u00e3o s\u00e3o usados apenas para armazenar dados de fidelidade total, eles tamb\u00e9m podem ajudar os usu\u00e1rios a obter uma compreens\u00e3o mais profunda das condi\u00e7\u00f5es de neg\u00f3cios. Como os data lakes fornecem um contexto mais rico do que nunca, isso ajuda a acelerar os experimentos de an\u00e1lise.<\/p>\n

Data lakes s\u00e3o desenvolvidos principalmente para processar grandes volumes de big data, e as empresas podem frequentemente mover dados brutos para um data lake via lote e\/ou streaming sem transform\u00e1-los. As empresas dependem principalmente deles para os seguintes prop\u00f3sitos:<\/p>\n