{"id":5619,"date":"2022-08-27T04:04:11","date_gmt":"2022-08-27T12:04:11","guid":{"rendered":"https:\/\/www.gudusoft.com\/?p=5619"},"modified":"2022-09-17T14:02:26","modified_gmt":"2022-09-17T22:02:26","slug":"dark-secrets-of-data-management","status":"publish","type":"post","link":"https:\/\/www.gudusoft.com\/pt\/segredos-obscuros-do-gerenciamento-de-dados\/","title":{"rendered":"11 segredos obscuros do gerenciamento de dados | Gudu SQLFlow"},"content":{"rendered":"

11 segredos obscuros do gerenciamento de dados<\/h2>\n

Alguns chamam os dados de \u201cnovo petr\u00f3leo\u201d, enquanto outros os chamam de \u201cnovo ouro\u201d. Deixando de lado a validade dessas met\u00e1foras, n\u00e3o h\u00e1 d\u00favida de que organizar e analisar dados \u00e9 um trabalho vital para qualquer empresa que busca cumprir a promessa de tomada de decis\u00e3o baseada em dados. Para esse fim, uma s\u00f3lida estrat\u00e9gia de gerenciamento de dados<\/strong><\/a> \u00e9 a chave. Isso inclui governan\u00e7a de dados<\/strong><\/a>, opera\u00e7\u00f5es de dados, armazenamento de dados<\/a><\/strong>, engenharia de dados<\/a><\/strong>, an\u00e1lise de dados<\/strong><\/a>, ci\u00eancia de dados, etc. O gerenciamento de dados, quando feito corretamente, pode fornecer uma vantagem competitiva para empresas em todos os setores. Neste artigo, apresentaremos 11 segredos obscuros da gest\u00e3o de dados<\/strong>.<\/p>\n

\"Segredos

Segredos obscuros da gest\u00e3o de dados<\/p><\/div>\n

Segredos obscuros do gerenciamento de dados \u2013 1. Dados n\u00e3o estruturados s\u00e3o dif\u00edceis de analisar<\/h4>\n

80%-90% dos dados em empresas s\u00e3o dados n\u00e3o estruturados. \u00c0 medida que a transforma\u00e7\u00e3o digital entra gradualmente na \u00e1rea de \u00e1guas profundas, a quantidade de dados n\u00e3o estruturados est\u00e1 crescendo rapidamente. Esses dados est\u00e3o espalhados na empresa interna na forma de documentos, imagens, \u00e1udio e v\u00eddeo, etc. Devido aos motivos de departamentos, aplicativos, arquiteturas, ambiente multi-nuvem e assim por diante, eles formam ilhas de dados n\u00e3o estruturados, que s\u00e3o dif\u00edceis de compartilhar e usar, e extraem o valor do conte\u00fado, dificultando seriamente o processo de transforma\u00e7\u00e3o digital empresarial.<\/p>\n

Segredos obscuros da gest\u00e3o de dados \u2013 2. Mesmo dados estruturados s\u00e3o frequentemente desestruturados<\/h4>\n

Bons cientistas e administradores de banco de dados orientam os bancos de dados especificando o tipo e a estrutura de cada campo. \u00c0s vezes, em nome de mais estrutura, eles restringem o valor em um determinado campo a um inteiro em um intervalo espec\u00edfico ou uma escolha predefinida. Mesmo assim, as pessoas que preenchem formul\u00e1rios de armazenamento de banco de dados encontrar\u00e3o maneiras de aumentar a dificuldade.<\/p>\n

Quando eles acham que uma pergunta n\u00e3o se aplica, \u00e0s vezes \u00e9 indicado pelo campo estar vazio; outros s\u00e3o indicados pela inser\u00e7\u00e3o de um tra\u00e7o ou a inicial \u201cna\u201d. Um bom desenvolvedor pode identificar alguns desses problemas por meio da valida\u00e7\u00e3o. Bom cientistas de dados<\/strong><\/a> tamb\u00e9m pode reduzir essa incerteza limpando. Mas \u00e9 enlouquecedor que mesmo as tabelas mais estruturadas tenham entradas suspeitas que podem introduzir inc\u00f3gnitas ou at\u00e9 mesmo erros na an\u00e1lise.<\/p>\n

Segredos obscuros do gerenciamento de dados \u2013 3. Os esquemas de dados s\u00e3o muito r\u00edgidos ou muito frouxos<\/strong><\/h4>\n

N\u00e3o importa o quanto a equipe de dados tente articular restri\u00e7\u00f5es de esquema, o esquema final usado para definir os valores em v\u00e1rios campos de dados \u00e9 muito rigoroso ou muito frouxo. Se a equipe de dados adicionasse restri\u00e7\u00f5es rigorosas, os usu\u00e1rios reclamariam que suas respostas n\u00e3o foram encontradas na lista limitada de valores aceit\u00e1veis. Se o esquema de dados for muito permissivo, os usu\u00e1rios podem adicionar valores estranhos com pouca consist\u00eancia.<\/p>\n

Segredos obscuros da gest\u00e3o de dados \u2013 4. As leis de dados s\u00e3o muito rigorosas<\/h4>\n

As leis sobre privacidade e prote\u00e7\u00e3o de dados s\u00e3o fortes e s\u00f3 ficar\u00e3o mais fortes. Com mais de uma d\u00fazia de regulamenta\u00e7\u00f5es como GDPR, HIPPA e mais, coletar dados pode ser muito dif\u00edcil e ainda mais perigoso se hackeado. Em muitos casos, contratar um advogado custar\u00e1 muito mais do que contratar um programador ou cientista de dados. Essas dores de cabe\u00e7a s\u00e3o o motivo pelo qual algumas empresas descartam dados assim que s\u00e3o processados.<\/p>\n

Segredos obscuros da gest\u00e3o de dados \u2013 5. O custo da limpeza de dados \u00e9 enorme<\/h4>\n

Limpeza de dados \u00e9 o processo de corrigir e remover registros de dados imprecisos de um banco de dados ou tabela de dados. Em termos gerais, a limpeza de dados inclui identificar e substituir dados e registros incompletos, imprecisos, irrelevantes ou problem\u00e1ticos.<\/p>\n

Muitos cientistas de dados admitem que 90% do seu trabalho \u00e9 simplesmente coletar dados, apresent\u00e1-los de forma consistente e lidar com infinitas brechas ou erros. As pessoas que t\u00eam os dados sempre dir\u00e3o: "Tudo est\u00e1 em CSV (Comma Separated Values, um formato de arquivo comum e relativamente simples) pronto para uso". Mas eles n\u00e3o mencionam campos em branco ou descri\u00e7\u00f5es de erros. Limpar dados para projetos de ci\u00eancia de dados pode levar at\u00e9 10 vezes mais tempo do que iniciar rotinas em R ou Python para realmente executar an\u00e1lises estat\u00edsticas.<\/p>\n

Segredos obscuros da gest\u00e3o de dados \u2013 6. Os usu\u00e1rios est\u00e3o cada vez mais desconfiados de suas pr\u00e1ticas de dados<\/h4>\n

Usu\u00e1rios finais e clientes est\u00e3o cada vez mais desconfiados das pr\u00e1ticas de gerenciamento de dados das empresas, e os algoritmos de IA e seu uso s\u00f3 aumentaram os medos e deixaram mais e mais pessoas profundamente desconfort\u00e1veis \u200b\u200bsobre o pr\u00f3prio ato de capturar seus dados. Essas preocupa\u00e7\u00f5es est\u00e3o impulsionando o processo regulat\u00f3rio e frequentemente colocam as empresas em crises de rela\u00e7\u00f5es p\u00fablicas. N\u00e3o apenas isso, mas as pessoas interferem deliberadamente na coleta de dados com valores falsos ou respostas erradas. \u00c0s vezes, metade do trabalho \u00e9 lidar com parceiros e clientes maliciosos.<\/p>\n

Segredos obscuros da gest\u00e3o de dados \u2013 7. Integrar dados externos pode valer a pena, mas tamb\u00e9m pode significar um desastre<\/strong><\/h4>\n

Uma coisa \u00e9 as empresas possu\u00edrem os dados que coletam, mas outra coisa \u00e9 elas quererem integrar suas pr\u00f3prias informa\u00e7\u00f5es locais com dados de terceiros e a vasta quantidade de informa\u00e7\u00f5es personalizadas que existem na Internet. Algumas ferramentas prometem abertamente coletar dados sobre cada cliente para construir um perfil personalizado com cada compra. Isso mesmo, elas est\u00e3o usando as mesmas palavras que ag\u00eancias de espionagem que rastreiam terroristas para rastrear suas compras de fast food e pontua\u00e7\u00e3o de cr\u00e9dito. N\u00e3o \u00e9 de se admirar que as pessoas estejam preocupadas e em p\u00e2nico!<\/p>\n

Segredos obscuros da gest\u00e3o de dados \u2013 8. Os reguladores est\u00e3o reprimindo o uso de dados<\/h4>\n

Ningu\u00e9m sabe quando a an\u00e1lise inteligente de dados cruzar\u00e1 a linha, mas quando isso acontecer, os reguladores entrar\u00e3o em a\u00e7\u00e3o. Em um caso recente no Canad\u00e1, uma investiga\u00e7\u00e3o do governo descobriu que algumas lojas de donuts rastrearam clientes que tamb\u00e9m compraram em concorrentes.<\/p>\n

De acordo com um comunicado de imprensa rec\u00e9m-emitido, "A investiga\u00e7\u00e3o descobriu que o contrato da Tim Hortons com um provedor de servi\u00e7os de localiza\u00e7\u00e3o terceirizado nos Estados Unidos continha uma linguagem t\u00e3o vaga e permissiva que permitiu \u00e0 empresa vender 'desidentifica\u00e7\u00e3o' para seus pr\u00f3prios prop\u00f3sitos. dados de localiza\u00e7\u00e3o." Para qu\u00ea? Vender mais donuts? De qualquer forma, parece que os reguladores est\u00e3o prestando cada vez mais aten\u00e7\u00e3o a qualquer coisa que envolva informa\u00e7\u00f5es pessoais.<\/p>\n

Segredos obscuros do gerenciamento de dados \u2013 9. Seu plano de dados pode n\u00e3o valer a pena<\/h4>\n

Imaginamos que um \u00f3timo algoritmo pode tornar tudo mais eficiente e lucrativo. \u00c0s vezes, tal algoritmo \u00e9 realmente poss\u00edvel, mas o pre\u00e7o tamb\u00e9m pode ser muito alto. Por exemplo, consumidores (e at\u00e9 mesmo empresas) est\u00e3o cada vez mais questionando o valor do marketing direcionado de esquemas de gerenciamento de dados bem projetados. Algumas pessoas apontam que frequentemente vemos an\u00fancios de coisas que compramos porque os rastreadores de an\u00fancios n\u00e3o descobriram que n\u00e3o precisamos mais delas.<\/p>\n

O mesmo destino frequentemente recai sobre outros planos. \u00c0s vezes, uma an\u00e1lise rigorosa de dados identifica as f\u00e1bricas com pior desempenho, mas isso n\u00e3o importa porque a empresa assinou um contrato de arrendamento de 30 anos no pr\u00e9dio. As empresas precisam se preparar para a possibilidade de que todos os g\u00eanios da ci\u00eancia de dados possam produzir uma resposta inaceit\u00e1vel.<\/p>\n

Segredos obscuros da gest\u00e3o de dados \u2013 10. No final, as decis\u00f5es sobre dados s\u00e3o muitas vezes apenas julgamentos subjetivos<\/strong><\/h4>\n

Numbers can provide enough precision, but how humans interpret them is often what matters. After all the data analysis and AI manipulation, most algorithms need to decide whether a value is above or below a threshold. Sometimes scientists want p-values \u200b\u200bbelow 0.05; other times, police issue tickets for cars that are 20 percent faster. These thresholds are usually just arbitrary values. For all the science and math that can be applied to data, there are more grey areas in many “data-driven” processes than we think, and while companies may be investing all their resources into their data management practices, decisions are more dependent on Intuition and subjective judgment.<\/p>\n

Segredos obscuros da gest\u00e3o de dados \u2013 11. Os custos de armazenamento de dados est\u00e3o a explodir<\/h4>\n

As unidades de disco est\u00e3o ficando maiores e os pre\u00e7os por terabyte est\u00e3o caindo, mas os programadores est\u00e3o coletando dados significativamente mais r\u00e1pido do que os pre\u00e7os est\u00e3o caindo. Os dispositivos da Internet das Coisas (IoT) est\u00e3o constantemente carregando dados, e os usu\u00e1rios esperam poder navegar na rica cole\u00e7\u00e3o desses bytes para sempre. Ao mesmo tempo, os funcion\u00e1rios de conformidade e reguladores continuam a exigir mais e mais dados em caso de auditorias futuras. Seria uma coisa se algu\u00e9m realmente olhasse alguns desses dados, mas temos apenas um tempo limitado em um dia. A porcentagem de dados que s\u00e3o realmente revisitados est\u00e1 ficando cada vez menor. No entanto, o pre\u00e7o dos pacotes de expans\u00e3o de armazenamento tem aumentado.<\/p>\n

Conclus\u00e3o<\/h3>\n

Obrigado por ler nosso artigo e se voc\u00ea gostou, ficaremos muito felizes. Se voc\u00ea quiser saber mais sobre gerenciamento de dados, gostar\u00edamos de aconselh\u00e1-lo a visitar Gudu SQLFlow<\/strong><\/a> para maiores informa\u00e7\u00f5es.<\/p>\n

Como um dos\u00a0melhores ferramentas de linhagem de dados<\/a><\/strong>\u00a0dispon\u00edvel no mercado hoje, o Gudu SQLFlow pode n\u00e3o apenas analisar arquivos de script SQL, obter\u00a0linhagem de dados<\/a><\/strong>, e realizar exibi\u00e7\u00e3o visual, mas tamb\u00e9m permitir que os usu\u00e1rios forne\u00e7am\u00a0linhagem de dados<\/strong>\u00a0no formato CSV e executar exibi\u00e7\u00e3o visual.\u00a0(Publicado por Ryan em 27 de agosto de 2022)<\/strong><\/p>\n<\/div><\/div><\/div>