Como ter sucesso na governança de dados?

Neste artigo, exploraremos como ter sucesso na governança de dados. Se você trabalhou com grandes quantidades de dados, provavelmente já ouviu o termo “governança de dados"E você provavelmente já se perguntou: o que é? É ideal para você? Como implementar? Simplificando, governança de dados é a estratégia para lidar com dados – como eles são armazenados, acessados, verificados, protegidos e usados. A governança de dados inclui o desenvolvimento de esquemas de acesso: quem pode acessar, usar e compartilhar seus dados.

Essas questões estão se tornando cada vez mais importantes, à medida que as empresas dependem da coleta, do armazenamento e da análise de grandes volumes de dados para atingir seus objetivos comerciais. Os dados se tornaram uma ferramenta de lucro, um meio de comunicação e um segredo comercial para as empresas. Violações de dados podem levar a batalhas judiciais e fazer com que os consumidores percam a confiança na atividade principal de uma empresa.

Como ter sucesso na governança de dados?

Se você deixar que cada departamento processe os dados individualmente, não terá uma estratégia unificada para gerenciá-los e poderá deixar que cada departamento desenvolva suas próprias estratégias. Isso é impensável, assim como a falta de uma estratégia para gerenciar estoques físicos, permitindo que entidades individuais produzam, armazenem e vendam produtos à vontade. O uso indevido de dados, assim como o uso indevido de estoque, pode custar milhões de dólares às empresas, portanto, estratégias devem ser implementadas para tornar os dados consistentes, seguros e prontamente disponíveis. Essas políticas aplicadas ao domínio de dados constituem a governança de dados.

Características da Governança de Dados

UM estratégia de governança de dados deve abranger todo o ciclo de vida dos dados, desde a coleta até a administração dos dados. Durante esse ciclo de vida, a governança de dados deve abordar as seguintes questões:

1. Onde obter os dados e como obtê-los: este é o ponto de partida do ciclo de vida dos dados. A procedência dos dados determina a base de uma estratégia de governança de dados. Por exemplo, um fator importante na determinação da fonte dos dados é o tamanho do conjunto de dados. Os dados são coletados de mercados-alvo, clientes existentes e mídias sociais? Ou você usa um fornecedor externo para coletar ou analisar os dados coletados? Qual é o fluxo de dados de entrada? A governança de dados deve abordar essas questões, desenvolver estratégias para gerenciar a coleta de dados, orientar provedores externos a processar os dados que coletam ou analisar os dados coletados por você e controlar o caminho e o ciclo de vida dos dados.

2. A validação de dados, especialmente dados de múltiplas fontes, é uma dor de cabeça para administradores de dadosDistinguir dados importantes de dados ruidosos é apenas o começo do problema. Se você estiver coletando dados de uma empresa afiliada, deve garantir que os dados sejam confiáveis. Se estiver coletando dados de sites de mídia social, em sua estratégia, deve haver uma maneira de verificar dados importantes. Em qualquer caso, você deve garantir que os dados coletados sejam legítimos e não tenham sido adulterados – essa questão é especialmente preocupante em ambientes de computação paralela, onde a computação paralela é frequentemente usada para coletar grandes quantidades de dados, muitas vezes usando serviços de nuvem, aumentando assim o risco de segurança.

3. As políticas de governança de dados devem abordar questões de armazenamento, e as soluções de armazenamento dependem em grande parte do tamanho dos conjuntos de dados. Petabytes de big data devem ser armazenados em sistemas seguros e redundantes, frequentemente utilizando hierarquias que fornecem dados com base na frequência de uso. Dessa forma, sistemas online caros fornecem dados que são solicitados com frequência, enquanto dados solicitados com menos frequência são armazenados em sistemas mais baratos e menos disponíveis. Infelizmente, esses sistemas de menor prioridade também podem ser menos seguros, permitindo o acesso a dados sensíveis, mas solicitados com pouca frequência. Portanto, ao formular uma solução de armazenamento de dados, uma boa política de governança de dados deve considerar todos os aspectos.

4. A governança de dados deve desenvolver uma estratégia de controle de acesso que estabeleça um equilíbrio entre necessidades e segurança. Torne os dados acessíveis, quando necessário, para aqueles que precisam deles para realizar seu trabalho. Por motivos de segurança, eles não devem ter acesso a dados além de sua autoridade. Os dados devem ser acessados apenas sob a premissa de solicitações legítimas, mas, por motivos de segurança, o acesso a dados sensíveis deve ser dificultado e aberto apenas a usuários com um nível de segurança específico.

Os níveis de acesso devem ser definidos para os usuários e para os dados em si, e a interação próxima com o RH e o Departamento de Compras deve ser importante durante o gerenciamento de contas, pois isso permite que funcionários que estão saindo e fornecedores descontinuados percam o acesso em tempo hábil. Lidar com esses detalhes e garantir a propriedade e a responsabilização dos dados fazem parte de uma estratégia completa de governança de dados.

5. Usar/Compartilhar/Analisar. A forma como os dados são usados é uma parte essencial de uma estratégia de governança de dados. Os usos potenciais incluem o uso dos dados para gerenciar contas, melhorar a experiência do cliente, veicular publicidade direcionada, fornecer análises de mercado e compartilhar dados com empresas afiliadas. Quais dados podem ser compartilhados ou usados para marketing devem ser cuidadosamente definidos e protegidos contra ataques e vazamentos, visto que os dados devem ser usados exclusivamente para fins internos. Informe aos clientes que todas as empresas que coletam dados devem cumprir as regulamentações de uso e compartilhamento de dados. Ser capaz de garantir que o uso dos dados esteja em conformidade é outro benefício importante de ter uma política de governança de dados.

6. Coleta, verificação, armazenamento, acesso e uso são componentes necessários de um plano de segurança, e deve haver uma estratégia abrangente para abordar essas e outras questões de segurança. Um programa de segurança deve funcionar sem proibir usuários, mas as etapas do ciclo de vida dos dados podem ser atacadas e comprometidas por inadvertência. A busca pela segurança deve apoiar, e não dificultar, o uso necessário. Uma estratégia de governança de dados deve desenvolver soluções de segurança de dados, incluindo protocolos de acesso, criptografia de dados em repouso e em trânsito, entre outros.

7. Administração/Metadados. O ciclo de vida dos dados é incompleto sem administração. Um exemplo de administração é a aplicação de metadados a um dado para identificar a recuperação. Os metadados incluem a fonte dos dados, a data em que foram gerados e/ou coletados, informações sobre o nível de acesso, classificação semântica e outros atributos exigidos pela empresa. A governança de dados estabelece um vocabulário de metadados que define o período de validade dos dados. Lembre-se de que os dados também expiram e, em algum momento, podem ser usados apenas para análise de dados históricos.

Questões organizacionais de governança de dados

A criação de governança de dados frequentemente encontra resistência por parte daqueles que temem não conseguir mais acessar os dados de que precisam e daqueles que historicamente relutam em compartilhar seus dados por motivos de concorrência. Uma estratégia de governança de dados deve abordar essas preocupações e ser aceitável para todas as partes. Empresas acostumadas a um ambiente de silo de dados podem não se adaptar facilmente às novas estratégias de governança de dados, mas a dependência atual de grandes conjuntos de dados e os muitos problemas de segurança que os acompanham tornam a criação e a implementação de políticas de dados em toda a empresa uma necessidade.

Os dados são cada vez mais parte da infraestrutura de uma empresa, e as decisões são tomadas à medida que a empresa processa situações específicas, passo a passo. Isso é feito de forma pontual, geralmente em resposta a um problema específico. Como resultado, a forma como uma empresa lida com os dados pode mudar de departamento para departamento, ou mesmo de departamento para departamento.

Mesmo que cada departamento já tenha um plano razoável para o processamento de dados, esses planos podem entrar em conflito entre si e a empresa terá que encontrar uma maneira de mediar. Descobrir os requisitos e as necessidades de armazenamento de dados pode ser difícil e, se você não fizer isso corretamente, não conseguirá aproveitar o potencial dos dados para marketing e retenção de clientes, além de ter responsabilidade legal em caso de violação de dados.

Outro problema é que numa grande empresa os departamentos competem por recursos e competem para que suas necessidades sejam ouvidas. Os departamentos precisam apenas garantir sua própria viabilidade, seja um negócio lucrativo ou um centro de suporte, por isso têm uma visão limitada e se concentram em suas próprias necessidades, dificultando a obtenção de um acordo sem mediação.

O Conselho de Governança de Dados cria políticas de governança de dados com base nas políticas de dados existentes, nas necessidades não atendidas e em potenciais problemas de segurança, padronizando as políticas de coleta, gerenciamento, armazenamento, acesso e uso de dados, levando em consideração as diferentes necessidades de diferentes departamentos e cargos. O Conselho de Governança de Dados também atua como mediador, equilibrando necessidades conflitantes, conciliando as preocupações com a segurança com as necessidades de acesso e garantindo as políticas de gerenciamento de dados mais eficientes e seguras.

Como ter sucesso na governança de dados?

Como ter sucesso na governança de dados – 1. Estabeleça uma organização de governança de dados.

O Data Governance Institute recomenda a criação de um conselho de governança de dados que avalie as contribuições de usuários individuais de dados e estabeleça uma estratégia de gerenciamento de dados para toda a empresa, que atenda às necessidades de usuários internos, externos e até mesmo de órgãos jurídicos. O conselho deve incluir stakeholders de todas as áreas da empresa para garantir que todas as necessidades sejam atendidas e que todos os tipos de propriedade de dados sejam representados. Especialistas em segurança também devem fazer parte do comitê. É importante saber quais são os objetivos do conselho de governança de dados; portanto, pense nos motivos pelos quais sua organização precisa de uma estratégia de governança de dados e explique-a claramente.

Como ter sucesso na governança de dados – 2. Desenvolva uma estrutura que acomode uma ampla gama de requisitos de dados.

A estrutura deve garantir que as peças estejam integradas em um todo que atenda aos requisitos de coleta, armazenamento, recuperação e segurança. Para isso, uma empresa deve definir claramente sua estratégia de dados de ponta a ponta para projetar uma estrutura que abranja todos os requisitos e operações necessárias. As peças devem ser planejadas em conjunto para se apoiarem mutuamente, o que traz muitos benefícios, como a execução dos requisitos de recuperação em um ambiente altamente seguro.

A conformidade também precisa ser especificamente projetada como parte da estrutura, para que questões regulatórias possam ser rastreadas e reportadas. A estrutura também inclui registros diários e outras medidas de segurança que emitem alertas antecipados de ataques. A validação dos dados antes de utilizá-los também faz parte da estrutura. O Conselho de Governança de Dados deve compreender cada parte da estrutura, esclarecer sua finalidade e como ela funciona ao longo do ciclo de vida dos dados.

Como ter sucesso na governança de dados – 3. Pilote uma estratégia de dados.

Normalmente, uma estratégia deve ser implementada em pequena escala para descobrir falhas no planejamento, estrutura e infraestrutura antes de ser implementada em toda a empresa.

Como ter sucesso na governança de dados – 4. Tenha uma organização de governança de dados atualizada.

O Conselho de Governança de Dados deve acompanhar a evolução, pois as políticas de governança de dados certamente precisarão ser ajustadas à medida que se expandem para novas áreas de negócios. Além disso, à medida que a tecnologia evolui, as políticas de dados também devem evoluir, acompanhando as situações de segurança, os métodos de análise de dados e as ferramentas de gerenciamento de dados.

Como ter sucesso na governança de dados – 5. Saiba o que é uma estratégia de dados bem-sucedida.

Estabeleça métricas de sucesso para que o progresso possa ser mensurado. Definir metas de gerenciamento de dados ajudará você a identificar indicadores importantes de sucesso e, por sua vez, garantir que sua estratégia de governança de dados esteja caminhando na direção que você deseja e precisa.

Conclusão

Agradecemos a leitura do nosso artigo e esperamos que ele ajude você a entender melhor como ter sucesso na governança de dados. Se quiser saber mais sobre governança de dados, recomendamos que visite Gudu SQLFlow para maiores informações.

Como um dos melhores ferramentas de linhagem de dados disponível no mercado hoje, o Gudu SQLFlow pode não apenas analisar arquivos de script SQL, obter linhagem de dados, e realizar exibição visual, mas também permitir que os usuários forneçam linhagem de dados no formato CSV e executar exibição visual. (Publicado por Ryan em 24 de julho de 2022)