Porque é tão difícil emplacar uma cultura de dados?

Em um mundo cada vez mais pautado por dados, organizações de todos os setores buscam se tornar “data-driven” – guiadas por dados. Esse movimento, porém, é repleto de desafios, desde a implantação de uma cultura de dados até a escolha das tecnologias adequadas. Neste artigo, exploramos esses desafios com base em uma palestra que oferece insights valiosos sobre a jornada para se tornar uma empresa orientada a dados.

“Uma pesquisa realizada pela PWC com 2.100 executivos apontou que 58% das decisões são tomadas por intuição, experiência própria ou de terceiros, contra 29% que se baseiam em orientação a dados.”

Implementar uma cultura de dados pode ser desafiador devido a vários fatores, incluindo:

Resistência à Mudança: Dificuldade em mudar o mindset e hábitos existentes.
Falta de Habilidades: Carência de conhecimento e habilidades em análise e interpretação de dados.
Qualidade dos Dados: Enfrentamento de problemas com dados desorganizados ou de baixa qualidade.
Ferramentas e Tecnologia: Desafios na seleção e implementação das ferramentas certas de dados.
Custos e Investimentos: Necessidade de investimentos significativos em tecnologia e treinamento.
Governança de Dados: Complexidade em estabelecer uma governança de dados eficaz.
Visão de Longo Prazo: Exigência de comprometimento com objetivos de longo prazo e paciência.
Integração Organizacional: Obstáculos na integração de dados entre departamentos devido a silos organizacionais.

O Caminho para ser Data-Driven

O que significa ser uma empresa orientada por dados? As empresas geralmente não são criadas desde o início como entidades orientadas e centradas em dados; para a maioria das empresas, é uma evolução na sua cultura e estratégia, uma jornada que pode levar anos.

De acordo com Christopher S Penn, para se tornarem orientadas por dados, as empresas evoluem através de cinco estágios:

Resistente a dados
Curioso por dados
Consciente de dados
Conhecedor de dados
Orientado por dados

A transição para uma cultura orientada a dados não é instantânea, mas sim um processo que pode ser descrito em cinco estágios:

Resistente a Dados: O estágio inicial, onde a mudança é frequentemente resistida com o argumento “sempre fizemos assim”.
Curioso por Dados: Reconhecimento do valor dos dados e foco em sua coleta.
Conscientes dos Dados: Análise e questionamento sobre o que os dados revelam.
Conhecimento de Dados: Compreensão dos dados como um ativo estratégico.
Orientado a Dados: Utilização de dados e insights para guiar decisões futuras.

Resistente a dados: Empresas resistentes aos dados seguem o mantra “Sempre fizemos assim” e enfrentam obstáculos como a revelação de problemas ocultos e contribuições individuais politicamente sensíveis, prejudicando potencialmente a marca ou estratégia. A transição para superar essa resistência geralmente começa com esforços individuais para melhorar o desempenho através dos dados, sem um mandato oficial da organização.

Curioso por dados: Organizações curiosas por dados reconhecem o valor dos dados e iniciam a coleta de informações através de análises web, mídia social, CRM, ERP, e sistemas financeiros, explorando o potencial dos dados recolhidos, movidas pelo desejo de desbloquear seu valor implícito.

Consciente de dados: Empresas conscientes dos dados focam na análise para extrair valor, perguntando-se sobre eventos passados e padrões nos dados. Este estágio é marcado pela experimentação com diversas ferramentas e fornecedores, visando obter vitórias táticas com os dados. A transição para uma fase mais avançada ocorre quando a organização questiona os custos versus os benefícios das ferramentas utilizadas.

Conhecedor de dados: A fase de conhecimento dos dados destaca a importância de entender não apenas o que aconteceu, mas por que aconteceu, investindo em análise profunda para desenvolver insights. O foco muda para a compreensão interna, usando ferramentas de investigação para decifrar causas e efeitos, levando a uma tomada de decisão mais estratégica.

Orientado por dados: Na fase orientada por dados, a organização utiliza dados, análises e insights estratégicos para prever e responder à pergunta “o que vem a seguir?”. Os dados tornam-se um recurso central para tomar decisões em todos os níveis, informando estratégias e operações com base em evidências claras, iniciando cada processo de planejamento com dados e garantindo que cada decisão seja medida e avaliada rigorosamente.

A Engenharia de Dados na Prática

A engenharia de dados é fundamental nesse processo, embora sua implementação varie de acordo com a estrutura organizacional. Empresas mais rígidas e hierarquizadas tendem a desenvolver sistemas menos ágeis, enquanto organizações adaptáveis favorecem sistemas flexíveis e descentralizados.

Um cenário inicial comum para muitas startups inclui uma pequena equipe, orçamento limitado e uma estrutura ainda em definição. Nesse contexto, é desafiador mas crucial estabelecer uma base sólida para a engenharia de dados.

A Lei de Conway, que diz que “o software é uma cópia da empresa que o desenvolve, sendo assim empresas mal estruturadas consequentemente desenvolvem softwares mal estruturados”.

Criado por Melvin Conway, ele descreve a Lei de Conway mais ou menos assim: “Qualquer organização que projete um sistema irá desenvolver uma estrutura para esse sistema que será uma cópia de estrutura de comunicação da própria organização”.

Organizações mais RÍGIDAS / HIERARQUIZADAS tendem a desenvolver sistemas menos ágeis e inflexíveis (monolitos centralizados)

Organizações mais ADAPTÁVEIS / DESCENTRALIZADAS tendem a desenvolver sistemas mais ágeis e flexíveis (microsserviços distribuídos)

Logo, em uma relação engenharia de dados, implantar uma área de dados em uma empresa mais rígida, acaba sendo um desafio extra.

Lições de Tentativas e Erros

A jornada rumo a uma cultura orientada a dados está repleta de aprendizados, muitos deles fruto de tentativas, erros e ajustes:

1ª Tentativa: Foco em dashboards em tempo real com recursos limitados. Aprendizado: a importância de ferramentas open-source e arquitetura serverless.
2ª Tentativa: Evolução dos relatórios e implementação de um Data Lake. Aprendizado: a necessidade de uma cultura que promova dados e a importância da conformidade regulatória.
Descentralização dos Dados: Fornecimento de fontes de dados seguras e promoção de BI self-service. Aprendizado: Gerenciamento de acessos e demandas se torna mais complexo, e a escalabilidade passa a ser uma preocupação.

Considerações Finais

Para superar os desafios da engenharia de dados, é essencial investir na fundamentação desde o início, nunca negligenciar um bom catálogo de dados, e reforçar constantemente a cultura de dados na organização. Além disso, é vital adotar práticas de segurança, auditoria, logs e monitoramento para garantir a integridade e a confiabilidade dos dados.

Resumindo: