Em um mundo cada vez mais pautado por dados, organizações de todos os setores buscam se tornar “data-driven” – guiadas por dados. Esse movimento, porém, é repleto de desafios, desde a implantação de uma cultura de dados até a escolha das tecnologias adequadas. Neste artigo, exploramos esses desafios com base em uma palestra que oferece insights valiosos sobre a jornada para se tornar uma empresa orientada a dados.
“Uma pesquisa realizada pela PWC com 2.100 executivos apontou que 58% das decisões são tomadas por intuição, experiência própria ou de terceiros, contra 29% que se baseiam em orientação a dados.”
Implementar uma cultura de dados pode ser desafiador devido a vários fatores, incluindo:
- Resistência à Mudança: Dificuldade em mudar o mindset e hábitos existentes.
- Falta de Habilidades: Carência de conhecimento e habilidades em análise e interpretação de dados.
- Qualidade dos Dados: Enfrentamento de problemas com dados desorganizados ou de baixa qualidade.
- Ferramentas e Tecnologia: Desafios na seleção e implementação das ferramentas certas de dados.
- Custos e Investimentos: Necessidade de investimentos significativos em tecnologia e treinamento.
- Governança de Dados: Complexidade em estabelecer uma governança de dados eficaz.
- Visão de Longo Prazo: Exigência de comprometimento com objetivos de longo prazo e paciência.
- Integração Organizacional: Obstáculos na integração de dados entre departamentos devido a silos organizacionais.
O Caminho para ser Data-Driven
O que significa ser uma empresa orientada por dados? As empresas geralmente não são criadas desde o início como entidades orientadas e centradas em dados; para a maioria das empresas, é uma evolução na sua cultura e estratégia, uma jornada que pode levar anos.
De acordo com Christopher S Penn, para se tornarem orientadas por dados, as empresas evoluem através de cinco estágios:
- Resistente a dados
- Curioso por dados
- Consciente de dados
- Conhecedor de dados
- Orientado por dados
A transição para uma cultura orientada a dados não é instantânea, mas sim um processo que pode ser descrito em cinco estágios:
- Resistente a Dados: O estágio inicial, onde a mudança é frequentemente resistida com o argumento “sempre fizemos assim”.
- Curioso por Dados: Reconhecimento do valor dos dados e foco em sua coleta.
- Conscientes dos Dados: Análise e questionamento sobre o que os dados revelam.
- Conhecimento de Dados: Compreensão dos dados como um ativo estratégico.
- Orientado a Dados: Utilização de dados e insights para guiar decisões futuras.
Resistente a dados: Empresas resistentes aos dados seguem o mantra “Sempre fizemos assim” e enfrentam obstáculos como a revelação de problemas ocultos e contribuições individuais politicamente sensíveis, prejudicando potencialmente a marca ou estratégia. A transição para superar essa resistência geralmente começa com esforços individuais para melhorar o desempenho através dos dados, sem um mandato oficial da organização.
Curioso por dados: Organizações curiosas por dados reconhecem o valor dos dados e iniciam a coleta de informações através de análises web, mídia social, CRM, ERP, e sistemas financeiros, explorando o potencial dos dados recolhidos, movidas pelo desejo de desbloquear seu valor implícito.
Consciente de dados: Empresas conscientes dos dados focam na análise para extrair valor, perguntando-se sobre eventos passados e padrões nos dados. Este estágio é marcado pela experimentação com diversas ferramentas e fornecedores, visando obter vitórias táticas com os dados. A transição para uma fase mais avançada ocorre quando a organização questiona os custos versus os benefícios das ferramentas utilizadas.
Conhecedor de dados: A fase de conhecimento dos dados destaca a importância de entender não apenas o que aconteceu, mas por que aconteceu, investindo em análise profunda para desenvolver insights. O foco muda para a compreensão interna, usando ferramentas de investigação para decifrar causas e efeitos, levando a uma tomada de decisão mais estratégica.
Orientado por dados: Na fase orientada por dados, a organização utiliza dados, análises e insights estratégicos para prever e responder à pergunta “o que vem a seguir?”. Os dados tornam-se um recurso central para tomar decisões em todos os níveis, informando estratégias e operações com base em evidências claras, iniciando cada processo de planejamento com dados e garantindo que cada decisão seja medida e avaliada rigorosamente.
A Engenharia de Dados na Prática
A engenharia de dados é fundamental nesse processo, embora sua implementação varie de acordo com a estrutura organizacional. Empresas mais rígidas e hierarquizadas tendem a desenvolver sistemas menos ágeis, enquanto organizações adaptáveis favorecem sistemas flexíveis e descentralizados.
Um cenário inicial comum para muitas startups inclui uma pequena equipe, orçamento limitado e uma estrutura ainda em definição. Nesse contexto, é desafiador mas crucial estabelecer uma base sólida para a engenharia de dados.
A Lei de Conway, que diz que “o software é uma cópia da empresa que o desenvolve, sendo assim empresas mal estruturadas consequentemente desenvolvem softwares mal estruturados”.
Criado por Melvin Conway, ele descreve a Lei de Conway mais ou menos assim: “Qualquer organização que projete um sistema irá desenvolver uma estrutura para esse sistema que será uma cópia de estrutura de comunicação da própria organização”.
Organizações mais RÍGIDAS / HIERARQUIZADAS tendem a desenvolver sistemas menos ágeis e inflexíveis (monolitos centralizados)
Organizações mais ADAPTÁVEIS / DESCENTRALIZADAS tendem a desenvolver sistemas mais ágeis e flexíveis (microsserviços distribuídos)
Logo, em uma relação engenharia de dados, implantar uma área de dados em uma empresa mais rígida, acaba sendo um desafio extra.
Lições de Tentativas e Erros
A jornada rumo a uma cultura orientada a dados está repleta de aprendizados, muitos deles fruto de tentativas, erros e ajustes:
- 1ª Tentativa: Foco em dashboards em tempo real com recursos limitados. Aprendizado: a importância de ferramentas open-source e arquitetura serverless.
- 2ª Tentativa: Evolução dos relatórios e implementação de um Data Lake. Aprendizado: a necessidade de uma cultura que promova dados e a importância da conformidade regulatória.
- Descentralização dos Dados: Fornecimento de fontes de dados seguras e promoção de BI self-service. Aprendizado: Gerenciamento de acessos e demandas se torna mais complexo, e a escalabilidade passa a ser uma preocupação.
Considerações Finais
Para superar os desafios da engenharia de dados, é essencial investir na fundamentação desde o início, nunca negligenciar um bom catálogo de dados, e reforçar constantemente a cultura de dados na organização. Além disso, é vital adotar práticas de segurança, auditoria, logs e monitoramento para garantir a integridade e a confiabilidade dos dados.
Resumindo:
- Invista na fundamentação, desde o início
- Não nigligencie um bom catálogo de dados
- Cuidado com acessos soltos e impersonados
- Adicione auditoria, logs e monitoramento
- Reforce a cultura de dados
- Saiba (ou tente ao máximo) saber o propósito daquele dado salvo
- Use e abuse de ferramentas open-source (já consolidadas)
Este artigo foi criado através da minha palestra para ao TDC Business 2023: https://thedevconf.com/tdc/2023/business/trilha-engenharia-de-dados
