Publicada em 14/11/2012 16:04

Neste ano um dos assuntos mais falados foi Big Data. Uma pesquisa no Google Trends mostra um crescimento exponencial no interesse sobre o tema. Participei também de diversas palestras e reuniões com executivos para debater o assunto, e concluí que ainda estamos discutindo muito e fazendo relativamente pouco.

Claro que existem diversos casos de sucesso, mas a maioria das empresas ainda não tem uma visão clara do que é Big Data, do seu potencial e de como alavancar esta potencialidade. O próprio conceito de Big Data ainda está um pouco nebuloso. Veja, por exemplo, o que diz o Global Language Monitor em relação ao assunto: Big Data e Cloud estão entre os conceitos de tecnologia mais confusos da década – todo mundo usa, mas sequer sabe o que significa.

O que vejo são muitas empresas entrando em iniciativas de Big Data sem uma estratégia bem definida, que as oriente. Big Data não é apenas comprar pacotes de tecnologia, mas uma nova maneira de explorar o imenso volume de dados que circula dentro e fora das empresas. Big Data embute transformações em processos de negócio, fontes de dados, infraestrutura de tecnologia, capacitações e, até mesmo, mudanças organizacionais na empresa e em TI.

Antes de tudo, é importante lembrar que Big Data não trata apenas da dimensão e do volume, mas existe também uma variedade imensa de dados não estruturados, coletados das mídias sociais, por exemplo, que precisam ser validados (ou seja, terem veracidade para serem usados) e tratados em velocidade adequada para gerarem valor para o negócio. A fórmula é, então: Big Data = volume + variedade + velocidade + veracidade +  valor.

A questão do valor é importante. Big Data só faz sentido se o valor da análise dos dados compensar o custo de sua coleta, armazenamento e processamento. Existem também questões legais a serem resolvidas. Conheço um caso muito curioso de uma grande rede varejista americana que usa um sofisticado algoritmo de análise preditiva, baseado na varredura de um imenso volume de dados de seus clientes.

O algoritmo chegou à conclusão que determinado padrão de compras e comentários nas mídias sociais levantava uma boa possibilidade de uma determinada pessoa estar grávida, e enviou correspondência com promoções para grávidas para sua residência. Quem abriu foi o pai da adolescente, que descobriu então a gravidez a filha. O advertising baseado nestas análises é uma questão ainda indefinida de invasão de privacidade. O uso de dados para prever eventos futuros da vida de uma pessoa tem consequências impactantes, particulamente se familiares ou potenciais empregadores passam a ter conhecimento de questões pessoais ligadas a estilo de vida ou estado clínico. Pior se a análise não for verídica, o que geraria um inconveniente muito grande e, eventualmente, um processo legal.

A capacitação profissional é um fator importantíssimo. Recomendo a leitura do texto “7 new types of jobs created by Big Data”, que mostra que existem várias possibilidades de capacitação no setor, tanto no viés técnico como no analítico.

No lado analítico, é necessário preparação para sair do questionamento atual, que se faz pelo tradicional BI (“qual foi nossa taxa de crescimento em vendas mês a mês, nos últimos dois anos”), obtida pelos dados históricos armazenados no Data Warehouse e coletados pelos sistemas transacionais para novos tipos de análises. Com dados coletados em tempo real (não apenas pelos sistemas transacionais, mas também de midias sociais, bases de dados públicas, entre outras fontes, inclusive as que estão em sistemas internos), mas inaproveitados, podemos, por exemplo, chegar a respostas mais complexas, como, por exemplo: “como podemos crescer 20% no ticket médio de nossos clientes nas lojas da Zona Sul do Rio de Janeiro, ao mesmo tempo em que a concorrência está inaugurando duas novas lojas?”.

Analisar o comportamento dos seus clientes e do mercado como um todo pode levar a identificação de oportunidades de lançamento de novos produtos, focados em determinados nichos que não são cobertos pela concorrência.

Big Data é um Big Challenge para os CIOs e a área de TI. Primeiro temos as tecnologias que envolvem Big Data. Muitas vezes será necessário ir além das tecnologias tradicionais de banco de dados e Data Warehouse, entrando no campo dos bancos de dados NoSQL e processamento massivo. Temos também a questão da privacidade e acesso a dados confidenciais. É essencial criar uma politica de acesso e divulgação das informações. Análises preditivas podem gerar resultados capazes de questionar algumas perspectivas de negócios da empresa, sendo necessário ter sua divulgação filtrada para não sofrerem disseminação inadequada. A capacidade analítica para traduzir dados em informações e conhecimento é outro desafio. Requer capacitação e ferramentas de visualização bem mais sofisticadas. Outra mudança que Big Data embute é a transformação das relações entre TI e o negócio. TI deve prover a base tecnológica, governança e procedimentos de segurança para o Big Data, mas as consultas e análises deverão ser feitas pelas áreas de negócio. O modelo Big Data deve ser para o usuário um modelo

Big Data não é, em absoluto, um hype de mercado. É um tsunami ainda em alto mar, pouco visível, mas com poder de causar devastação imensa se for ignorado. A minha sugestão é avaliar o impacto do Big Data na sua indústria e na sua empresa, considerando quão distante a sua organização está hoje em termos de “estar preparada” para o que vem pela frente. Isto significa avaliar a empresa e a área de TI para as tecnologias, capacitações e processos que serão necessários para explorar o potencial do Big Data. Adicionalmente, ainda é um cenário imaturo e existem poucos exemplos de “melhores práticas”. Portanto, é uma iniciativa inovadora para a maioria das empresas, com os riscos e as recompensas dos empreendedores inovadores.  Mas ficar parado esperando a onda chegar será perigoso, pois, provavelmente até o fim da década, Big Data passará a ser apenas “Just Data”. Será o modelo natural de pensar análises de dados.

Leitura recomendada:

ManyEyes – http://www-958.ibm.com/software/data/cognos/manyeyes/