Big Data, o grande negócio

Infográfico: Utilizadores do serviço Divvy em Chicago –  Chicago Architecture Foundation Exhibition

Reduzir custos e riscos e melhorar processos é um importante objetivo de qualquer empresa. A análise de dados sobre vendas e despesas internas, por exemplo, é uma etapa fundamental para prever os próximos passos de um negócio. Entretanto, há um volume cada vez maior de dados disponibilizados na internet (e fora dela) que muitas vezes são ignorados – os chamados dados não estruturados – e que também podem ser analisados. Com o recente desenvolvimento de sistemas computacionais capazes de capturar esses dados e analisá-los, criou-se uma nova possibilidade para a obtenção de insights que levam a decisões e direções estratégicas baseadas em dados concretos.

Big Data é o termo de mercado para o conjunto de soluções que analisa informações em imenso volume, velocidade e variedade de dados que impactam os negócios no dia a dia. A análise dessas enormes quantidades de dados complexos permite obter informações que não seriam possíveis de outra forma. Essa possibilidade vem sendo usada em campos completamente diferentes, desde o comércio até análises nos campos da saúde, meio-ambiente, educação e mobilidade urbana. Recentemente, o contato com esse tipo de recurso tem se tornado mais acessível a pequenas empresas que querem traçar planos eficazes de crescimento.

O conceito

O surgimento do Big Data remonta ao ano de 2004, ano em que o Google publicou uma pesquisa sobre um projeto chamado MapReduce, um modelo de programação desenhado para processar grandes volumes de dados. Com o sucesso do modelo, outras empresas decidiram fazer uso de seus algoritmos. Então, a desenvolvedora Apache criou o Hadoop, uma plataforma de software em Java de computação distribuída voltada para clusters e processamento de grandes massas de dados. Apesar de ser um projeto construído por uma comunidade de contribuidores, atualmente o Yahoo! tem sido o maior contribuidor para seu desenvolvimento, utilizando essa plataforma intensivamente em seus negócios.
Embora o termo Big Data seja relativamente novo, o ato de recolher e armazenar grandes quantidades de informações para eventual análise de dados é antigo. O conceito ganhou força no início dos anos 2000, quando o analista Doug Laney, articulou a definição de Big Data como tridimensional, contendo, assim, o que chamou de três “V”s: Volume, Velocidade e Variedade.

O Volume diz respeito à coleta de dados de uma grande variedade de fontes dentro e fora de uma empresa, incluindo transações comerciais, redes sociais e informações de sensores ou dados transmitidos de máquina a máquina. A Velocidade compreende o fluxo de dados em velocidade sem precedentes e que devem ser tratados em tempo hábil. Tags de RFID, sensores, celulares e contadores inteligentes, por exemplo, estão impulsionado a necessidade de lidar com imensas quantidades de dados em tempo real, ou quase real. Por último, a Variedade aponta que os dados são gerados em todos os tipos de formatos – e-mail, vídeo, áudio, dados de cotações da bolsa e transações financeiras, dados numéricos em bancos de dados tradicionais e até textos em redes sociais, blogs e reviews.

A rede de hipermercados Walmart, por exemplo, lida com um número imenso, rápido e variado de dados. Nos Estados Unidos, são mais de 1 milhão de informações de compras a cada hora, as quais são armazenadas em bases de dados. Estima-se que isso gere mais de 2.5 petabytes (2560 terabytes) de quantidade de informação. Entretanto, não são só as informações de transações comerciais que interessam aos analistas de Big Data.

Segundo Gil Giardelli, professor do Centro de Inovação e Criatividade da Escola Superior de Propaganda e Marketing (ESPM) e presidente da Gaia Creative, em artigo para a revista Exame, o Walmart também utiliza o Big Data para outros fins, como previsões de compras e demandas dos consumidores dos Estados Unidos.

“Analistas do banco de investimento UBS usaram vigilância por satélite de 100 estacionamentos do Walmart e recolheram dados sobre o número de carros estacionados em cada um, todos os meses. Do espaço, os analistas fazem previsões de demanda mais precisas sobre os resultados trimestrais da empresa do que os métodos financeiros tradicionais. Esse exemplo mostra que a tecnologia muda a vida dos gurus de investimento e, obviamente, de muitos profissionais do Walmart, inclusive, talvez, do pessoal responsável pelos estacionamentos”, diz Giardelli.

Foto: Imagem de satélite de um estacionamento do Walmart –  Remote Sensing Metrics LLC

Ainda com esses dados, foi possível descobrir outros ainda mais complexos. Fazendo o cruzamento dos dados do satélite com dados sobre o desemprego nas áreas próximas ao estabelecimento, foi possível determinar que o crescimento do movimento nas lojas do Walmart foi maior em áreas com maior índice de desemprego que a média. Entretanto, nas lojas do seu competidor direto, a rede Target, foi concluído que houve crescimento em áreas de taxas desemprego menor que a média. Com o passar do tempo e com a obtenção de mais dados, os analistas puderam notar que após um ano de análises as duas redes passaram a crescer de forma igual, independente das taxas de desemprego locais, podendo indicar uma melhora significativa no poder de compra do consumidor e na economia do país em geral.

“Do outro lado do Atlântico, a British Airways usa os dados para criar um serviço de fidelidade de clientes. Um aplicativo permite que a tripulação chame cada passageiro pelo nome. Se aparece alguém que sofreu com um voo atrasado, a tecnologia avisa e a tripulação oferece um agrado no voo de volta. Uma ação que nasce nos laboratórios de computação, mas passa por marketing e chega às aeromoças.”, completa Gil.

O investimento em Big Data não está sendo feito somente por empresas, mas também por instituições e governos. Em 2012, o governo Obama anunciou uma iniciativa para pesquisa em Big Data, chamada de “Big Data Research and Development Initiative”, focada em explorar como essa tecnologia pode ser utilizada para combater problemas enfrentados no país. A iniciativa conta com um investimento inicial de 200 milhões de dólares, utilizando 84 programas em 6 departamentos federais e agências do governo americano. Segundo a revista InfoWorld, ainda, a análise de Big Data foi importante para a reeleição de Obama em sua campanha no ano de 2012.

Big Data para os pequenos

O Big Data está deixando de ser um assunto que só interessa a profissionais de tecnologia e se consolidando como um tema importante no futuro de todas as carreiras. A procura por gerentes de projeto com experiência em Big Data mais do que dobrou (123%) em 2014, segundo a Wanted Analytics, empresa que analisa sites de emprego no mundo todo. Isso, dentre outros fatores, porque o preço para armazenamento de dados está despencando e diversas ferramentas baratas ou gratuitas para lidar com tamanho volume informações estão surgindo. Segundo Maurício Prado, gerente geral de servidores da Microsoft Brasil, “apesar de o uso no Brasil ainda ser pouco maduro, a expectativa é enorme. Temos um dos principais mercados de internet no mundo, sobretudo de redes sociais, o que é crucial para a adesão ao Big Data”, observou em entrevista ao jornal Extra.

A aplicação tanto em pequenas, médias e grandes empresas pode ser feita através da já citada plataforma Hadoop, por exemplo. Segundo Alexandre Tarifa, diretor de Tecnologia do Minha Vida e Diego Nogare, especialista em Big Data, “a aplicação de técnicas de Big Data é particular para cada cenário. Pode ser que seu caso seja um portal de saúde e bem estar que consegue cruzar dados comuns de idade, altura, peso, sexo e localização de 10 milhões de usuários por mês, e inferir qual região tem mais propensão à determinada doença; ou então você é uma empresa de fabricação de aviões e não quer virar manchete por causa de uma queda de suas aeronaves, então consegue analisar os mais de 280 sensores espalhados pelo seu avião e consegue cruzar estes dados e saber se aquele avião que está a 4 horas de seu destino precisa fazer uma parada em um aeroporto mais perto para uma manutenção”, afirmaram em artigo para a revista Exame.

Fazer isso sem uma equipe de Tecnologia da Informação (TI) focada dentro de uma pequena empresa pode ser difícil, porém não impossível. “Pode dar um trabalho extra e você precisará aprender algumas coisas de TI para isso” afirma Diego. “Hoje, grandes provedores de serviços na Internet oferecem plataformas prontas para se trabalhar com Big Data utilizando seus serviços. A Amazon possui uma plataforma que é comercializada através do Amazon Web Services; a Microsoft possui sua plataforma que se chama Windows Azure; e o Google tem o Google Big Query. Cada fornecedor possui suas peculiaridades, e também variam de preço e recursos. Em alguns o esforço é maior, em outros, é menor. Vale a pena investigar as ofertas do mercado e ver o que melhor se encaixa na sua necessidade”, conclui.

O Desafio humano

Em entrevista à Exame, Andreas Weigend, ex-cientista chefe da Amazon, consultor e professor da Universidade de Stanford, afirma que o real desafio de se trabalhar com esse tipo de tecnologia ainda está por vir. “No futuro, qualquer decisão tomada por uma empresa poderá ser apoiada em dados, números e informações obtidas usando técnicas de Big Data. Mas as informações não são nada sem alguém que faça uma pergunta. Uma vez que todos podem extrair os números, isso não será mais um diferencial. Não é possível ter os números certos de saída. Antes de se extrair a informação, é preciso ter uma pergunta, um objetivo. Somente depois disso se obtém alguma coisa dos números. [É preciso] traçar um plano com tudo aquilo que as técnicas de Big Data proporcionam. E todas essas decisões serão tomadas por pessoas.”, observa.

Infográfico (adaptado): O perfil profissional do especialista em Big Data –  Infobase Interativa (www.iinterativa.com.br)