Os benefícios e pesadelos do Big Data

08/12/2014 • categoria:Tecnologia comentários •
Os benefícios e pesadelos do Big Data

Em tradução livre Big data significa Grandes Volumes de Dados, mas não significa trazer mais segurança, encontrar novas soluções e descobrir o seu público alvo. Para que o Big Data traga benefícios é necessário entender o banco de dados, desenvolver lógicas e criar algoritmos complexos para cruzar as informações.

Para organizar as informações um banco de dados é dividido por tabelas – como Usuários e Feed de notícias – e cada tabela possui registros sendo bem parecido com linhas de caderno, por exemplo, quando é criado uma nova conta no Facebook todas as informações como nome, sexo, data de nascimento, email e senha são armazenados na tabela Usuários como um novo registro, por isso que ao contar linha por linha pode-se dizer que hoje o Facebook possui mais de 1 bilhão de usuários.

Devido as inúmeras linhas dentro da tabela Usuários podemos entender que isso é um Big data e através dessas informações podem ser geradas estatísticas, sendo a partir desse momento que conhecemos os benefícios e pesadelos do Big data.

Lógica – O que desejamos buscar?

O primeiro desafio é saber o que buscar no banco de dados e o que deseja descobrir/entender do resultado. Devido as inúmeras probabilidades é necessário desenvolver uma lógica de pesquisa, por exemplo, descobrir a média de publicações que cada usuário registra por dia, relacionando com o cargo de trabalho, país e que compreenda a idade entre 18 e 30 anos do sexo feminino. Depois de criar a lógica é necessário desenvolver o algoritmo de pesquisa para selecionar todos os registros, sendo realizado por especialistas e varia de acordo com o tipo do banco de dados.

Leitura – E agora?

Após o banco de dados mostrar todos os resultados, existem duas opções: analisar manualmente ou desenvolver uma aplicação (software) que ajude a compreender cada registro. Somente após pesquisar, mostrar e filtrar os resultados uma empresa de TI qualificada pode chegar no seu objetivo, como identificar o público alvo, saber em quais produtos investir, reações dos consumidores, entre outros.

Estrutura – Ler todas as informações

Diversas empresas, independente do tamanho, encontram o principal pesadelo no Big data na estrutura, porque tem sido muito caro, lento e ineficiente.

Para ler linha por linha são necessários servidores de alta potência, e hoje podem ser utilizados soluções Cloud Computing como o Google BigQuery e a Amazon Elastic Reduce para armazenar centenas de terabytes e pagar apenas pelo o que utiliza. Por exemplo, caso uma empresa possua um banco de dados com 100 terabytes e realiza uma pesquisa completa em todos os registros, o custo fixo será de US$8.000/mês de armazenamento mais US$ 3.500 por cada pesquisa no Google BigQuery.

Entendendo que é criado a lógica, desenvolvido um algoritmo complexo, filtrado as informações e contratado uma empresa de TI qualificada para alcançar o objetivo, os custos por pesquisa podem reduzir muito, porque quanto menor forem as informações processadas, menor será a utilização dos servidores e consequentemente menores os custos.

“Big data não é uma fórmula mágica para alavancar empresas, mas uma ferramenta…”

Big data não é Oráculo

Conforme mostrado, o Big data não é uma fórmula mágica para alavancar empresas, mas uma ferramenta que bem aplicada pode trazer benefícios ilimitados para compreender e encontrar novas oportunidades nos negócios.

Na WebmaniaBR cuidamos de todos os passos citados: lógica, leitura e estrutura. Viabilizamos projetos desde entender quais informações essenciais devem ser armazenadas no banco de dados, para uma futura aplicação no Big data, até criar sistemas personalizados para otimizar lojas virtuais, ERP, CRM, entre outras aplicações com grandes volumes de dados.

Deseja começar a investir em Big data? Tudo começa no formulário de cadastro dos seus clientes.

® Imagem: Data Center Google

Comentários