Você quer big data? Você não consegue lidar com big data…

A infraestrutura atual não consegue lidar com a explosão projetada de dados, conexões e tráfego à medida que o mundo avança para a economia digital.

Falamos sobre a economia digital, mas não costumamos nos aprofundar nos detalhes do que isso realmente significa. Isso significa que registros em papel e chamadas telefônicas estão sendo substituídos por registros de auditoria e e-mail. Isso significa que faturas e arquivos de clientes estão sendo substituídos por recibos eletrônicos e registros de banco de dados.

Nossa migração para dados digitais um dia será vista com o mesmo impacto histórico que a mudança das tábuas de pedra para o papiro. Com cada evolução nos métodos que nós, seres humanos, usamos para registrar dados, nós os tornamos mais baratos, rápidos e eficientes. O que significa que não estamos apenas criando, mas armazenando dados em taxas nunca vistas antes na história da humanidade.

Não há fim à vista. Os primeiros sinais da economia digital surgiram quando conseguimos capturar enormes quantidades de dados naqueles 1s e 0s tão eficientes. Mas ainda era basicamente manual. A entrada de dados e os arquivos de log nos forneceram a maior parte dos dados coletados nos primeiros dias da Internet.

Agora sabemos como coletar dados automaticamente. Com pequenos transistores e assistência robótica, comprimimos o poder de computação de edifícios inteiros até o tamanho da cabeça de um alfinete. E colocamos isso em tudo. Lâmpadas. Relógios. Sensores de movimento. Câmeras. Filtros de água . Carros. Geladeiras. Relógios. Telefones. Ursinhos de pelúcia . Brinquedos.

Se há algo que não é compatível com a Internet e, portanto, faz parte da crescente Internet das Coisas, não tenho certeza do que é. E sim, eu também ouvi falar desse brinquedo adulto . Não precisa compartilhar, afinal, este é um blog com classificação G.

Mas existência não significa uso, e estamos apenas tocando o limite do crescimento explosivo das coisas. Isso significa que nos próximos anos haverá mais dispositivos na Internet. Muitos, muitos outros dispositivos, todos transmitindo e recebendo muito mais dados do que a Internet já viu. Projeções da indústria estimam que haverá 50 bilhões de dispositivos conectados no mundo todo até 2020 – ou 7 dispositivos para cada pessoa na Terra.

Posso contar três dos meus de onde estou sentado agora. E isso sem contar o resto da casa. Aqui estão algumas estatísticas úteis, caso você ainda não esteja convencido com uma olhada em sua mesa.

Os carros estão se conectando às redes celulares mais rápido do que qualquer outra coisa, de acordo com estatísticas compiladas pela Chetan Sharma Consulting para o segundo trimestre deste ano. Contando todas as operadoras dos EUA, cerca de 1,4 milhão de carros foram conectados a redes celulares no trimestre, em comparação com 1,2 milhão de telefones e menos de 900.000 tablets.

Ao eliminar as viagens tripuladas dos centros de distribuição de paleteiras, a Giant Eagle aumentou a produtividade entre 10% e 30%. Cada veículo possui sensores para coletar dados. E todos os dados — como o tamanho da carga coletada, quanto tempo leva para entregar a carga, onde o veículo está na instalação, tempo de inatividade do veículo — são carregados no aplicativo Seegrid Supervisor.

A Chick Fil A instituiu sensores de temperatura em seus freezers e refrigeradores para garantir a segurança dos alimentos. Os métodos anteriores de monitoramento eram manuais e exigiam verificações visuais de cada termômetro, um processo que apresentava riscos consideráveis quando os restaurantes estavam fechados e ninguém estava observando. Agora, os sensores monitoram 24 horas por dia e emitem relatórios de hora em hora, o que pode economizar cerca de US$ 15.000 a US$ 20.000 em custos de reposição de estoque caso um mau funcionamento do refrigerador passe despercebido.

Tenho muitos outros exemplos, mas, neste ponto, está bem claro que bigdata está sendo gerado, transmitido e armazenado a cada segundo de cada dia em todo o mundo. E uma quantidade significativa dela não é voltada para o consumidor. É o que a indústria chama de "industrial" e é voltado para monitorar operações e processos mais do que qualquer outra coisa. Hoje em dia, há milhões de sensores em todos os lugares, e cada um deles gera dados.

Muitos dados.

Há atualizações de segundo plano conforme as coisas são relatadas, verificações de novas instruções e troca de dados coletados. Cada coisa tem um aplicativo com o qual conversa diariamente. Esse aplicativo está em algum lugar, em um data center ou na nuvem. Não importa onde ele esteja, o importante é que ele exista. Porque há infraestrutura e serviços entre a coisa e o aplicativo, e ele não está pronto para o crescimento explosivo.

Não acredite apenas em mim. Um artigo da Forbes citou uma pesquisa da Bain & Company com 325 empresas globais e descobriu que “59% acreditam que não têm capacidade para gerar insights comerciais significativos a partir de seus dados. Em outra pesquisa da Bain com 250 empresas, 85% disseram que precisarão de investimentos substanciais para atualizar sua plataforma de dados existente, o que inclui consolidar e limpar dados, simplificar o acesso e o gerenciamento de direitos e melhorar o acesso a fontes de dados externas.” [ênfase minha]

No centro dessa explosão de dados (isso é “big data” para aqueles que estão jogando bingo de palavras da moda hoje. De nada) é, claro, a plataforma de dados. Esse é o banco de dados, e há uma tonelada de comentários e análises de especialistas a favor e contra bancos de dados NoSQL (não relacionais) como MongoDB e Heroku, bem como aqueles a favor e contra bancos de dados SQL (relacionais), como Oracle, MySQL e Microsoft.

Mas o que muitas vezes é ignorado em discussões sobre bigdata, painéis e coleta de insights operacionais é que há uma grande quantidade de infraestrutura sustentando a escala e o acesso a essas fontes de dados. Existem poucos proprietários de empresas ou executivos de nível C que ficam debruçados sobre um teclado escrevendo suas próprias consultas para extrair valor dos dados. Isso também é feito por aplicativos.

Se há uma verdade sobre a economia digital, provavelmente é esta: em algum lugar existe um aplicativo responsável por restringir o acesso aos dados.

E esse aplicativo precisa de infraestrutura. Ela precisa de segurança, precisa de escala e, em um mundo onde as coisas não sabem dizer as horas, precisa de disponibilidade 24 horas por dia.

A infraestrutura de hoje foi construída para a web. Ele foi criado para pessoas, na verdade, e aplicativos. Ambos ainda são essenciais, mas agora temos o fardo adicional de lidar simultaneamente com os requisitos de escala, segurança e disponibilidade das coisas. Precisamos reavaliar o que isso significa para nossas redes, nossa infraestrutura e para os processos operacionais que dimensionam e protegem os aplicativos e dispositivos que residem entre usuários e aplicativos. E por usuários quero dizer coisas e sistemas também.

Precisamos repensar como gerenciamos autenticação e autorização. Como priorizamos e processamos solicitações e respostas. E como protegemos nosso ativo comercial mais crítico (que são os dados) de ser exposto à pessoa (ou coisa) errada.

Se vamos lidar com “bigdata” e tudo o que isso envolve, temos um trabalho sério a fazer .