Desafios de processamento de streaming
O processamento de dados em tempo real à medida que eles chegam pode permitir que você tome decisões com muito mais rapidez do que é possível com as tecnologias tradicionais de análise de dados. No entanto, criar e operar seus próprios pipelines de dados de streaming personalizados é complicado e consome muitos recursos:
-
É necessário criar um sistema que possa, de forma econômica, coletar, preparar e transmitir dados provenientes de milhares de origens de dados simultaneamente.
Você precisa ajustar os recursos de armazenamento e computação para que os dados sejam agrupados e transmitidos de forma eficiente para obter a máxima taxa de transferência e baixa latência.
-
É necessário implantar e gerenciar uma frota de servidores para escalar o sistema a fim de que você possa lidar com as velocidades variadas de dados que serão lançados nele.
A atualização de versão é um processo complexo e caro. Depois de criar essa plataforma, você precisa monitorar o sistema e recuperá-lo de qualquer falha de servidor ou rede, atualizando o processamento de dados do ponto apropriado no fluxo, sem criar dados duplicados. Você também precisa de uma equipe dedicada para o gerenciamento de infraestrutura. Tudo isso exige um tempo valioso e dinheiro e, no final das contas, a maioria das empresas nunca chega lá, devendo contentar-se com o status quo e operar seus negócios com informações de horas ou dias.
