Défis liés au traitement des flux
Le traitement des données en temps réel au fur et à mesure de leur arrivée peut vous permettre de prendre des décisions beaucoup plus rapidement qu'avec les technologies d'analytique de données traditionnelles. Cependant, la création et l'exploitation de vos propres pipelines de données de streaming personnalisés sont complexes et nécessitent beaucoup de ressources :
-
Vous devez créer un système capable de collecter, de préparer et de transmettre de manière rentable des données provenant simultanément de milliers de sources de données.
Vous devez affiner les ressources de stockage et de calcul afin que les données soient mises en lots et transmises efficacement pour un débit maximal et une faible latence.
-
Vous devez déployer et gérer une flotte de serveurs pour mettre le système à l'échelle afin de pouvoir gérer les différentes vitesses de données que vous allez lui envoyer.
La mise à niveau de version est un processus complexe et coûteux. Après avoir créé cette plateforme, vous devez surveiller le système et compenser toute panne de serveur ou de réseau en reprenant le traitement des données au point approprié du flux, sans créer de données en double. Vous avez également besoin d'une équipe dédiée à la gestion de l'infrastructure. Tout cela demande du temps et de l'argent. En fin de compte, la plupart des entreprises n'y arrivent jamais et doivent se contenter du statu quo : faire fonctionner leur entreprise avec des informations qui datent de quelques heures ou de quelques jours.
