Desafíos de procesamiento de secuencias
El procesamiento de datos en tiempo real a medida que llegan puede permitirle tomar decisiones mucho más rápido de lo que es posible con las tecnologías de análisis de datos tradicionales. Sin embargo, crear y utilizar sus propias canalizaciones de datos de streaming personalizadas es complicado y requiere muchos recursos:
-
Debe crear un sistema que pueda recopilar, preparar y transmitir de manera rentable los datos procedentes simultáneamente de miles de orígenes de datos.
Debe ajustar los recursos de computación y de almacenamiento para que los datos se agrupen y se transmitan de manera eficiente para obtener el máximo rendimiento y una baja latencia.
-
Debe implementar y administrar una flota de servidores para escalar el sistema y poder gestionar las velocidades variables de los datos que va a enviar.
La actualización de la versión es un proceso complejo y costoso. Una vez que haya creado esta plataforma, debe supervisar el sistema y recuperar cualquier error de servidor o red al poniéndose al día con el procesamiento de datos desde el punto apropiado de la secuencia, sin crear datos duplicados. También necesita un equipo dedicado a la administración de la infraestructura. Todo esto requiere tiempo y dinero valiosos y, al final, la mayoría de las empresas simplemente nunca llegan allí y deben conformarse con el statu quo y operar sus empresas con información que tiene horas o días de antigüedad.
