Monitoreo y depuración

Algunas fases del ciclo de vida de los datos no son secuenciales, sino que están presentes de manera constante. Esto es verdadero para la etapa de supervisión y depuración, como se muestra en el diagrama siguiente.

El proceso de ingeniería de datos debe supervisarse de manera continua para garantizar su exactitud y rendimiento. Amazon CloudWatch desempeña un papel crucial en la supervisión de la ingeniería de datos, ya que registra todos los errores y el registro de información en sus grupos de registros. Puede utilizar la supervisión para crear una recuperación automatizada de errores. Por ejemplo, puede detener las canalizaciones si detecta que no se cumplen las normas de calidad de los datos, o puede registrar las ejecuciones correctas y las ejecuciones con errores por separado para permitir una acción de recuperación. La supervisión mejora la fiabilidad general del proceso de ingeniería de datos (es decir, todo el proceso de ETL), así como de los datos.

Además, le recomendamos que cree CloudWatch paneles que incluyan las métricas relevantes para el proceso de monitoreo y depuración. Esto puede ayudar a garantizar que el proceso de ingeniería de datos se ejecute sin problemas y según lo esperado. Esto es importante para las operaciones y para la elaboración de informes. Por ejemplo, un CloudWatch panel puede mostrar a los usuarios el estado de las cargas para ayudarles a comprender la fiabilidad de sus procesos o qué porcentaje de sus datos se ha perdido debido a la baja calidad o qué fuentes tienen el mayor número de errores. Un CloudWatch panel de control no solo le ayuda a visualizar los resultados, sino que también le ayuda a mejorar los procesos al identificar los puntos problemáticos del proceso de ETL.