Supervisión del uso de recursos de computación de AWS en Amazon SageMaker Studio Classic

Para realizar un seguimiento del uso de los recursos informáticos de su trabajo de entrenamiento, utilice las herramientas de monitorización que ofrece el depurador de Amazon SageMaker.

Para cualquier trabajo de entrenamiento que ejecute en SageMaker AI con el SageMaker Python SDK, el depurador recopila métricas básicas de utilización de recursos, como la utilización de la CPU, la utilización de la GPU, la utilización de la memoria de la GPU, la red y el tiempo de espera de E/S cada 500 milisegundos. Para ver el panel de control de las métricas de utilización de los recursos de su trabajo de entrenamiento, simplemente utilice la interfaz de usuario del depurador de SageMaker en Experimentos de SageMaker Studio.

Las operaciones y los pasos del aprendizaje profundo pueden funcionar en intervalos de milisegundos. En comparación con las métricas de Amazon CloudWatch, que recopilan las métricas a intervalos de 1 segundo, el depurador proporciona una granularidad más precisa de las métricas de utilización de los recursos en intervalos de 100 milisegundos (0,1 segundos) para que pueda profundizar en las métricas a nivel de una operación o un paso.

Si desea cambiar el intervalo de tiempo de recopilación de métricas, puede añadir un parámetro para la configuración de la creación de perfiles a su lanzador de trabajos de entrenamiento. Por ejemplo, si utiliza el SageMaker AI Python SDK, tendrá que pasar el parámetro profiler_config al crear un objeto estimador. Para obtener información sobre cómo ajustar el intervalo de recopilación de métricas de utilización de los recursos, consulte Plantilla de código para configurar un objeto estimador de SageMaker AI con los módulos de Python del depurador de SageMaker en el SageMaker AI Python SDK. y, a continuación, Configurar los ajustes para la creación de perfiles básicos de la utilización de los recursos del sistema.

Además, puede añadir herramientas de detección de problemas denominadas reglas de creación de perfiles integradas que proporciona el depurador de SageMaker. Las reglas de creación de perfiles integradas analizan las métricas de utilización de los recursos y detectan problemas de rendimiento computacional. Para obtener más información, consulte Uso de reglas integradas del creador de perfiles administradas por el depurador de Amazon SageMaker. Puede recibir los resultados del análisis de reglas a través de la interfaz de usuario del depurador de SageMaker en Experimentos de SageMaker Studio o en el informe de creación de perfiles del de depurador de SageMaker. También puede crear reglas de creación de perfiles personalizadas mediante el SageMaker Python SDK.

Para obtener más información sobre las funciones de monitorización del depurador de SageMaker, consulte los siguientes temas.