Actualización de puntos de conexión que utilizan el escalado automático - Amazon SageMaker AI

Actualización de puntos de conexión que utilizan el escalado automático

Cuando actualiza un punto de conexión, Application Auto Scaling realiza la comprobación para ver si alguno de los modelos de ese punto de conexión es el objetivo del escalado automático. Si la actualización cambia el tipo de instancia de cualquier modelo que sea un destino para el escalado automático, se producirá un error en la actualización.

En la Consola de administración de AWS, verá un mensaje de advertencia que indica que debe anular el registro del modelo del escalado automático para poder actualizarla. Si intenta actualizar el punto de conexión llamando a la API UpdateEndpoint, se produce un error en la llamada. Antes de actualizar el punto de conexión, elimine las políticas de escalado configuradas para ese punto y anule el registro de la variante como un destino escalable llamando a la acción de API Application Auto Scaling DeregisterScalableTarget. Después de actualizar el punto de conexión, puede registrar la variante como destino escalable y asociar una política de escalado.

Existe una excepción. Si cambia el modelo de una variante que está configurada para el escalado automático, el escalado automático de Amazon SageMaker AI permite la actualización. Esto se debe a que cambiar el modelo no afecta normalmente lo suficiente al rendimiento como para cambiar el comportamiento de escalado. Si actualiza un modelo para una variante configurada para el escalado automático, asegúrese de que el cambio al modelo no afecte significativamente al rendimiento y al comportamiento del escalado automático.

Cuando actualice puntos de conexión de SageMaker AI que tengan aplicado el escalado automático, siga los pasos que se describen a continuación:

Actualización de un punto de conexión que tiene aplicado el escalado automático

  1. Anule el registro del punto de enlace como destino escalable llamando a DeregisterScalableTarget.

  2. Dado que el escalado automático está bloqueado mientras la operación de actualización está en curso (o si desactivó el escalado automático en el paso anterior), es posible que desee tomar la precaución adicional de aumentar el número de instancias del punto de conexión durante la actualización. Para ello, actualice el recuento de instancias para las variantes de producción alojadas en el punto de conexión llamando a UpdateEndpointWeightsAndCapacities.

  3. Llame a DescribeEndpoint repetidamente hasta que el valor del campo EndpointStatus de la respuesta sea InService.

  4. Llame a DescribeEndpointConfig para obtener los valores de la configuración del punto de conexión actual.

  5. Cree una configuración de punto de conexión nueva llamando a CreateEndpointConfig. Para las variantes de producción en las que desea mantener el recuento o el peso de las instancias existentes, utilice el mismo nombre de variante de la respuesta de la llamada a DescribeEndpointConfig en el paso anterior. Para todos los demás valores, utilice los valores que obtuvo como respuesta cuando llamó a DescribeEndpointConfig en el paso anterior.

  6. Actualice el punto de conexión llamando a UpdateEndpoint. Especifique la configuración de punto de enlace que ha creado en el paso anterior en el campo EndpointConfig. Si desea conservar las propiedades de variante, como el recuento de instancias o el peso, establezca el valor del parámetro RetainAllVariantProperties en True. Esto especifica que las variantes de producción con el mismo nombre se actualizarán con el DesiredInstanceCount más reciente de la respuesta de la llamada a DescribeEndpoint, independientemente de los valores del campo InitialInstanceCount en el nuevo EndpointConfig.

  7. (Opcional) Vuelva a activar el escalado automático llamando a RegisterScalableTarget y PutScalingPolicy.

nota

Los pasos 1 y 7 solo son necesarios si actualiza un punto de enlace con los siguientes cambios:

  • Cambio del tipo de instancia para una variante de producción que tenga configurado el escalado automático

  • Eliminación de una variante de producción con el escalado automático configurado.