Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.

Aprovisionamiento continuo para mejorar las operaciones del clúster en Amazon EKS

SageMaker HyperPod Los clústeres de Amazon creados con la orquestación de Amazon EKS ahora admiten el aprovisionamiento continuo, una nueva capacidad que permite una mayor flexibilidad y eficiencia al ejecutar cargas de trabajo a gran escala AI/ML . El aprovisionamiento continuo le permite empezar a entrenar rápidamente, escalar sin problemas, realizar tareas de mantenimiento sin interrumpir las operaciones y obtener una visión detallada de las operaciones del clúster.

Funcionamiento

El sistema de aprovisionamiento continuo presenta una arquitectura de estado deseado que reemplaza el modelo tradicional basado en solicitudes. Esta nueva arquitectura admite operaciones paralelas y sin bloqueo en diferentes niveles de recursos sin afectar a la estabilidad y el rendimiento del sistema. El sistema de aprovisionamiento continuo:

El aprovisionamiento continuo está deshabilitado de forma predeterminada. Para utilizar esta característica, debe configurar --node-provisioning-mode en Continuous.

Con el aprovisionamiento continuo activado, puede iniciar varias operaciones de escalado simultáneamente sin esperar a que se completen las operaciones anteriores. Esto le permite escalar diferentes grupos de instancias en el mismo clúster de forma simultánea y enviar varias solicitudes de escalado al mismo grupo de instancias.

El aprovisionamiento continuo también le permite acceder a una supervisión detallada de los eventos DescribeClusterEventy a una ListClusterEventvisibilidad operativa, así como a una visibilidad operativa.

Medición de uso

HyperPod Los clústeres con aprovisionamiento continuo utilizan la medición a nivel de instancia para proporcionar una facturación precisa que refleje el uso real de los recursos. Este enfoque de medición se diferencia de la facturación tradicional de clústeres, ya que hace un seguimiento de cada instancia de forma independiente.

Facturación por instancia

Con el aprovisionamiento continuo, la facturación comienza y termina en cada instancia en lugar de esperar a que cambie el estado del clúster. A continuación se enumeran los beneficios de este enfoque:

Ciclo de vida de facturación

Cada instancia del HyperPod clúster sigue este ciclo de vida de facturación:

Creación de un clúster con el aprovisionamiento continuo activado

La siguiente AWS CLI operación crea un HyperPod clúster con un grupo de instancias y el aprovisionamiento continuo activados.

aws sagemaker create-cluster \ 
--cluster-name $HP_CLUSTER_NAME \
--orchestrator 'Eks={ClusterArn='$EKS_CLUSTER_ARN'}' \
--vpc-config '{
   "SecurityGroupIds": ["'$SECURITY_GROUP'"],
   "Subnets": ["'$SUBNET'"]
}' \
--instance-groups '{
   "InstanceGroupName": "ig-1",
   "InstanceType": "ml.c5.2xlarge",
   "InstanceCount": 2,
   "LifeCycleConfig": {
      "SourceS3Uri": "s3://'$BUCKET_NAME'",
      "OnCreate": "on_create_noop.sh"
   },
   "ExecutionRole": "'$EXECUTION_ROLE'",
   "ThreadsPerCore": 1,
   "TrainingPlanArn": ""
}' \
--node-provisioning-mode Continuous


// Expected Output:
{
    "ClusterArn": "arn:aws:sagemaker:us-west-2:<account-id>:cluster/<cluster-id>"
}

Una vez que hayas creado el clúster, puedes usar ListClusterNodeso DescribeClusterNodepara obtener más información sobre los nodos del clúster.

Al llamar a estas operaciones, se devolverá un ClusterInstanceStatusDetailsobjeto con uno de los siguientes valores:

Requisitos mínimos de capacidad () MinCount

La MinCount función te permite especificar la cantidad mínima de instancias que se deben aprovisionar correctamente antes de que un grupo de instancias pase al InService estado. Esta función proporciona un mejor control sobre las operaciones de escalado y ayuda a evitar situaciones en las que los grupos de instancias parcialmente aprovisionados no se puedan usar de manera eficaz para entrenar cargas de trabajo.

¿Cómo funciona MinCount

Cuando creas o actualizas un grupo de instancias con la MinCount opción habilitada, se produce el siguiente comportamiento:

Estado del grupo de instancias durante las operaciones MinCount

Los grupos de instancias MinCount configurados muestran el siguiente comportamiento de estado:

Durante nuestro Creating Updating estado, se aplican las siguientes restricciones:

Comportamiento de reversión automática

Si un grupo de instancias no puede llegar al suyo MinCount en un plazo de 3 horas, el sistema inicia automáticamente una reversión para evitar esperas indefinidas:

El tiempo de espera de 3 horas se restablece cada vez que se actualiza. MinCount Por ejemplo, si actualizas MinCount varias veces, el período de espera comienza desde la actualización más reciente.

MinCount eventos

El sistema emite eventos específicos para ayudarle a realizar un seguimiento de MinCount las operaciones:

Puede supervisar estos eventos mediante ListClusterEventsel seguimiento del progreso de sus operaciones. MinCount

Uso de la API

MinCount se especifica mediante el MinInstanceCount parámetro en las configuraciones de grupos de instancias:

aws sagemaker create-cluster \
--cluster-name $HP_CLUSTER_NAME \
--orchestrator 'Eks={ClusterArn='$EKS_CLUSTER_ARN'}' \
--vpc-config '{
   "SecurityGroupIds": ["'$SECURITY_GROUP'"],
   "Subnets": ["'$SUBNET'"]
}' \
--instance-groups '{
   "InstanceGroupName": "worker-group",
   "InstanceType": "ml.p4d.24xlarge",
   "InstanceCount": 64,
   "MinInstanceCount": 50,
   "LifeCycleConfig": {
      "SourceS3Uri": "s3://'$BUCKET_NAME'",
      "OnCreate": "on_create.sh"
   },
   "ExecutionRole": "'$EXECUTION_ROLE'"
}' \
--node-provisioning-mode Continuous

Consideraciones clave de MinCount uso: