Creación de un grupo de nodos de cómputo en AWS PCS - AWS PIEZAS
Requisitos previosCree un grupo de nodos de cómputo en PCS AWS

Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.

Creación de un grupo de nodos de cómputo en AWS PCS

En este tema se proporciona una descripción general de las opciones disponibles y se describe lo que se debe tener en cuenta al crear un grupo de nodos de procesamiento en AWS Parallel Computing Service (AWS PCS). Si es la primera vez que crea un grupo de nodos de cómputo en AWS PCS, le recomendamos que siga el tutorial que aparece enComience con AWS Parallel Computing Service. El tutorial puede ayudarle a crear un sistema HPC que funcione sin tener que ampliar todas las opciones y arquitecturas de sistema disponibles.

nota

Puede configurar los ajustes de Slurm personalizados en los grupos de nodos de cómputo para controlar la utilización de los recursos y los comportamientos a nivel de nodo. Para obtener más información, consulte Configuración de los ajustes personalizados de Slurm en PCS AWS.

importante

AWS Actualmente, el PCS requiere un núcleo IPv4 compatible con la comunicación entre nodos locales, incluso cuando se utiliza el AWS PCS en una red exclusiva. IPv6 Para obtener más información, consulte Imágenes personalizadas de Amazon Machine (AMIs) para AWS PCS.

Requisitos previos

  • Cuotas de servicio suficientes para lanzar la cantidad deseada de EC2 instancias en su Región de AWS. Puede utilizarlas AWS Management Consolepara comprobar y solicitar aumentos en sus cuotas de servicio.

  • Una VPC y subredes existentes que cumplen con los requisitos de red de AWS PCS. Le recomendamos que comprenda detenidamente estos requisitos antes de implementar un clúster para su uso en producción. Para obtener más información, consulte AWS Requisitos y consideraciones sobre la VPC y la subred. También puede usar una CloudFormation plantilla para crear una VPC y subredes. AWS proporciona una receta de HPC para la plantilla. CloudFormation Para obtener más información, consulte aws-hpc-recipesen GitHub.

  • Un perfil de instancia de IAM con permisos para activar la acción de la RegisterComputeNodeGroupInstance API de AWS PCS y acceder a cualquier otro AWS recurso necesario para las instancias de su grupo de nodos. Para obtener más información, consulte Perfiles de instancia de IAM para AWS Parallel Computing Service.

  • Una plantilla de lanzamiento para las instancias de tu grupo de nodos. Para obtener más información, consulte Uso de plantillas de EC2 lanzamiento de Amazon con AWS PCS.

  • Para crear un grupo de nodos de cómputo que utilice instancias de Amazon EC2 Spot, debe tener el rol vinculado al servicio de AWSServiceRoleForEC2Spot en su. Cuenta de AWS Para obtener más información, consulte Función de Amazon EC2 Spot para AWS PCS.

Cree un grupo de nodos de cómputo en PCS AWS

Puede crear un grupo de nodos de cómputo mediante el AWS Management Console o el AWS CLI.

AWS Management Console
Para crear su grupo de nodos de cómputo mediante la consola

  1. Abra la consola AWS PCS.

  2. Seleccione el clúster en el que desee crear un grupo de nodos de cómputo. Diríjase a los grupos de nodos de cómputo y elija Crear.

  3. En la sección de configuración del grupo de nodos de Compute, proporciona un nombre para el grupo de nodos. El nombre solo puede contener caracteres alfanuméricos y guiones que distingan mayúsculas de minúsculas. Debe empezar por un carácter alfabético y no puede tener más de 25 caracteres. El nombre debe ser único en el clúster.

  4. En Configuración informática, introduzca o seleccione estos valores:

    1. EC2 Plantilla de lanzamiento: seleccione una plantilla de lanzamiento personalizada para utilizarla en este grupo de nodos. Las plantillas de lanzamiento se pueden utilizar para personalizar la configuración de la red, como la subred y los grupos de seguridad, la configuración de supervisión y el almacenamiento a nivel de instancia. Si no tienes una plantilla de lanzamiento preparada, consulta para obtener información sobre cómo Uso de plantillas de EC2 lanzamiento de Amazon con AWS PCS crear una.

      importante

      AWS PCS crea una plantilla de lanzamiento gestionada para cada grupo de nodos de cómputo. Estos se denominanpcs-identifier-do-not-delete. No los seleccione cuando cree o actualice un grupo de nodos de procesamiento, o el grupo de nodos no funcionará correctamente.

    2. EC2 versión de la plantilla de lanzamiento: debe seleccionar una versión de su plantilla de lanzamiento personalizada. Si cambia la versión más adelante, debe actualizar el grupo de nodos de procesamiento para detectar los cambios en la plantilla de lanzamiento. Para obtener más información, consulte Actualización de un grupo de nodos de cómputo AWS PCS.

    3. ID de AMI: si tu plantilla de lanzamiento no incluye un ID de AMI o si quieres anular el valor de la plantilla de lanzamiento, proporciona un ID de AMI aquí. Tenga en cuenta que la AMI utilizada para el grupo de nodos debe ser compatible con el AWS PCS. También puede seleccionar un ejemplo de AMI proporcionado por AWS. Para obtener más información sobre este tema, consulteAmazon Machine Images (AMIs) para AWS PCS.

    4. Perfil de instancia de IAM: elija un perfil de instancia para el grupo de nodos. Un perfil de instancia otorga a la instancia permisos para acceder a los AWS recursos y servicios de forma segura. Si no tiene uno preparado, puede seleccionar Crear un perfil básico para que AWS PCS cree uno automáticamente con la política mínima, o consultePerfiles de instancia de IAM para AWS Parallel Computing Service.

    5. Subredes: elija una o más subredes en la VPC en la que se implementa el clúster de AWS PCS. Si seleccionas varias subredes, las comunicaciones EFA no estarán disponibles entre los nodos y es posible que la comunicación entre los nodos de distintas subredes tenga una mayor latencia. Asegúrese de que las subredes que especifique aquí coincidan con las que haya definido en la plantilla de lanzamiento. EC2

    6. Instancias: elija uno o más tipos de instancias para cumplir con las solicitudes de escalado del grupo de nodos. Todos los tipos de instancias deben tener la misma arquitectura de procesador (x86_64 o arm64) y el mismo número de v. CPUs Si las instancias lo tienen GPUs, todos los tipos de instancias deben tener el mismo número de. GPUs

    7. Configuración de escalado: especifique la cantidad mínima y máxima de instancias para el grupo de nodos. Puede definir una configuración estática, en la que hay un número fijo de nodos en ejecución, o una configuración dinámica, en la que se pueden ejecutar hasta el número máximo de nodos. Para una configuración estática, defina el mínimo y el máximo en el mismo número, superior a cero. Para una configuración dinámica, establece el número mínimo de instancias en cero y el máximo en un número superior a cero. AWS PCS no admite grupos de nodos de cómputo con una combinación de instancias estáticas y dinámicas.

  5. (Opcional) En Configuración adicional, especifique lo siguiente:

    1. Opción de compra: seleccione instancias bajo demanda, instancias puntuales o un bloque de capacidad existente. Elija también bajo demanda si planea usar una reserva de capacidad bajo demanda (ODCR). Para obtener más información, consulte Uso ODCRs con AWS PCS. Elija Capacity Block para usar una reserva existente de Amazon EC2 Capacity Blocks para aprendizaje automático. Para obtener más información, consulte Uso de Amazon EC2 Capacity Blocks para aprendizaje automático con AWS PCS.

    2. Estrategia de asignación: si ha seleccionado la opción de compra puntual, puede especificar cómo se eligen los grupos de capacidad puntual al lanzar instancias en el grupo de nodos. Para obtener más información, consulte Estrategias de asignación para instancias puntuales en la Guía del usuario de Amazon Elastic Compute Cloud. Esta opción no tiene efecto si ha seleccionado la opción de compra bajo demanda.

  6. (Opcional) En la sección de ajustes Slurm personalizados, puede añadir pares de nombre y valor del parámetro para configurar ajustes adicionales de Slurm. Para obtener una lista completa de los parámetros admitidos, consulte. Configuración de Slurm personalizada para grupos de nodos de cómputo de AWS PCS

  7. (Opcional) En Etiquetas, añada cualquier etiqueta a su grupo de nodos de cómputo.

  8. Selecciona Crear grupo de nodos de cómputo. El campo Estado se muestra Creating mientras AWS PCS aprovisiona el grupo de nodos. Esto puede tardar varios minutos.

Siguiente paso recomendado

  • Agregue su grupo de nodos a una cola en AWS PCS para que pueda procesar los trabajos.

AWS CLI
Para crear su grupo de nodos de cómputo mediante AWS CLI

Cree su cola con el siguiente comando. Antes de ejecutar el comando, realice los siguientes reemplazos:

  1. regionSustitúyalo por el ID en el Región de AWS que se va a crear el clúster, por ejemplo. us-east-1

  2. my-clusterSustitúyalo por el nombre o clusterId el de tu clúster.

  3. my-node-groupSustitúyalo por el nombre de tu grupo de nodos de procesamiento. El nombre solo puede contener caracteres alfanuméricos (con distinción de mayúsculas y minúsculas) y guiones. Debe empezar por un carácter alfabético y no puede tener más de 25 caracteres. El nombre debe ser único en el clúster.

  4. subnet-ExampleID1Sustitúyala por una o más subredes IDs de la VPC del clúster.

  5. lt-ExampleID1Sustitúyalo por el ID de la plantilla de lanzamiento personalizada. Si no tienes una preparada, consulta Uso de plantillas de EC2 lanzamiento de Amazon con AWS PCS para aprender a crearla.

    importante

    AWS PCS crea una plantilla de lanzamiento gestionado para cada grupo de nodos de cómputo. Estos se denominanpcs-identifier-do-not-delete. No los seleccione cuando cree o actualice un grupo de nodos de procesamiento, o el grupo de nodos no funcionará correctamente.

  6. launch-template-versionSustitúyala por una versión de plantilla de lanzamiento específica. AWS PCS asocia su grupo de nodos a esa versión específica de la plantilla de lanzamiento.

  7. arn:InstanceProfileSustitúyalo por el ARN de tu perfil de instancia de IAM. Si no tiene uno preparado, consulte Uso de plantillas de EC2 lanzamiento de Amazon con AWS PCS para obtener orientación.

  8. Sustituya min-instances y max-instances por valores enteros. Puede definir una configuración estática, en la que hay un número fijo de nodos en ejecución, o una configuración dinámica, en la que se puede ejecutar hasta el número máximo de nodos. Para una configuración estática, defina el mínimo y el máximo en el mismo número, superior a cero. Para una configuración dinámica, establece el número mínimo de instancias en cero y el máximo en un número superior a cero. AWS PCS no admite grupos de nodos de cómputo con una combinación de instancias estáticas y dinámicas.

  9. t3.largeSustitúyala por otro tipo de instancia. Puede añadir más tipos de instancias especificando una lista de instanceType ajustes. Por ejemplo, --instance-configs instanceType=c6i.16xlarge instanceType=c6a.16xlarge. Todos los tipos de instancias deben tener la misma arquitectura de procesador (x86_64 o arm64) y el mismo número de v. CPUs Si las instancias lo tienen GPUs, todos los tipos de instancias deben tener el mismo número de. GPUs

aws pcs create-compute-node-group --region region \
    --cluster-identifier my-cluster \
    --compute-node-group-name my-node-group \
    --subnet-ids subnet-ExampleID1 \
    --custom-launch-template id=lt-ExampleID1,version='launch-template-version' \
    --iam-instance-profile-arn=arn:InstanceProfile \
    --scaling-config minInstanceCount=min-instances,maxInstanceCount=max-instance \
    --instance-configs instanceType=t3.large
ejemplo — Crear un grupo de nodos de cómputo con una configuración de Slurm personalizada
aws pcs create-compute-node-group --region region \
    --cluster-identifier my-cluster \
    --compute-node-group-name my-node-group \
    --subnet-ids subnet-ExampleID1 \
    --custom-launch-template id=lt-ExampleID1,version='launch-template-version' \
    --iam-instance-profile-arn=arn:InstanceProfile \
    --scaling-config minInstanceCount=min-instances,maxInstanceCount=max-instance \
    --instance-configs instanceType=t3.large \
    --slurm-configuration \
    'slurmCustomSettings=[{parameterName=Features,parameterValue="gpu,nvme"}]'

Para obtener más información, consulte Configuración de Slurm personalizada para grupos de nodos de cómputo de AWS PCS.

Hay varios ajustes de configuración opcionales que puede añadir al create-compute-node-group comando.

  • Puede especificar --amiId si su plantilla de lanzamiento personalizada no incluye una referencia a una AMI o si desea anular ese valor. Tenga en cuenta que la AMI utilizada para el grupo de nodos debe ser compatible con el AWS PCS. También puede seleccionar un ejemplo de AMI proporcionado por AWS. Para obtener más información sobre este tema, consulteAmazon Machine Images (AMIs) para AWS PCS.

  • Úselo --purchase-option para elegir la forma en que AWS PCS compra las EC2 instancias para su grupo de nodos de cómputo. La opción predeterminada es On-Demand.

    • ONDEMAND— Utilice instancias bajo demanda. Elija también esta opción si planea usar una reserva de capacidad bajo demanda (ODCR). Para obtener más información, consulte Uso ODCRs con AWS PCS.

    • SPOT— Utilice instancias puntuales. Si elige instancias puntuales, también puede utilizarlas --allocation-strategy para definir cómo AWS PCS elige los grupos de capacidad puntuales cuando lanza instancias en el grupo de nodos. Para obtener más información, consulte Estrategias de asignación para instancias puntuales en la Guía del usuario de Amazon Elastic Compute Cloud.

    • CAPACITY_BLOCK— Usa un Amazon EC2 Capacity Blocks existente para la reserva de aprendizaje automático. Para obtener más información, consulte Uso de Amazon EC2 Capacity Blocks para aprendizaje automático con AWS PCS.

  • Es posible proporcionar opciones de Slurm configuración para los nodos del grupo de nodos mediante--slurm-configuration. Puede establecer el peso (prioridad de programación) y la memoria real. Los nodos con pesos más bajos tienen mayor prioridad y las unidades son arbitrarias. Para obtener más información, consulte Peso en la Slurm documentación. La memoria real establece el tamaño (en GB) de la memoria real en los nodos del grupo de nodos. Se ha diseñado para usarse junto con la CR_CPU_Memory opción de clúster en AWS PCS de su Slurm configuración. Para obtener más información, consulte RealMemory en la documentación del Slurm.

importante

La creación del grupo de nodos de cómputo puede tardar varios minutos.

Puede consultar el estado de su grupo de nodos con el siguiente comando. No podrás asociar el grupo de nodos a una cola hasta que se alcance ACTIVE su estado.

aws pcs get-compute-node-group --region region \
    --cluster-identifier my-cluster \
    --compute-node-group-identifier my-node-group