Criação de um grupo de nós de computação no AWS PCS - AWS PCS
Pré-requisitosCrie um grupo de nós de computação no AWS PCS

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Criação de um grupo de nós de computação no AWS PCS

Este tópico fornece uma visão geral das opções disponíveis e descreve o que considerar ao criar um grupo de nós de computação no Serviço de Computação AWS Paralela (AWS PCS). Se esta é a primeira vez que você cria um grupo de nós de computação no AWS PCS, recomendamos que você siga o tutorial emComece a usar o serviço de computação AWS paralela. O tutorial pode ajudá-lo a criar um sistema HPC funcional sem expandir para todas as opções disponíveis e arquiteturas de sistema possíveis.

nota

Você pode definir configurações personalizadas do Slurm em grupos de nós de computação para controlar a utilização de recursos e os comportamentos em nível de nó. Para obter mais informações, consulte Definindo configurações personalizadas do Slurm no PCS AWS.

Importante

AWS Atualmente, o PCS requer um kernel com IPv4 suporte para comunicação com nós locais, mesmo quando você usa o AWS PCS em uma rede IPv6 somente. Para obter mais informações, consulte Imagens personalizadas da Amazon Machine (AMIs) para AWS PCS.

Pré-requisitos

  • Cotas de serviço suficientes para iniciar o número desejado de EC2 instâncias em seu Região da AWS. Você pode usar o AWS Management Consolepara verificar e solicitar aumentos em suas cotas de serviço.

  • Uma VPC e uma sub-rede existentes que atendem aos requisitos de rede do AWS PCS. Recomendamos que você entenda completamente esses requisitos antes de implantar um cluster para uso em produção. Para obter mais informações, consulte AWS Requisitos e considerações sobre PCS, VPC e sub-rede. Você também pode usar um CloudFormation modelo para criar uma VPC e sub-redes. AWS fornece uma receita de HPC para o CloudFormation modelo. Para obter mais informações, consulte aws-hpc-recipesem GitHub.

  • Um perfil de instância do IAM com permissões para chamar a ação da RegisterComputeNodeGroupInstance API AWS PCS e acessar quaisquer outros AWS recursos necessários para suas instâncias de grupo de nós. Para obter mais informações, consulte Perfis de instância do IAM para o AWS Parallel Computing Service.

  • Um modelo de lançamento para suas instâncias de grupos de nós. Para obter mais informações, consulte Usando modelos de EC2 lançamento da Amazon com AWS PCS.

  • Para criar um grupo de nós computacionais que usa instâncias Amazon EC2 Spot, você deve ter a função vinculada ao serviço AWSServiceRoleForEC2Spot em seu. Conta da AWS Para obter mais informações, consulte Função do Amazon EC2 Spot para AWS PCS.

Crie um grupo de nós de computação no AWS PCS

Você pode criar um grupo de nós de computação usando o. AWS Management Console ou o. AWS CLI

AWS Management Console
Para criar seu grupo de nós de computação usando o console

  1. Abra o console AWS PCS.

  2. Selecione o cluster em que você deseja criar um grupo de nós de computação. Navegue até grupos de nós de computação e escolha Criar.

  3. Na seção Configuração do grupo de nós de computação, forneça um nome para seu grupo de nós. O nome só pode conter caracteres alfanuméricos e hífens que diferenciem maiúsculas e minúsculas. Ele deve começar com um caractere alfabético e não pode ter mais de 25 caracteres. O nome deve ser exclusivo dentro do cluster.

  4. Em Configuração de computação, insira ou selecione estes valores:

    1. EC2 modelo de execução — Selecione um modelo de execução personalizado para usar nesse grupo de nós. Os modelos de execução podem ser usados para personalizar configurações de rede, como sub-rede e grupos de segurança, configuração de monitoramento e armazenamento em nível de instância. Se você não tiver um modelo de lançamento preparado, consulte Usando modelos de EC2 lançamento da Amazon com AWS PCS para saber como criar um.

      Importante

      AWS O PCS cria um modelo de lançamento gerenciado para cada grupo de nós de computação. Esses são nomeadospcs-identifier-do-not-delete. Não os selecione ao criar ou atualizar um grupo de nós de computação, ou o grupo de nós não funcionará corretamente.

    2. EC2 versão do modelo de lançamento — Você deve selecionar uma versão do seu modelo de lançamento personalizado. Se você alterar a versão posteriormente, deverá atualizar o grupo de nós de computação para detectar alterações no modelo de execução. Para obter mais informações, consulte Atualização de um grupo de nós de computação AWS PCS.

    3. ID de AMI — se seu modelo de lançamento não incluir um ID de AMI ou se você quiser substituir o valor no modelo de lançamento, forneça um ID de AMI aqui. Observe que a AMI usada para o grupo de nós deve ser compatível com o AWS PCS. Você também pode selecionar uma amostra de AMI fornecida por AWS. Para obter mais informações sobre esse tópico, consulteAmazon Machine Images (AMIs) para AWS PCS.

    4. Perfil de instância do IAM — escolha um perfil de instância para o grupo de nós. Um perfil de instância concede à instância permissões para acessar AWS recursos e serviços com segurança. Se você não tiver um preparado, você pode selecionar Criar um perfil básico para que o AWS PCS crie um para você com a política mínima, ou consultePerfis de instância do IAM para o AWS Parallel Computing Service.

    5. Sub-redes — Escolha uma ou mais sub-redes na VPC em que seu cluster PCS está implantado. AWS Se você selecionar várias sub-redes, as comunicações EFA não estarão disponíveis entre os nós, e a comunicação entre nós em sub-redes diferentes poderá aumentar a latência. Certifique-se de que as sub-redes especificadas aqui correspondam às que você define no modelo de EC2 execução.

    6. Instâncias — escolha um ou mais tipos de instância para atender às solicitações de escalabilidade no grupo de nós. Todos os tipos de instância devem ter a mesma arquitetura de processador (x86_64 ou arm64) e número de v. CPUs Se as instâncias tiverem GPUs, todos os tipos de instância deverão ter o mesmo número de GPUs.

    7. Configuração de escalabilidade — especifique o número mínimo e máximo de instâncias para o grupo de nós. Você pode definir uma configuração estática, na qual há um número fixo de nós em execução, ou uma configuração dinâmica, na qual até a contagem máxima de nós pode ser executada. Para uma configuração estática, defina o mínimo e o máximo para o mesmo número, maior que zero. Para uma configuração dinâmica, defina o mínimo de instâncias como zero e o máximo de instâncias como um número maior que zero. AWS O PCS não oferece suporte a grupos de nós de computação com uma combinação de instâncias estáticas e dinâmicas.

  5. (Opcional) Em Configurações adicionais, especifique o seguinte:

    1. Opção de compra — selecione instâncias sob demanda, instâncias spot ou um bloco de capacidade existente. Escolha também On-Demand se você planeja usar uma Reserva de Capacidade Sob Demanda (ODCR). Para obter mais informações, consulte Usando ODCRs com AWS PCS. Escolha Capacity Block para usar uma reserva existente do Amazon EC2 Capacity Blocks for ML. Para obter mais informações, consulte Usando Amazon EC2 Capacity Blocks para ML com AWS PCS.

    2. Estratégia de alocação — se você selecionou a opção de compra spot, pode especificar como os pools de capacidade spot são escolhidos ao iniciar instâncias no grupo de nós. Para obter mais informações, consulte Estratégias de alocação para instâncias spot no Guia do usuário do Amazon Elastic Compute Cloud. Essa opção não tem efeito se você tiver selecionado a opção de compra sob demanda.

  6. (Opcional) Na seção de configurações Slurm personalizadas, você pode adicionar pares de nome e valor do parâmetro para definir configurações adicionais do Slurm. Para obter uma lista completa dos parâmetros compatíveis, consulteConfigurações personalizadas do Slurm para grupos de nós de computação AWS PCS.

  7. (Opcional) Em Tags, adicione qualquer tag ao seu grupo de nós de computação.

  8. Escolha Criar grupo de nós de computação. O campo Status mostra Creating enquanto o AWS PCS provisiona o grupo de nós. Isso pode demorar vários minutos.

Próxima etapa recomendada

  • Adicione seu grupo de nós a uma fila no AWS PCS para permitir que ele processe trabalhos.

AWS CLI
Para criar seu grupo de nós de computação usando AWS CLI

Crie sua fila com o comando a seguir. Antes da execução do comando, realize as seguintes substituições:

  1. regionSubstitua pelo ID do Região da AWS para criar seu cluster, comous-east-1.

  2. my-clusterSubstitua pelo nome ou pelo nome clusterId do seu cluster.

  3. my-node-groupSubstitua pelo nome do seu grupo de nós de computação. O nome só pode conter caracteres alfanuméricos (sensíveis a maiúsculas e minúsculas) e hifens. Ele deve começar com um caractere alfabético e não pode ter mais de 25 caracteres. O nome deve ser exclusivo dentro do cluster.

  4. subnet-ExampleID1Substitua por uma ou mais sub-redes IDs do seu cluster VPC.

  5. lt-ExampleID1Substitua pelo ID do seu modelo de lançamento personalizado. Se você não tiver um preparado, veja Usando modelos de EC2 lançamento da Amazon com AWS PCS para aprender como criar um.

    Importante

    AWS O PCS cria um modelo de lançamento gerenciado para cada grupo de nós de computação. Esses são nomeadospcs-identifier-do-not-delete. Não os selecione ao criar ou atualizar um grupo de nós de computação, ou o grupo de nós não funcionará corretamente.

  6. launch-template-versionSubstitua por uma versão específica do modelo de lançamento. AWS O PCS associa seu grupo de nós a essa versão específica do modelo de lançamento.

  7. arn:InstanceProfileSubstitua pelo ARN do seu perfil de instância do IAM. Se você não tiver um preparado, consulte Usando modelos de EC2 lançamento da Amazon com AWS PCS para obter orientação.

  8. min-instancesSubstitua e max-instances por valores inteiros. Você pode definir uma configuração estática, na qual há um número fixo de nós em execução, ou uma configuração dinâmica, na qual até a contagem máxima de nós pode ser executada. Para uma configuração estática, defina o mínimo e o máximo para o mesmo número, maior que zero. Para uma configuração dinâmica, defina o mínimo de instâncias como zero e o máximo de instâncias como um número maior que zero. AWS O PCS não oferece suporte a grupos de nós de computação com uma combinação de instâncias estáticas e dinâmicas.

  9. t3.largeSubstitua por outro tipo de instância. Você pode adicionar mais tipos de instância especificando uma lista de instanceType configurações. Por exemplo, .--instance-configs instanceType=c6i.16xlarge instanceType=c6a.16xlarge Todos os tipos de instância devem ter a mesma arquitetura de processador (x86_64 ou arm64) e número de v. CPUs Se as instâncias tiverem GPUs, todos os tipos de instância deverão ter o mesmo número de GPUs.

aws pcs create-compute-node-group --region region \
    --cluster-identifier my-cluster \
    --compute-node-group-name my-node-group \
    --subnet-ids subnet-ExampleID1 \
    --custom-launch-template id=lt-ExampleID1,version='launch-template-version' \
    --iam-instance-profile-arn=arn:InstanceProfile \
    --scaling-config minInstanceCount=min-instances,maxInstanceCount=max-instance \
    --instance-configs instanceType=t3.large
exemplo — Criação de um grupo de nós de computação com configurações personalizadas do Slurm
aws pcs create-compute-node-group --region region \
    --cluster-identifier my-cluster \
    --compute-node-group-name my-node-group \
    --subnet-ids subnet-ExampleID1 \
    --custom-launch-template id=lt-ExampleID1,version='launch-template-version' \
    --iam-instance-profile-arn=arn:InstanceProfile \
    --scaling-config minInstanceCount=min-instances,maxInstanceCount=max-instance \
    --instance-configs instanceType=t3.large \
    --slurm-configuration \
    'slurmCustomSettings=[{parameterName=Features,parameterValue="gpu,nvme"}]'

Para obter mais informações, consulte Configurações personalizadas do Slurm para grupos de nós de computação AWS PCS.

Há várias configurações opcionais que você pode adicionar ao create-compute-node-group comando.

  • Você pode especificar --amiId se seu modelo de lançamento personalizado não inclui uma referência a uma AMI ou se você deseja substituir esse valor. Observe que a AMI usada para o grupo de nós deve ser compatível com o AWS PCS. Você também pode selecionar uma amostra de AMI fornecida por AWS. Para obter mais informações sobre esse tópico, consulteAmazon Machine Images (AMIs) para AWS PCS.

  • Use --purchase-option para escolher a forma como o AWS PCS compra EC2 instâncias para seu grupo de nós de computação. On-Demand é o padrão.

    • ONDEMAND— Use instâncias sob demanda. Escolha também essa opção se você planeja usar uma reserva de capacidade sob demanda (ODCR). Para obter mais informações, consulte Usando ODCRs com AWS PCS.

    • SPOT— Use instâncias spot. Se você escolher instâncias spot, também poderá usar --allocation-strategy para definir como o AWS PCS escolhe os pools de capacidade spot ao iniciar instâncias no grupo de nós. Para obter mais informações, consulte Estratégias de alocação para instâncias spot no Guia do usuário do Amazon Elastic Compute Cloud.

    • CAPACITY_BLOCK— Use uma reserva existente do Amazon EC2 Capacity Blocks for ML. Para obter mais informações, consulte Usando Amazon EC2 Capacity Blocks para ML com AWS PCS.

  • É possível fornecer opções de Slurm configuração para os nós no grupo de nós usando--slurm-configuration. Você pode definir o peso (prioridade de agendamento) e a memória real. Os nós com pesos mais baixos têm maior prioridade e as unidades são arbitrárias. Para obter mais informações, consulte Peso na Slurm documentação. A memória real define o tamanho (em GB) da memória real nos nós do grupo de nós. Ele deve ser usado em conjunto com a CR_CPU_Memory opção do cluster no AWS PCS em sua Slurm configuração. Para obter mais informações, consulte a RealMemory documentação do Slurm.

Importante

A criação do grupo de nós de computação pode levar vários minutos.

Você pode consultar o status do seu grupo de nós com o comando a seguir. Você não poderá associar o grupo de nós a uma fila até que seu status chegueACTIVE.

aws pcs get-compute-node-group --region region \
    --cluster-identifier my-cluster \
    --compute-node-group-identifier my-node-group