Criando um cluster no AWS Parallel Computing Service - AWS PCS
Pré-requisitosCrie um cluster AWS PCS

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Criando um cluster no AWS Parallel Computing Service

Este tópico fornece uma visão geral das opções disponíveis e descreve o que considerar ao criar um cluster no Serviço de Computação AWS Paralela (AWS PCS). Se esta é a primeira vez que você cria um cluster AWS PCS, recomendamos que você sigaComece a usar o serviço de computação AWS paralela. O tutorial pode ajudá-lo a criar um sistema de HPC funcional sem expandir para todas as opções e arquiteturas de sistema disponíveis.

Pré-requisitos

Crie um cluster AWS PCS

Você pode usar o AWS Management Console ou AWS CLI para criar um cluster.

AWS Management Console
Para criar um cluster

  1. Abra o console AWS PCS em https://console.aws.amazon.com/pcs/home#/clusters e escolha Create cluster.

  2. Na seção Configuração do cluster, insira os seguintes campos:

    • Nome do cluster — Um nome para seu cluster. O nome só pode conter caracteres alfanuméricos (sensíveis a maiúsculas e minúsculas) e hifens. Ele deve começar com um caractere alfabético e não pode ter mais de 40 caracteres. O nome deve ser exclusivo no Região da AWS e no Conta da AWS qual você está criando o cluster.

    • Agendador — Escolha um agendador e uma versão. Para obter mais informações, consulte Versões Slurm no PCS AWS.

    • Tamanho do controle — Escolha um tamanho para o controle. Isso determina quantos trabalhos e nós de computação simultâneos podem ser gerenciados pelo cluster AWS PCS. Você só pode definir o tamanho do controlador quando o cluster é criado. Para obter mais informações sobre dimensionamento, consulteTamanho do cluster no AWS PCS.

  3. Na seção Rede, selecione valores para os seguintes campos:

    • Tipo de rede — Escolha o tipo de endereço IP para seu cluster. Seu cluster pode usar um IPv4 ou IPv6, mas não os dois. A VPC e as sub-redes devem usar o mesmo tipo de endereço de rede. O bloco de endereços IP que você usa para cada sub-rede deve ter pelo menos 1 endereço disponível. AWS reserva alguns dos endereços em cada sub-rede. Para obter mais informações, consulte Blocos CIDR de sub-redes no Guia do usuário da Amazon VPC.

    • VPC — Escolha uma VPC existente que atenda aos requisitos da PCS. AWS Para obter mais informações, consulte AWS Requisitos e considerações sobre PCS, VPC e sub-rede. Depois de criar o cluster, você não pode alterar sua VPC. Se nenhum VPCs estiver listado, você deverá criar um primeiro.

    • Sub-rede — Todas as sub-redes disponíveis na VPC selecionada são listadas. Escolha uma sub-rede que atenda aos requisitos de sub-rede do AWS PCS. Para obter mais informações, consulte AWS Requisitos e considerações sobre PCS, VPC e sub-rede. Recomendamos que você selecione uma sub-rede privada para evitar a exposição dos endpoints do agendador à Internet pública.

    • Grupos de segurança — especifique os grupos de segurança que você deseja que o AWS PCS associe às interfaces de rede que ele cria para seu cluster. Você deve selecionar pelo menos um grupo de segurança que permita a comunicação entre seu cluster e seus nós de computação. Você pode selecionar Criar rapidamente um grupo de segurança para que o AWS PCS crie um com a configuração necessária na VPC selecionada ou selecione um grupo de segurança existente. Para obter mais informações, consulte Requisitos e considerações do grupo de segurança.

  4. (Opcional) Na seção Configuração da contabilidade do Slurm, você pode ativar a contabilidade do Slurm e definir os parâmetros contábeis. Para obter mais informações, consulte Contabilidade de slurm no PCS AWS.

  5. (Opcional) Na seção Configuração do Slurm, você pode especificar as opções de configuração do Slurm que substituem os padrões definidos pelo PCS: AWS

    • Reduza o tempo de inatividade — isso controla por quanto tempo os nós de computação provisionados dinamicamente permanecem ativos após a conclusão ou o término dos trabalhos colocados neles. Definir isso para um valor maior pode aumentar a probabilidade de uma tarefa subsequente ser executada no nó, mas pode levar ao aumento dos custos. Um valor menor diminuirá os custos, mas poderá aumentar a proporção de tempo que seu sistema de HPC gasta provisionando nós em vez de executar trabalhos neles.

    • Prolog — Esse é um caminho totalmente qualificado para um diretório de scripts de prolog em suas instâncias do grupo de nós de computação. Isso corresponde à configuração do Prolog no Slurm. Observe que isso deve ser um diretório, não um caminho para um executável específico.

    • Epilog — Esse é um caminho totalmente qualificado para um diretório de scripts de epilog em suas instâncias do grupo de nós de computação. Isso corresponde à configuração do Epilog no Slurm. Observe que isso deve ser um diretório, não um caminho para um executável específico.

    • Selecionar parâmetros de tipo — Isso ajuda a controlar o algoritmo de seleção de recursos usado pelo Slurm. Definir esse valor como CR_CPU_Memory ativará o agendamento com reconhecimento de memória, enquanto configurá-lo como CR_CPU ativará o agendamento somente da CPU. Esse parâmetro corresponde à SelectTypeParametersconfiguração no Slurm, onde SelectType é definido select/cons_tres pelo AWS PCS.

  6. (Opcional) Em Tags, adicione qualquer tag ao seu cluster AWS PCS.

  7. Selecione Criar cluster. O campo Status é exibido Creating enquanto o AWS PCS cria o cluster. Esse processo pode levar alguns minutos.

Importante

Só pode haver 1 cluster em um Creating estado Região da AWS por pessoa Conta da AWS. AWS O PCS retornará um erro se já houver um cluster em um Creating estado quando você tentar criar um cluster.

AWS CLI
Para criar um cluster

  1. Crie o cluster usando o comando a seguir. Antes da execução do comando, realize as seguintes substituições:

    • regionSubstitua pelo ID do Região da AWS qual você deseja criar seu cluster, comous-east-1.

    • Substitua my-cluster por um nome de cluster. O nome só pode conter caracteres alfanuméricos (sensíveis a maiúsculas e minúsculas) e hifens. Ele deve começar com um caractere alfabético e não pode ter mais de 40 caracteres. O nome deve ser exclusivo dentro Região da AWS e Conta da AWS onde você está criando o cluster.

    • 24.11Substitua por qualquer versão compatível do Slurm.

      nota

      AWS Atualmente, o PCS suporta Slurm 24.11 e 24.05.

    • SMALLSubstitua por qualquer tamanho de cluster compatível. Isso determina quantos trabalhos e nós de computação simultâneos podem ser gerenciados pelo cluster AWS PCS. Ele só pode ser definido quando o cluster é criado. Para obter mais informações sobre dimensionamento, consulteTamanho do cluster no AWS PCS.

    • Substitua o valor subnetIds por pelo seu. Recomendamos que você selecione uma sub-rede privada para evitar a exposição dos endpoints do agendador à Internet pública.

    • Especifique o securityGroupIds que você deseja que o AWS PCS associe às interfaces de rede que ele cria para seu cluster. Os grupos de segurança devem estar na mesma VPC do cluster. Você deve selecionar pelo menos um grupo de segurança que permita a comunicação entre seu cluster e seus nós de computação. Para obter mais informações, consulte Requisitos e considerações do grupo de segurança.

    • Opcionalmente, você pode fornecer uma chave KMS personalizada para criptografar os dados do seu controlador usando. --kms-key-id kms-key kms-keySubstitua por um ARN, ID de chave ou alias do KMS existente. Observe que a conta usada para criar o cluster deve ter kms:Decrypt privilégios na chave KMS personalizada.

    aws pcs create-cluster --region region \
    --cluster-name my-cluster \
    --scheduler type=SLURM,version=24.11 \
    --size SMALL \
    --networking subnetIds=subnet-ExampleId1,securityGroupIds=sg-ExampleId1

    • para usar IPv6, adicione networkType=IPV6 à --networking configuração.

        --networking networkType=IPV6,subnetIds=subnet-ExampleId1,securityGroupIds=sg-ExampleId1

    • Opcionalmente, você pode adicionar a --slurm-configration opção de personalizar o comportamento do Slurm e especificar as opções de configuração do Slurm. O exemplo a seguir define o tempo de inatividade de redução para 60 minutos (3600 segundos), ativa a contabilização do Slurm e especifica slurm.conf as configurações como o valor de. slurmCustomSettings Para obter mais informações, consulte Contabilidade de slurm no PCS AWS.

      nota

      A contabilidade é compatível com o Slurm 24.11 ou posterior.

      aws pcs create-cluster --region region \
    --cluster-name my-cluster \
    --scheduler type=SLURM,version=24.11 \
    --size SMALL \
    --networking subnetIds=subnet-ExampleId1,securityGroupIds=sg-ExampleId1
    --slurm-configuration scaleDownIdleTimeInSeconds=3600,accounting='{mode=STANDARD}',slurmCustomSettings='[{parameterName=SelectTypeParameters,parameterValue=CR_CPU_Memory}]'

  2. O provisionamento do cluster pode levar vários minutos. Você pode consultar o status do cluster com o comando a seguir. Não continue criando filas ou grupos de nós de computação até que o campo de status do cluster seja exibido. ACTIVE

    aws pcs get-cluster --region region --cluster-identifier my-cluster
Importante

Só pode haver 1 cluster em um Creating estado Região da AWS por pessoa Conta da AWS. AWS O PCS retornará um erro se já houver um cluster em um Creating estado quando você tentar criar um cluster.
Próximas etapas recomendadas para seu cluster

  • Adicione grupos de nós de computação.

  • Adicione filas.

  • Ativar o registro em log.