Notas de release e histórico de documentos

Versão somente para documentação:

• AWS ParallelCluster a versão 2 tem seu próprio guia de usuário separado.

Correções de erros:

• Evite a substituição de sistemas de arquivos gerenciados FSx pelo Lustre e a perda de dados em atualizações de cluster que incluam alterações no. vpc_security_group_id

Alterações:

• Biblioteca Intel MPI atualizada para a versão 2021 atualização 6 (atualizada a partir da versão 2021 atualização 4). Para obter mais informações, consulte Intel® MPI Library 2021 Update 6.

• Atualização do instalador EFA para 1.19.0

  • Driver EFA: efa-1.16.0-1

  • Efa-config: efa-config-1.11-1 (era efa-config-1.9-1)

  • Perfil EFA: efa-profile-1.5-1 (sem alteração)

  • Libfabric-aws: libfabric-aws-1.16.0-1 (de libfabric-1.13.2)

  • Núcleo RDMA: rdma-core-41.0-2 (era rdma-core-37.0)

  • Open MPI: openmpi40-aws-4.1.4-3 (era openmpi40-aws-4.1.1-2)

• Atualize o tempo de execução do Python, usado pelas funções do Lambda na integração AWS Batch , para python3.9.

Correções de erros:

• Evite que as tags de cluster sejam alteradas durante uma atualização por não serem compatíveis.

Alterações:

• Atualização do Slurm para a versão 20.11.9.

Melhorias:

• Melhoria do gerenciamento de exceções em caso de falta de rede.

Alterações:

• Atualizações no pacote do sistema operacional e correções de segurança.

Melhorias:

• Adicione suporte NEW_CHANGED_DELETED como valor FSx para a AutoImportPolicy opção Lustre.

• Remova o suporte para programadores Torque e SGE.

• Desative o serviço log4j-cve-2021-44228-hotpatch no Amazon Linux para evitar uma possível degradação do desempenho.

Alterações:

• Atualização do driver NVIDIA para a versão 470.103.01 (era 470.82.01).

• Atualização do NVIDIA Fabric Manager para a versão 470.103.01 (era 470.82.01).

• Atualização da biblioteca CUDA para a versão 11.4.4 (de 11.4.3).

• Intel MPI atualizado para a versão 2021 atualização 4 (atualizado a partir da versão 2019 atualização 8). Para obter mais informações, consulte Intel® MPI Library 2021 Update 4.

• Extensão do tempo limite de criação do nó principal para uma hora.

Correções de erros:

• Correção da conexão DCV por meio de navegadores.

• Correção de menções YAML para evitar que tags personalizadas sejam analisadas como números.

• Suporte para CentOS 8 removido. O CentOS 8 chega ao fim da vida útil (EOL) em 31 de dezembro de 2021.

• Atualização do Slurm Workload Manager para a versão 20.11.8.

• Atualização do Cinc Client para 17.2.29.

• Amazon DCV atualizado para Amazon DCV 2021.2-11190. Para ter mais informações, consulte DCV 2021.2-11190 — October 11, 2021 no Guia do administrador do Amazon DCV.

• Atualização do driver NVIDIA para a versão 470.82.01 (era 460.73.01).

• Atualização da biblioteca CUDA para a versão 11.4.3 (de 11.3.0).

• Atualização do NVIDIA Fabric Manager para 470.82.01.

• Desabilitação da atualização do pacote no momento do lançamento da instância no Amazon Linux 2.

• Desabilitação da atualização autônoma de pacotes em Ubuntu e Amazon Linux 2.

• Instalação da versão Python 3 dos scripts auxiliares do CloudFormation em CentOS 7 e Ubuntu 18.04. (Já foram usados no Amazon Linux 2 e no Ubuntu 20.04.)

• Desabilitação da atualização do parâmetro ec2_iam_role.

• Correção da configuração CpuOptions no modelo de execução para instâncias T2.

• Correção da falha pcluster createami devido ao fato de as fontes de Son of Grid Engine não estarem disponíveis em arc.liv.ac.uk.

Atualização do instalador Elastic Fabric Adapter para 1.14.1 (de 1.13.0)

• Config. EFA: efa-config-1.9-1 (era efa-config-1.9)

• Perfil EFA: efa-profile-1.5-1 (sem alteração)

• Módulo Kernel EFA: efa-1.14.2 (era efa-1.13.0)

• Núcleo RDMA: rdma-core-37.0 (de rdma-core-35.0amzn)

• Libfabric: libfabric-1.13.2 (de libfabric-1.13.0amzn1.0)

• Open MPI: openmpi40-aws-4.1.1-2 (sem alteração)

GPUDirect O RDMA está sempre ativado se for compatível com o tipo de instância.

• As opções de configuração enable_efa_gdr e enable_efa_gdr não entram em vigor.

• Não instale o EFA com o GPUDirect RDMA (GDR) habilitado no momento da inicialização se o EFA estiver instalado na AMI base.

• Bloqueie a versão do nvidia-fabricmanager pacote para permanecer sincronizada com a versão do driver NVIDIA instalada pelo AWS ParallelCluster.

• Slurm: correção do problema causado quando o cluster era interrompido e reiniciado enquanto um nó estava sendo ativado.

• Instalador do Elastic Fabric Adapter atualizado para 1.13.0:

  • Config. EFA: efa-config-1.9 (sem alteração)

  • Perfil EFA: efa-profile-1.5-1 (sem alteração)

  • Módulo Kernel EFA: efa-1.13.0 (sem alteração)

  • Núcleo RDMA: rdma-core-35.0amzn (de rdma-core-32.1amzn)

  • Libfabric: libfabric-1.13.0amzn1.0 (de libfabric-1.11.2amzn1.1)

  • Open MPI: openmpi40-aws-4.1.1-2 (sem alteração)

• Ao usar uma AMI personalizada com um pacote EFA pré-instalado, nenhuma alteração é feita no EFA no momento da inicialização do nó. A implantação original do pacote EFA é preservada.

• Montagem de sistemas de arquivos usando a opção de montagem noatime para interromper a gravação do último horário de acesso quando um arquivo é lido. Isso melhora o desempenho do sistema de arquivos remoto.

• Instalador do Elastic Fabric Adapter atualizado para 1.12.3:

  • Config. EFA: efa-config-1.9 (era efa-config-1.8-1)

  • Perfil EFA: efa-profile-1.5-1 (sem alteração)

  • Módulo Kernel EFA: efa-1.13.0 (era efa-1.12.3)

  • Núcleo RDMA: rdma-core-32.1amzn (sem alteração)

  • Libfabric: libfabric-1.11.2amzn1.1 (sem alteração)

  • Open MPI: openmpi40-aws-4.1.1-2 (sem alteração)

• Tente novamente as instalações do aws-parallelcluster pacote no nó principal ao usar AWS Batch como agendador.

• Evite falhas ao criar SGE um tipo de instância com mais de 31 CPUs v.

• Fixado na versão 1.247347.6 do CloudWatch Amazon Agent para evitar problemas vistos na versão 1.247348.0.

• Foi adicionado suporte para Ubuntu 20.04 (ubuntu2004) e removido o suporte para Ubuntu 16.04 (ubuntu1604) e Amazon Linux (alinux). O Amazon Linux 2 (alinux2) continua com suporte integral. Para obter mais informações, consulte base_os.

• Foi removido o suporte para versões de Python abaixo de 3.6.

• O tamanho do volume raiz padrão aumentou para 35 gibibytes (GiB). Para obter mais informações, consulte compute_root_volume_size e master_root_volume_size.

• Instalador do Elastic Fabric Adapter atualizado para 1.12.2:

  • Config. EFA: efa-config-1.8-1 (era efa-config-1.7)

  • Perfil EFA: efa-profile-1.5-1 (era efa-profile-1.4)

  • Módulo Kernel EFA: efa-1.12.3 (era efa-1.10.2)

  • Núcleo RDMA: rdma-core-32.1amzn (de rdma-core-31.2amzn)

  • Libfabric: libfabric-1.11.2amzn1.1 (de libfabric-1.11.1amzn1.0)

  • Open MPI: openmpi40-aws-4.1.1-2 (era openmpi40-aws-4.1.0)

• Slurm atualizado para a versão 20.11.7 (de 20.02.7).

• Instalação do SSM Agent em centos7 e centos8. (O SSM Agent está pré-instalado em alinux2ubuntu1804, e.ubuntu2004)

• SGE: sempre usar o nome curto como filtro do nome do host com qstat.

• Use o serviço de metadados da instância Versão 2 (IMDSv2) em vez do serviço de metadados da instância Versão 1 (IMDSv1) para recuperar os metadados da instância. Para obter mais informações, consulte Metadados da instância e dados do usuário no Guia do EC2 usuário da Amazon.

• Atualização do driver NVIDIA para a versão 460.73.01 (era 450.80.02).

• Atualização da biblioteca CUDA para a versão 11.3.0 (de 11.0).

• Atualização do NVIDIA Fabric Manager para nvidia-fabricmanager-460.

• Atualize o Python usado em AWS ParallelCluster virtualenvs para (de). 3.7.10 3.6.13

• Atualização do Cinc Client para 16.13.16.

• Atualize dependências de terceiros de aws-parallelcluster-cookbook:

  • apt-7.4.0 (de apt-7.3.0).

  • iptables-8.0.0 (de iptables-7.1.0).

  • line-4.0.1 (de line-2.9.0).

  • openssh-2.9.1 (de openssh-2.8.1).

  • pyenv-3.4.2 (de pyenv-3.1.1).

  • selinux-3.1.1 (de selinux-2.1.1).

  • ulimit-1.1.1 (de ulimit-1.0.0).

  • yum-6.1.1 (de yum-5.1.0).

  • yum-epel-4.1.2 (de yum-epel-3.3.0).

• Slurm atualizado para a versão 20.02.7 (de 20.02.4).

• Foi adicionado suporte para Ubuntu 18.04 e Amazon Linux 2 em instâncias AWS Graviton baseadas em ARM na China e. AWS AWS GovCloud (US) Regiões da AWS

• Instalador do Elastic Fabric Adapter atualizado para 1.11.2:

  • Config. EFA: efa-config-1.7 (sem alteração)

  • Perfil EFA: efa-profile-1.4 (era efa-profile-1.3)

  • Módulo Kernel EFA: efa-1.10.2 (sem alteração)

  • Núcleo RDMA: rdma-core-31.2amzn (sem alteração)

  • Libfabric: libfabric-1.11.1amzn1.0 (sem alteração)

  • Open MPI: openmpi40-aws-4.1.0 (sem alteração)

• Melhore a validação da configuração do cluster para usar a AMI de destino do cluster ao invocar a operação da EC2 RunInstancesAPI da Amazon no --dry-run modo.

• Atualize a versão do Python usada nos ambientes AWS ParallelCluster virtuais para 3.6.13.

• Correção de sanity_check para tipos de instância Arm.

• Correção de enable_efa ao usar centos8 com o programador Slurm ou os tipos de instância Arm.

• Execução da apt update no modo não interativo (-y).

• Correção de encrypted_ephemeral = verdadeiro com alinux2 e centos8.

• Foi adicionado suporte para a África (Cidade do Cabo) (af-south-1), Europa (Milão) (me-south-1) e Oriente Médio (Bahrein) (). me-south-1 Regiões da AWS No lançamento, o suporte é limitado das seguintes maneiras:

  • FSx para Lustre e instâncias de Graviton baseadas em ARM não são suportadas em nenhuma delas. Regiões da AWS

  • AWS Batch não é suportado na África (Cidade do Cabo).

  • O Amazon EBS io2 e os tipos de gp3 volume não são compatíveis na África (Cidade do Cabo) e na Europa (Milão) Regiões da AWS.

• Foi adicionado suporte para o Amazon EBS io2 e tipos de volume gp3. Para mais informações, consulte a seção [ebs] e a seção [raid].

• Foi adicionado suporte para Elastic Fabric Adapter em instâncias Graviton2 baseadas em ARM que executam alinux2, ubuntu1804, ou ubuntu2004. Para obter mais informações, consulte Elastic Fabric Adapter.

• Instale as bibliotecas de desempenho Arm 20.2.1 no Arm AMIs (alinux2centos8, eubuntu1804). Para obter mais informações, consulte Bibliotecas de desempenho do Arm.

• Intel MPI atualizado para a versão 2019 atualização 8 (atualizado a partir da versão 2019 atualização 7). Para obter mais informações, consulte Intel® MPI Library 2019 Update 8.

• A chamada de operação da CloudFormation DescribeStacks API foi removida do ponto de entrada do AWS Batch Docker para encerrar as falhas de trabalho causadas pela limitação de. CloudFormation

• Melhorou as chamadas para a chamada de operação de EC2 DescribeInstanceTypes API da Amazon ao validar uma configuração de cluster.

• As imagens do Docker do Amazon Linux 2 são extraídas do Amazon ECR Public ao criar a imagem do Docker para o programador do awsbatch.

• O tipo de instância padrão mudou do tipo de t2.micro instância codificada para o tipo de instância de nível gratuito para o Região da AWS (t2.microout3.micro, dependendo do Região da AWS). Regiões da AWS que não têm um nível gratuito padrão para o tipo de t3.micro instância.

• Instalador do Elastic Fabric Adapter atualizado para 1.11.1:

  • Config. EFA: efa-config-1.7 (era efa-config-1.5)

  • Perfil EFA: efa-profile-1.3 (era efa-profile-1.1)

  • Módulo Kernel EFA: efa-1.10.2 (sem alteração)

  • Núcleo RDMA: rdma-core-31.2amzn (de rdma-core-31.amzn0)

  • Libfabric: libfabric-1.11.1amzn1.0 (de libfabric-1.10.1amzn1.1)

  • Open MPI: openmpi40-aws-4.1.0 (era openmpi40-aws-4.0.5)

• Os parâmetros vpc_settings, vpc_id e master_subnet_id agora são obrigatórios.

• O daemon do nfsd no nó principal agora está configurado para usar pelo menos 8 threads. Se houver mais de 8 núcleos, ele usará tantos threads quanto houver núcleos. Ao usar ubuntu1604, a configuração só muda depois que o nó é reinicializado.

• Amazon DCV atualizado para Amazon DCV 2020.2-9662. Para ter mais informações, consulte DCV 2020.2-9662 — December 04, 2020 no Guia do administrador do Amazon DCV.

• Os pacotes Intel MPI e HPC para AWS ParallelCluster são retirados do Amazon S3. Eles não são mais retirados dos repositórios Intel yum.

• O systemd nível de execução padrão foi alterado para multi-user.target ativado OSs durante a criação do oficial AWS ParallelCluster AMIs. O nível de execução é definido como graphical.target no nó principal somente quando o DCV está ativado. Isso impede que serviços gráficos (como x/gdm) sejam executados quando não são necessários.

• Suporte habilitado para instâncias p4d.24xlarge no nó principal.

• Aumento do número máximo de tentativas ao registrar nós Slurm no Amazon Route 53.

• Foi adicionado suporte para CentOS 8 no total Regiões da AWS (fora das regiões AWS da China e AWS GovCloud (EUA)). Suporte removido para CentOS 6.

• Foi adicionado suporte para instâncias p4d.24xlarge de nós de computação.

• Foi adicionado suporte para NVIDIA GPUDirect RDMA no EFA usando a nova configuração. enable_efa_gdr

• Foi adicionado suporte para os recursos do Amazon FSx for Lustre.

  • Configure seu sistema de arquivos Amazon FSx for Lustre para importar preferências usando a auto_import_policy configuração.

  • Foi adicionado suporte para sistemas de arquivos Amazon FSx for Lustre baseados em HDD usando as storage_type configurações e. drive_cache_type

• Foi adicionado um CloudWatch painel da Amazon, incluindo métricas do nó principal e fácil acesso aos registros do cluster. Para obter mais informações, consulte CloudWatch Painel da Amazon.

• Foi adicionado suporte para o uso de um bucket Amazon S3 existente para armazenar informações de configuração do cluster, usando a configuração cluster_resource_bucket.

• Melhoria do comando pcluster createami.

  • Foi adicionado um parâmetro --post-install para usar um script de pós-instalação ao criar uma AMI.

  • Foi adicionada uma etapa de validação para falhar ao usar uma AMI básica criada por uma versão diferente do AWS ParallelCluster.

  • Foi adicionada uma etapa de validação que indica falha quando o sistema operacional selecionado for diferente do sistema operacional na AMI base.

  • Foi adicionado suporte para o uso de uma AMI AWS ParallelCluster básica.

• Melhoria do comando pcluster update.

  • Agora, a configuração tags pode ser alterada durante uma atualização.

  • As filas agora podem ser redimensionadas durante uma atualização sem interromper a frota de computação

• Parâmetro de configuração all_or_nothing_batch adicionado para o script slurm_resume. Quando for True, slurm_resume será bem-sucedida somente se todas as instâncias exigidas por todos os trabalhos pendentes em Slurm estiverem disponíveis. Para obter mais informações, consulte Apresentando all_or_nothing_batch lançamentos no AWS ParallelCluster Wiki em GitHub.

• Instalador do Elastic Fabric Adapter atualizado para 1.10.1:

  • Config. EFA: efa-config-1.5 (era efa-config-1.4)

  • Perfil EFA: efa-profile-1.1 (era efa-profile-1.0.0)

  • Módulo Kernel EFA: efa-1.10.2 (era efa-1.6.0)

  • Núcleo RDMA: rdma-core-31.amzn0 (de rdma-core-28.amzn0)

  • Libfabric: libfabric-1.11.1amzn1.0 (de libfabric-1.10.1amzn1.1)

  • Open MPI: openmpi40-aws-4.0.5 (era openmpi40-aws-4.0.3)

• Nas AWS GovCloud (US) regiões, habilite o suporte para Amazon DCV e. AWS Batch

• Nas regiões da AWS China, ative o suporte para o Amazon FSx for Lustre.

• Atualização do driver NVIDIA para a versão 450.80.02 (era 450.51.05).

• Instale o NVIDIA Fabric Manager para habilitar a NVIDIA NVSwitch em plataformas compatíveis.

• Removido o padrão Região da AWS deus-east-1. O padrão usa essa ordem de pesquisa.

  • Região da AWS especificado em -r nosso --region argumento.

  • Variável de ambiente AWS_DEFAULT_REGION.

  • aws_region_nameconfiguração na [aws]seção do arquivo de AWS ParallelCluster configuração (o padrão é). ~/.parallelcluster/config

  • regionconfiguração na [default] seção do arquivo de AWS CLI configuração (o padrão é). ~/aws/config

• Foi adicionado suporte para várias filas e vários tipos de instância na frota de computação usando o Slurm Workload Manager. Ao usar filas, os grupos do Auto Scaling não são mais usados no Slurm. Uma zona hospedada do Amazon Route 53 agora é criada com o cluster e é usada para resolução de DNS de nós computacionais ao usar o programador do Slurm. Para obter mais informações, consulte Modo de fila múltipla.

• Foi adicionado suporte para o Amazon DCV em instâncias baseadas em AWS Graviton baseadas em ARM.

• Foi adicionado suporte para desativar o hyperthreading em tipos de instância que não oferecem suporte às opções de CPU nos modelos de execução (por exemplo, tipos de instância *.metal).

• Foi adicionado suporte para NFS 4 para sistemas de arquivos compartilhados a partir do nó principal.

• Foi removida a dependência do cfn-init ao inicializar os nós de computação para evitar a limitação quando um grande número de nós ingressa no cluster. CloudFormation

• Instalador do Elastic Fabric Adapter atualizado para 1.9.5:

  • Config. EFA: efa-config-1.4 (era efa-config-1.3)

  • Perfil EFA: efa-profile-1.0.0 (novo)

  • Kernel module: efa-1.6.0 (sem alteração)

  • Núcleo RDMA: rdma-core-28.amzn0 (sem alteração)

  • Libfabric: libfabric-1.10.1amzn1.1 (sem alteração)

  • Open MPI: openmpi40-aws-4.0.3 (sem alteração)

• Slurm atualizado para a versão 20.02.4 (de 19.05.5).

• Amazon DCV atualizado para Amazon DCV 2020.1-9012. Para ter mais informações, consulte as DCV 2020.1-9012 — August 24, 2020 no Guia do administrador do Amazon DCV.

• Ao montar unidades NFS compartilhadas, passou a ser usado o endereço IP privado do nó principal em vez do nome do host.

• Foram adicionados novos fluxos de log aos CloudWatch Logs: chef-clientclustermgtd,computemgtd,slurm_resume, e. slurm_suspend

• Foi adicionado suporte para nomes de filas em scripts de pré-instalação e pós-instalação.

• No AWS GovCloud (US) Regiões da AWS, use a opção de cobrança sob demanda do Amazon DynamoDB. Para obter mais informações, consulte Modo sob demanda no Guia do desenvolvedor do Amazon DynamoDB.

• Desabilitação do bloqueio de tela para sessões do Amazon DCV para evitar que os usuários sejam bloqueados.

• Correção do pcluster configure ao incluir um tipo de instância AWS baseada em Graviton e baseada em ARM.

• Foi adicionado suporte para instâncias baseadas em AWS Graviton baseadas em ARM (como e). A1 C6g

• Foi adicionado suporte para os recursos de backup diário automático do Amazon FSx for Lustre. Para ter mais informações, consulte automatic_backup_retention_days, copy_tags_to_backups, daily_automatic_backup_start_time e fsx_backup_id.

• Removida a dependência de Berkshelf de pcluster createami.

• Melhoria da robustez e da experiência do usuário de pcluster update. Para obter mais informações, consulte Usar o pcluster update.

• Instalador do Elastic Fabric Adapter atualizado para 1.9.4:

  • Módulo do kernel: efa-1.6.0 (atualizado de efa-1.5.1)

  • Núcleo RDMA: rdma-core-28.amzn0 (atualizado de rdma-core-25.0)

  • Libfabric: libfabric-1.10.1amzn1.1 (atualizado de libfabric-aws-1.9.0amzn1.1)

  • Open MPI: openmpi40-aws-4.0.3 (sem alteração)

• Atualização do driver NVIDIA para a versão 440.95.01 da Tesla em CentOS 6 e para a versão 450.51.05 em todas as outras distribuições.

• Atualização da biblioteca CUDA para a versão 11.0 em todas as distribuições, exceto CentOS 6.

• base_os agora é um parâmetro obrigatório.

• scheduler agora é um parâmetro obrigatório.

• Amazon DCV atualizado para Amazon DCV 2020.0. Para ter mais informações, consulte NICE DCV lança versão 2020.0 com sistema surround 7.1 e suporte para caneta.

  Intel MPI atualizado para a versão 2019 atualização 7 (atualizado a partir da versão 2019 atualização 6). Para obter mais informações, consulte Intel® MPI Library 2019 Update 7.

  Instalador do Elastic Fabric Adapter atualizado para 1.8.4:

  • Kernel module: efa-1.5.1 (sem alteração)

  • Núcleo RDMA: rdma-core-25.0 (sem alteração)

  • Libfabric: libfabric-aws-1.9.0amzn1.1 (sem alteração)

  • Open MPI: openmpi40-aws-4.0.3 (atualizado de openmpi40-aws-4.0.2)

• Atualize o CentOS 7 AMI para a versão 7.8-2003 (atualizada de 7.7-1908). Para obter mais informações, consulte Notas de release do CentOS-7 (2003).

• Removido cfn-init-cmd e cfn-wire dos registros armazenados no Amazon CloudWatch Logs. Para obter mais informações, consulte Integração com Amazon CloudWatch Logs.

• Adicionado suporte para o Amazon Linux 2.

• Agora, o Amazon CloudWatch Logs é usado para coletar registros do cluster e do agendador. Para obter mais informações, consulte Integração com Amazon CloudWatch Logs.

• Foi adicionado suporte para novos tipos de implantação do Amazon FSx for SCRATCH_2 Lustre PERSISTENT_1 e. Support FSx for Lustre em Ubuntu 18.04 e Ubuntu 16.04. Para obter mais informações, consulte fsx.

• Suporte adicionado para o Amazon DCV no Ubuntu 18.04. Para obter mais informações, consulte Conecte-se ao nó principal por meio do Amazon DCV.