Notes de mise à jour et historique du document

Corrigez un bogue qui peut provoquer update-cluster et update-compute-fleet échouer lorsque les ressources de calcul font référence à une réservation de capacité expirée qui n'est plus accessible via EC2 APIs.

Corrige un build-image échec sur Rocky 9 qui se produit lorsque l'image parent ne fournit pas la dernière version du noyau. Voir https://github.com/aws/aws-parallelcluster/issues/6874.

Mettez à jour Slurm vers la version 24.05.8.

Mettez à niveau le programme d'installation d'EFA vers la version 1.41.0 (à partir de la version 1.38.1).

Passez amazon-efs-utils à la version 2.3.1 (à partir de v2.1.0) pour les AMI autres qu'Amazon Linux.

Support DCV en us-isob-east -1 et us-iso-east -1.

Support FSX pour Lustre et Ontap en us-isob-east -1 et us-iso-east -1.

Garantissez la cohérence du noyau tout au long de la création de ParallelCluster l'image en l'épinglant au début et en le détachant à la fin.

Correction d'un bogue dans l'installation d'ARM Performance Library qui provoquait l'échec de l'image de compilation dans des environnements isolés.

Correction d'un bogue qui empêchait le script 'update_directory_service_password.sh' de mettre à jour le mot de passe AD.

Il s'agit de la dernière ParallelCluster version compatible avec Ubuntu 20.04, car Ubuntu 20.04 sortira End-Of-Standard-Support en mai 2025.

Ajout du support pour Ubuntu 24.04.

Ajout du support pour la région ap-southeast-7.

Désactivez les services cups et wpa_supplicant non utilisés dans Official pour améliorer la sécurité. ParallelCluster AMIs

Mettez à jour Slurm vers la version 24.05.7.

Mettez à niveau le pilote NVIDIA vers la version 570.86.15 (à partir de 550.127.08) pour tous sauf. OSs AL2

Mettez à niveau le kit d'outils CUDA vers la version 12.8.0 (à partir de 12.4.1) pour tous sauf. OSs AL2

Mettez à jour Python vers la version 3.12.8 pour tous OSs sauf AL2 (à partir de la version 3.9.20).

Sur Ubuntu 22.04, installez le pilote Nvidia avec la même version de compilateur que celle utilisée pour compiler le noyau.

Passez aws-cfn-bootstrap à la version 2.0-33.

Mettez à niveau le programme d'installation d'EFA vers la version 1.38.0 (à partir de la version 1.36.0).

Passez amazon-efs-utils à la version 2.1.0.

Supprimer le livre de recettes tiers : apt-7.5.22 et pyenv-4.2.3.

Mettez à niveau les dépendances des livres de recettes tiers :

Mettez à jour Pmix vers la version 5.0.6 (à partir de la version 5.0.3).

Mettez à niveau ARM PL vers la version 24.10 (à partir de 23.10).

Mettez à niveau Python vers la version 3.12.8 (à partir de 3.9.17) dans la couche Lambda et le programme d'installation.

Mettez à niveau NodeJS vers la version 20.18.3 (à partir de 18.20.3) dans la couche Lambda et le programme d'installation.

Supprimez la génération de clés DSA pour les nœuds de connexion en tant que DSA, qui n'est plus prise en charge dans OpenSSH 9.7+.

Définissez les informations relatives à l'ID et au type d'instance dans Slurm lors du lancement des nœuds de calcul.

Installez les pilotes NVIDIA sans l'option « no-cc-version-check », qui est désormais obsolète dans le programme d'installation de NVIDIA.

Ajoutez un validateur pour appliquer des pools de nœuds dotés d'un maximum de 10 connexions.

Mettez à jour la taille du volume racine par défaut à 45 Go.

Supprimez l'utilisation de cfn-init pour le démarrage des nœuds de calcul afin de réduire le temps de mise à l'échelle des nœuds.

Correction d'un problème provoquant l'échec du bootstrap du nœud de calcul lors de l'utilisation d'un proxy.

Sur Ubuntu 22.04, installez le pilote Nvidia avec la même version de compilateur que celle utilisée pour compiler le noyau afin d'éviter les échecs d'installation.- Corrigez l'exécution du aws-parallelcluster-node package de remplacement uniquement sur le nœud principal lors de la mise à jour.

Correction d'un problème en raison duquel les tâches conteneurisées exécutées Pyxis/Enroot dans un environnement multi-utilisateurs (intégré à Active Directory) échouaient.

Corrige l'utilisation d'authselect à l'origine des échecs de démarrage des nœuds sur Rocky 9.5+ lorsque le service d'annuaire est utilisé.

Ajoutez une nouvelle section de configuration de l'image de build Build/Installation pour activer/désactiver les installations du logiciel NVIDIA et du client Lustre. Par défaut, le logiciel NVIDIA, bien qu'inclus dans la version officielle ParallelCluster AMIs, n'est pas installé parbuild-image. Par défaut, le client Lustre est installé.

La CLI commande export-cluster-logs et export-image-logs peut désormais exporter par défaut les journaux vers le ParallelCluster bucket par défaut ou vers le Customs3bucket si cela est spécifié dans la configuration.

Étendez le support Amazon DCV à Ubuntu2204 sur les instances ARM.

Mettez à niveau le pilote NVIDIA vers la version 550.127.08 (à partir de 550.90.07). Cela résout un problème connu de NVIDIA. Pour plus d'informations, consultez la section Problèmes connus dans la documentation du centre de données NVIDIA.

Mettez à niveau Amazon DCV vers la version2024.0-18131.

Mettez à niveau le programme d'installation EFA vers1.36.0.

Redémarrez automatiquement slurmctld en cas d'échec.

Passez mysql-community-client à la version 8.0.39.

Supprimez le support pour Python 3.7 et 3.8, qui sont en fin de vie.

Correction d'un problème en raison duquel les modifications apportées à la séquence des scripts d'actions personnalisées n'étaient pas détectées lors des mises à jour du cluster.

Ajoutez les autorisations manquantes pour que l' AWS ParallelCluster API crée les rôles liés au service pour Elastic Load Balancing et Auto Scaling, nécessaires au déploiement des nœuds de connexion.

Corrigez un problème dans la façon dont nous obtenons la région lors de la gestion des volumes afin qu'elle puisse gérer correctement la zone locale.

Correction d'un problème en raison duquel l'ajout de systèmes de fichiers EFS AccessPointIds lors d'une mise à jour échouait.

Résolution d'un problème selon lequel, lors de l'utilisation de PCAPI, la mise à jour du cluster pouvait échouer lors de la mise à jour d'un paramètre non typé String (par exemple,MaxCount).

Lors du montage d'un OpenZFS externe, il n'est plus nécessaire de définir les règles de sortie pour les ports 111, 2049, 20001, 20002, 20003.

Pyxis est désormais désactivé par défaut, il doit donc être activé manuellement comme indiqué dans la documentation du produit.

Mettez à niveau le runtime Python vers la version 3.12 dans ParallelCluster Lambda Layer.

Supprimez l'épinglage de version pour setuptools vers une version antérieure à 70.0.0.

Mettez à jour libjwt vers la version 1.17.0.

Changelog complet

Corrigez un problème dans la façon dont nous configurons le plugin Pyxis Slurm ParallelCluster qui peut entraîner des échecs de soumission de tâches.

Corrigez un problème à l'origine de l'échec du déploiement dans les configurations avec des nœuds de connexion en ajoutant les autorisations manquantes requises par les nœuds de connexion dans le modèle public de politiques. https://github.com/aws/aws-parallelcluster/issues/6483

Ajoutez la prise en charge des actions personnalisées sur les nœuds de connexion.

Autoriser la connexion DCV aux nœuds de connexion.

Ajout du support pour la région ap-southeast-3.

Ajoutez des groupes de sécurité à l'équilibreur de charge réseau du nœud de connexion.

Ajoutez une AllowedIps configuration pour les nœuds de connexion.

Ajouter une nouvelle configuration SharedStorage/EfsSettings/AccessPointId pour spécifier un point d'accès EFS optionnel pour un montage

Autorisez jusqu'à 10 pools de nœuds de connexion.

Installez enroot et pyxis dans le pcluster officiel AMIs

[RUPTURE] Le loginNodes champ renvoyé par l'API DescribeCluster et la commande CLI describe-cluster est passé d'un dictionnaire à un tableau pour prendre en charge plusieurs pools de nœuds de connexion. Cette modification rompt la rétrocompatibilité, rendant ces opérations incompatibles avec les clusters déployés avec des versions antérieures.

Mettez à jour Slurm vers la version 23.11.10 (à partir de la version 23.11.7).

Mettez à jour Pmix vers la version 5.0.3 (à partir de la version 5.0.2).

Mettez à niveau le programme d'installation EFA vers1.34.0.

Mettez à niveau le pilote NVIDIA vers la version 550.90.07 (à partir de 535.183.01).

Mettez à niveau le kit d'outils CUDA vers la version 12.4.1 (à partir de 12.2.2).

Mettez à jour Python vers la version 3.9.20 (à partir de la version 3.9.19).

Mettez à niveau la bibliothèque Intel MPI vers 2021.13.1.769 (à partir du 2021.12.1.8).

Corrigez le validateur EfaPlacementGroupValidator afin qu'il ne suggère pas de configurer un groupe de placement lorsque des blocs de capacité sont utilisés.

Corrigez les échecs occasionnels de création de clusters en veillant FSx à ce que les systèmes de fichiers Lustre soient créés conformément aux règles des groupes de sécurité.

Corrige l'échec de suppression du cluster lorsque le groupe de placement est activé.

Correction du problème selon lequel les nœuds de connexion étaient marqués comme non fonctionnels lors de la restriction de l'accès SSH.

Corrigez retrieve_supported_regions pour qu'il puisse obtenir l'URL S3 correcte.

describe_imagesCorrectif pour utiliser la pagination.

Correction d'No route tables foundun bogue lors de la spécification du sous-réseau VPC par défaut sur /Networking/. LoginNodes SubnetIds

Correction d'un échec de création d'image dans les régions de Chine.

Ajoutez une nouvelle section de configuration Scheduling/SlurmSettings/ExternalSlurmdbd pour connecter le cluster à un Slurmdbd externe.

Autoriser l'exécution de build-image dans un réseau isolé.

Ajoutez le support pour Amazon Linux 2023.

Ajoutez le support pour price-capacity-optimized en tant queAllocationStrategy.

Ajoutez un validateur pour empêcher l'utilisation de groupes de placement avec des blocs de capacité.

CentOS 7 n'est plus pris en charge.

Mettez à niveau le client Cinc vers la version 18.4.12 à partir de la version 18.2.7.

Mettez à jour munge vers la version 0.5.16 (à partir de 0.5.15).

Mettez à jour Pmix vers la version 5.0.2 (à partir de la version 4.2.9).

Mettez à niveau les dépendances des livres de recettes tiers :

Supprimer le livre de recettes tiers : selinux-6.1.12.

Mettez à niveau le programme d'installation EFA vers1.32.0.

Mettez à niveau le pilote NVIDIA vers la version 535.183.01 (à partir de 535.154.05).

Mettez à jour Python vers la version 3.9.19 (à partir de la version 3.9.17).

Mettez à niveau la bibliothèque Intel MPI vers 2021.12.1.8 (à partir de 2021.9.0.43482).

Corrigez la configuration des associations de référentiels de données à créer AutoExportPolicy et AutoImportPolicy facultative.

Correction d'un problème lors de la suppression du cluster qui permet désormais de terminer le nettoyage du parc informatique lorsque les instances sont soit en état d'arrêt, soit en état d'arrêt. Cela permet d'éviter les échecs de suppression de clusters pour les types d'instances dont les cycles de terminaison sont plus longs.

Autorisez l'activation du tableau de bord Cloudwatch et la désactivation des alarmes dans la Monitoring section de configuration du cluster.

Autoriser ParallelCluster Custom Resource à supprimer les validateurs utilisantPclusterCluster/SuppressValidators.

Suppression /etc/profile.d/pcluster.sh afin qu'elle ne soit pas exécutée à chaque connexion utilisateur et qu'elle ne cfn_bootstrap_virtualenv soit pas ajoutée dans la variable d'environnement PATH.

Corrigez les spécifications de l' ParallelCluster API en remplaçant le champ failureReason par failures en DescribeCluster réponse.

Corrigez les spécifications de l' ParallelCluster API en ajoutant le statut de CloudFormation pile manquant :IMPORT_*, REVIEW_IN_PROGRESS etUPDATE_FAILED.

Correction d'un problème qui empêchait les mises à jour du cluster d'inclure les systèmes de fichiers EFS avec chiffrement en transit.

Correction d'un problème qui empêchait les services slurmctld et slurmdbd de redémarrer lors du redémarrage du nœud principal lorsque le système EFS était utilisé pour partager des données internes.

Sur les systèmes Ubuntu, supprimez la configuration logrotate par défaut pour les fichiers journaux cloud-init qui entraient en conflit avec la configuration d'origine. ParallelCluster

Corrigez l'échec de création d'image avec RHEL 8.10 ou version ultérieure.

Ajout de la prise en charge FSx Lustre en tant que type de stockage partagé dansus-iso-east-1.

cloud_dnsSupprimez-le de SlurmctldParameters la configuration du Slurm pour éviter les problèmes de ventilation du Slurm.

Cela n'est pas obligatoire, car nous avons défini les adresses IP lors du lancement de l'instance.

Mettez à jour Slurm vers la version 23.11.7 (au lieu de la version 23.11.4).

Pour plus de détails, consultez CHANGELOG 3.9.2 GitHuble

Supprimez la suppression récursive du répertoire de stockage partagé mountdir lors du démontage de systèmes de fichiers dans le cadre d'une opération de mise à jour du cluster.

Ajoutez le paramètre de configuration DeploymentSettings/DefaultUserHome pour permettre aux utilisateurs de déplacer le répertoire personnel de l'utilisateur par défaut au /local/home lieu de /home (par défaut).

Permet de mettre à jour MinCount Queue et ComputeResource de configurer les paramètres sans avoir à arrêter le parc informatique. MaxCount Il est désormais possible de les mettre à jour en réglant Scheduling/SlurmSettings/QueueUpdateStrategy sur TERMINATE. AWS ParallelCluster mettra fin uniquement aux nœuds supprimés lors d'un redimensionnement de la capacité du cluster effectué par le biais d'une mise à jour du cluster.

Permet de mettre à jour le stockage partagé externe de type Efs FsxLustre, FsxOntap,, FsxOpenZfs FileCache sans remplacer le parc de calcul et de connexion.

Ajoutez le support pour RHEL9.

Ajout du support pour Rocky Linux 9 tel que CustomAmi créé par le biais build-image du processus. Aucune AMI Linux AWS ParallelCluster Rocky9 officielle n'est disponible pour le moment.

Supprimer CommunicationParameters de la liste de refus des paramètres personnalisés de Slurm.

Ajouter un DeploymentSettings/DisableSudoAccessForDefaultUser paramètre pour désactiver l'accès sudo de l'utilisateur par défaut est pris en charge OSes.

Modifications apportées FSx à quatre systèmes de fichiers Lustre créés par ParallelCluster : Changez la version du serveur Lustre en 2.15.

Ajoutez la possibilité de choisir entre les pilotes Nvidia open source et ceux à code source fermé lors de la création d'une AMI, via l'attribut ['cluster']['nvidia']['kernel_open'] cookbook node.

* Ajoutez une option de configuration clustermgtd ec2_instance_missing_max_count pour autoriser un nombre configurable de tentatives afin d'assurer la cohérence entre les instances Amazon EC2 Descrivez et les instances exécutées.

Mettez à jour Slurm vers la version 23.11.4 (au lieu de la version 23.02.7).

Mettez à jour le pilote NVIDIA vers la version 535.154.05.

Ajout du support pour Python 3.11, 3.12 dans la CLI de pcluster et. aws-parallelcluster-batch-cli

Créez des interfaces réseau à l'aide de l'index des cartes réseau à partir de la NetworkCardIndex liste des EC2 DescribeInstances réponses d'Amazon, au lieu de parcourir la MaximumNetworkCards plage en boucle.

Échec de la création du cluster lors de l'utilisation des types d'instance P3, G3, P2 et G2 car leur architecture GPU n'est pas compatible avec les pilotes Nvidia Open Source (OpenRM) introduits dans la version 3.8.0.

Mettre à niveau les dépendances des livres de recettes tiers : nfs-5.1.2 (à partir de nfs-5.0.0)

Mettez à niveau le programme d'installation EFA 1.30.0.

Mettre à jour NICE DCV vers la version 2023.1-16388.

Correction d'un problème qui entraînait l'échec d'une tâche lorsqu'elle était soumise en tant qu'utilisateur Active Directory à partir de nœuds de connexion. Le problème était dû à une configuration incomplète de l'intégration avec l'Active Directory externe sur le nœud principal.

Refactorisez les politiques IAM définies dans le CloudFormation modèle parallelclutser-policies.yaml pour éviter ParallelCluster les échecs de déploiement d'API provoqués par des politiques dépassant les limites IAM.

Correction d'un problème empêchant le démarrage des nœuds de connexion lorsque le nœud principal met plus de temps que prévu à écrire les clés.

Ajoutez la prise en charge d'Amazon EC2 Capacity Blocks for ML.

Ajout du support pour Rocky Linux 8 tel que CustomAmi créé par build-image le processus. Aucune AMI Linux AWS ParallelCluster Rocky8 officielle n'est disponible pour le moment.

Ajoutez un Scheduling/ScalingStrategy paramètre pour contrôler la stratégie de dimensionnement du cluster à utiliser lors du lancement d' EC2 instances Amazon pour les nœuds de calcul Slurm. Les valeurs possibles sont all-or-nothing greedy-all-or-nothingbest-effort,,, all-or-nothing par défaut.

Ajoutez un HeadNode/SharedStorageType paramètre pour utiliser le stockage EFS au lieu des exportations NFS depuis le volume racine du nœud principal pour les ressources du système de fichiers partagées au sein du cluster : Intel ParallelCluster, Slurm et données. /home Cette amélioration réduit la charge sur le réseau du nœud principal.

Autorisez le montage /home sous forme d'EFS ou de stockage partagé FSx externe via la SharedStorage section du fichier de configuration.

Ajoutez un nouveau paramètre SlurmSettings/MungeKeySecretArn pour autoriser l'utilisation d'une clé MUNGE externe définie par l'utilisateur depuis AWS Secrets Manager.

Ajoutez un Monitoring/Alarms/Enabled paramètre pour activer Amazon CloudWatch Alarms pour le cluster.

Ajoutez des alarmes du nœud principal pour surveiller les bilans de EC2 santé d'Amazon, l'utilisation du processeur et l'état général du nœud principal, puis ajoutez-les au CloudWatch tableau de bord créé avec le cluster.

Ajoutez la prise en charge des associations de référentiels de données lors de l'utilisation de PERSISTENT_2 as DeploymentType for a managed FSx for Lustre.

Ajoutez un Scheduling/SlurmSettings/Database/DatabaseName paramètre pour permettre aux utilisateurs de spécifier un nom personnalisé pour la base de données sur le serveur de base de données à utiliser pour la comptabilité Slurm.

Créez InstanceType un paramètre de configuration facultatif lors de la configuration CapacityReservationTarget/CapacityReservationId dans la ressource de calcul.

Ajoutez la possibilité de spécifier un préfixe pour les rôles et politiques IAM créés par AWS ParallelCluster l'API.

Ajoutez la possibilité de spécifier une limite d'autorisations à appliquer aux rôles et politiques IAM créés par l' AWS ParallelCluster API.

Mettez à jour Slurm vers la version 23.02.7 (au lieu de la version 23.02.6).

Mettez à jour le pilote NVIDIA vers la version 535.129.03.

Mettez à niveau le kit d'outils CUDA vers la version 12.2.2.

Utilisez les pilotes de GPU NVIDIA Open Source (OpenRM) comme module de noyau NVIDIA pour Linux au lieu du module source fermé NVIDIA.

Suppression de la prise en charge du paramètre de all_or_nothing_batch configuration dans le programme de reprise de Slurm, au profit de la nouvelle configuration du Scheduling/ScalingStrategy cluster.

La convention de dénomination des alarmes du cluster a été modifiée en « [cluster-name] - [component-name] - [metric] ».

Modifiez les types de volumes EBS par défaut dans les régions ADC de gp2 à gp3, à la fois pour le volume racine et pour les volumes supplémentaires.

La limite d'autorisation facultative pour l' AWS ParallelCluster API est désormais appliquée à chaque rôle IAM créé par l'infrastructure d'API.

Passez GDRCopy à la version 2.4 dans toutes les versions prises en charge OSes, sauf pour Centos 7 où la version 2.3.1 est utilisée.

Passez aws-cfn-bootstrap à la version 2.0-28.

Ajout du support pour Python 3.10 dans. aws-parallelcluster-batch-cli

Corrigez une configuration de dimensionnement incohérente après l'annulation de la mise à jour du cluster lors de la modification de la liste des types d'instances déclarés dans les ressources de calcul.

Corrigez la génération de clés SSH lors du changement d'utilisateur sans privilège root dans des clusters intégrés à un serveur LDAP externe via des fichiers de configuration de cluster.

Correction de la désactivation du mode d'économie d'énergie de Slurm lors du réglage. ScaledownIdletime = -1

Corrigez le chemin codé en dur vers le répertoire d'installation de Slurm dans le update_slurm_database_password.sh script de Slurm Accounting.

Mettez à jour Slurm vers la version 23.02.6.

Mettez à jour Slurm vers la version 23.02.5 (au lieu de la version 23.02.4).

Mettez à niveau le programme d'installation d'EFA vers1.26.1, en résolvant le problème d'écriture RDMA dans P5.

Support de configuration des priorités de nœuds statiques et dynamiques dans les ressources de calcul à l'aide d'un fichier YAML de AWS ParallelCluster configuration.

Ajout du support pour Ubuntu 22. Les clés RSA ne sont pas prises en charge par défaut.

Ajoutez le paramètre de configuration de la file d'attente JobExclusiveAllocation pour allouer les nœuds d'une partition exclusivement à une seule tâche à un moment donné.

Autoriser le aws-parallelcluster-node package Override au moment de la création et de la mise à jour du cluster. Pour le nœud principal, cela s'applique à la mise à jour du cluster. Utile uniquement à des fins de développement.

Évitez de démarrer le serveur NFS sur les nœuds de calcul.

Ajoutez la prise en charge des nœuds de connexion.

Autorisez la planification basée sur la mémoire lorsque plusieurs types d'instances sont spécifiés pour une ressource de calcul Slurm.

Ajoutez la prise en charge du montage d'Amazon File Cache existant en tant que stockage partagé.

Attribuez aux nœuds dynamiques Slurm une priorité (poids) de 1 000 par défaut. Ce faisant, Slurm peut donner la priorité aux nœuds statiques inactifs par rapport aux nœuds dynamiques inactifs.

aws-parallelcluster-nodeLes démons Make ne gèrent que les partitions AWS ParallelCluster Slurm gérées.

Augmentez l'intervalle entre les sondages du EFS-utils chien de garde à 10 secondes. Cette modification s'applique lorsque ce paramètre EncryptionInTransit est défini surtrue, seule condition à l'origine de l'exécution du chien de garde.

Mettez à niveau le programme d'installation d'EFA vers1.25.1.

Mettez à jour Slurm vers la version 23.02.4.

Modifiez la valeur par défaut Imds/ImdsSupport de v1.0 à v2.0.

Dépréciez Ubuntu 18.

Mettez à jour la taille du volume racine par défaut à 40 Go pour tenir compte des limites de Centos 7.

Limitez les autorisations sur le fichier /tmp/wait_condition_handle.txt dans le nœud principal afin que seul le root puisse le lire.

Créez un fichier JSON de mappage Slurm partition-nodelist à utiliser par les démons du package de nœuds pour reconnaître les partitions Slurm et les listes de nœuds gérées par PC.

Mettez à jour le pilote NVIDIA vers la version 535.54.03.

Mettez à niveau la bibliothèque CUDA vers la version 12.2.0.

Mettez à niveau NVIDIA Fabric Manager vers nvidia-fabricmanager-535.

Mettez à niveau ARM PL vers la version 23.04.1 pour Ubuntu 22.04 uniquement.

Mettez à jour NICE DCV vers la version. 2023.0-15487

Ajoutez une validation à la ScaledownIdletime valeur pour éviter de définir une valeur inférieure à -1.

Corrigez l'échec de création du cluster avec l'AMI Ubuntu Deep Learning sur les instances GPU avec DCV activé.

Correction d'un problème à l'origine de la création de politiques IAM pendantes lors de la création d'un fournisseur de ressources ParallelCluster CloudFormation personnalisé avec. CustomLambdaRole

Correction d'un problème qui provoquait un désalignement du nom DNS des nœuds de calcul sur les instances dotées de plusieurs interfaces réseau, lorsque l'on utilisait des valeurs SlurmSettings/Dns/UseEc2Hostnames égales à True

AWS ParallelCluster la version 3 possède son propre guide d'utilisation distinct.

Évitez la duplication des nœuds clustermgtd lorsque des nœuds de calcul sont ajoutés à plusieurs partitions Slurm.

Supprimez le codage en dur du nom du périphérique du volume racine (/dev/sda1et/dev/xvda) et récupérez-le à partir de AMIs celui utilisé pendantcreate-cluster.

Corrigez l'échec de création du cluster lors de l'utilisation d'une ressource CloudFormation personnalisée avec ElasticIp défini surTrue.

Corrigez les échecs de création et de mise à jour de clusters lors de l'utilisation d'une ressource AWS CloudFormation personnalisée avec des fichiers de configuration volumineux.

Correction d'un problème qui empêchait ptrace la désactivation de la protection sur Ubuntu et qui n'autorisait pas le Cross Memory Attach (CMA) dans libfabric.

Corrigez la logique de basculement rapide en cas d'insuffisance de capacité lorsque vous utilisez plusieurs types d'instances et qu'aucune instance n'est renvoyée.

Ajoutez de la documentation pour l'API de la bibliothèque AWS ParallelCluster Python.

Ajoutez le support pour RHEL8.

Ajoutez une ressource AWS CloudFormation personnalisée pour créer et gérer des clusters avec CloudFormation.

Ajoutez la prise en charge de la personnalisation de la configuration du cluster Slurm dans le AWS ParallelCluster fichier de configuration YAML.

Construisez Slurm avec le support de LUA.

Augmentez la limite du nombre maximum de files d'attente par cluster de 10 à 50. Chaque file d'attente peut contenir jusqu'à 50 ressources de calcul. Chaque cluster peut disposer d'un maximum de 50 ressources de calcul.

Ajoutez la prise en charge de la spécification d'une séquence de plusieurs scripts d'action personnalisés pour un événement configuré dans OnNodeStartOnNodeConfigured, et OnNodeUpdated paramètres.

Ajoutez une nouvelle section de configurationHealthChecks/Gpu, pour appliquer des contrôles de santé du GPU sur un nœud de calcul avant l'exécution d'une tâche.

Ajoutez le support pour Tags dans la ComputeResources configuration SlurmQueues andSlurmQueues/.

Ajoutez le support pour DetailedMonitoringdans la Monitoring configuration.

Ajoutez mem_used_percent disk_used_percent des indicateurs pour le suivi de la mémoire du nœud principal et de l'utilisation du disque du volume racine dans le AWS ParallelCluster CloudWatch tableau de bord, et configurez des alarmes pour surveiller ces indicateurs.

Ajoutez la prise en charge de la rotation des journaux pour les journaux AWS ParallelCluster gérés.

Suivez les erreurs courantes des nœuds de calcul et le temps d'inactivité le plus long des nœuds dynamiques dans le CloudWatch tableau de bord.

Obligez le serveur d'authentification DCV à utiliser au moins le TLS-1.2 protocole lors de la création du socket SSL.

Installez le package NVIDIA Data Center GPU Manager (DCGM) sur tous les systèmes d'exploitation pris en charge, à l'exception de aarch64 centos7 etalinux2.

Chargez le module noyau nvidia-uvm par défaut pour fournir la fonctionnalité de mémoire virtuelle unifiée (UVM) au pilote CUDA.

Installez le démon de persistance NVIDIA en tant que service système.

Mettez à jour Slurm vers la version 23.02.2 (à partir de la version22.05.8).

Mettez à jour munge vers la version 0.5.15 (à partir de la version0.5.14).

Réglez le Slurm sur 30TreeWidth.

Définissez le Slurm prolog et les epilog configurations sur le répertoire cible /opt/slurm/etc/scripts/prolog.d/ et /opt/slurm/etc/scripts/epilog.d/ respectivement.

Réglez Slurm BatchStartTimeout sur 3 minutes maximum pour exécuter des Prolog scripts lors de l'enregistrement du nœud de calcul.

Augmentez la durée par défaut RetentionInDays des CloudWatch journaux de 14 à 180 jours.

Mettez à niveau le programme d'installation d'EFA vers1.22.1.

Mettez à niveau la version du client Lustre vers 2.12 Amazon Linux 2. Le client Lustre 2.12 a été installé sur Ubuntu 20.04, 18.04 et CentOS >= 7.7.

Mettez à niveau la version du client Lustre vers 2.10.8 CentOS 7.6.

Mettez à niveau le pilote NVIDIA vers la version 470.182.03 (à partir de la version470.141.03).

Mettez à niveau le NVIDIA Fabric Manager vers la version 470.182.03 (à partir de la version470.141.03).

Mettez à niveau le kit d'outils NVIDIA CUDA vers la version 11.8.0 (à partir de la version11.7.1).

Mettez à niveau l'exemple NVIDIA CUDA vers la version11.8.0.

Mettez à niveau la bibliothèque Intel MPI vers la version 2021 Update 9 (à partir de la version 2021 Update 6). Pour plus d'informations, consultez la mise à jour 9 de la bibliothèque Intel® MPI 2021.

Mettez à jour NICE DCV vers la version 2023.0-15022 (à partir de la version2022.2-14521).

Passez aws-cfn-bootstrap à la version2.0-24.

Image de mise à niveau utilisée par l' CodeBuild environnement lors de la création d'images de conteneur pour les clusters AWS Batch :

Corrigez les validateurs de groupes FSx de sécurité Amazon EFS et Amazon pour éviter de signaler de fausses erreurs.

Corrigez le balisage manquant des ressources créées par Image Builder pendant l'build-imageopération.

Corrige la politique de mise MaxCount à jour pour toujours effectuer des comparaisons numériques sur la MaxCount propriété.

Corrigez l'alignement IP sur les instances de nœuds de calcul dotées de plusieurs cartes réseau.

Corrigez le remplacement de StoragePass in slurm_parallelcluster_slurmdbd.conf lorsqu'une mise à jour des paramètres de file d'attente est effectuée et que les configurations comptables de Slurm ne sont pas mises à jour.

Résolution d'un problème à l'origine de la création de groupes de sécurité suspendus lors de la création d'un cluster avec un système de fichiers EFS existant.

Correction d'un problème à l'origine de l'échec du cfn-hup démon lors de son redémarrage.

Considérez les nœuds dynamiques marqués d'un INVALID_REG indicateur comme des échecs d'amorçage en mode protégé par Slurm. Les nœuds statiques qui échouent à l'enregistrement de Slurm sont déjà traités comme des échecs de démarrage après le. node_replacement_timeout

Ajoutez un exécutable d'installation pcluster CLI autonome.

Mettez à niveau le programme d'installation EFA vers1.22.0.

Mettez à jour NICE DCV vers la version. 2022.2-14521

Corrigez les défaillances potentielles de lancement de nœuds causées par la correspondance de modèles entre MountDir et /etc/exports lors de la suppression de volumes Amazon EBS partagés dans le cadre d'une mise à jour de cluster.

Correctif pour empêcher la troncature du fichier compute_console_output journal à chaque clustermgtd itération.

Accédez aux clusters et gérez-les à l'aide de l'AWS ParallelCluster interface utilisateur.

Ajoutez des AWS ParallelCluster politiques versionnées dans un CloudFormation modèle que vous pouvez référencer dans vos charges de travail.

Ajoutez une bibliothèque AWS ParallelCluster Python que vous pouvez utiliser avec votre propre code.

Ajoutez la journalisation de la sortie de la console du nœud de calcul à Amazon CloudWatch en cas de défaillance du bootstrap du nœud de calcul.

Ajoutez un champ d'échec contenant le code d'échec et la raison à describe-cluster afficher en cas d'échec de la création du cluster.

Ajoutez des validateurs pour empêcher toute injection de chaîne malveillante lors de l'appel du module de sous-processus.

Échec de la création du cluster si l'état du cluster change PROTECTED pendant le provisionnement des nœuds statiques.

Mise à niveau vers la version Slurm 22.05.8 (depuis la version) 22.05.7

Mettez à niveau le programme d'installation EFA vers1.21.0.

Rendez les journaux du contrôleur Slurm plus détaillés et activez la journalisation supplémentaire pour le plug-in d'économie d'énergie Slurm.

Corrigez la création de la base de données du cluster en vérifiant que le nom du cluster ne dépasse pas 40 caractères lorsque la comptabilité Slurm est activée.

Correction d'un problème clustermgtd qui entraînait le remplacement des nœuds de calcul, redémarrés via Slurm, en cas d'échec des vérifications de statut des EC2 instances Amazon.

Corrigez un problème qui empêchait le lancement de nœuds de calcul dont les réservations de capacité étaient partagées par d'autres comptes en raison d'une politique IAM incorrecte sur le nœud principal.

Corrigez un problème du planificateur Slurm susceptible de provoquer l'application incorrecte des mises à jour de son registre interne de nœuds de calcul. Par conséquent, en cas de problème, EC2 les instances peuvent devenir indisponibles ou être soutenues par un type d'instance incorrect.

Ajoutez la prise en charge du lancement de nœuds dans plusieurs zones de disponibilité afin d'augmenter la disponibilité des capacités.

Ajoutez la prise en charge de la spécification de plusieurs sous-réseaux pour chaque file d'attente afin d'augmenter la disponibilité de la capacité.

Ajoutez un nouveau paramètre de configuration dans Iam/ResourcePrefixpour spécifier un préfixe pour le chemin et le nom des ressources IAM créées par. AWS ParallelCluster

Ajoutez une nouvelle section de configuration DeploymentSettings/LambdaFunctionsVpcConfigpour spécifier la configuration Vpc utilisée par les fonctions AWS ParallelCluster Lambda.

Ajoutez la possibilité de spécifier un script personnalisé à exécuter dans le nœud principal lors d'une mise à jour du cluster. Le script peut être spécifié avec HeadNode/CustomActions/OnNodeUpdatedlorsque vous utilisez Slurm comme planificateur.

Supprimez la création de cibles de montage Amazon EFS pour les systèmes de fichiers existants.

Montez les systèmes de fichiers EFS à l'aide deamazon-efs-utils. Les systèmes de fichiers EFS peuvent être montés à l'aide du chiffrement en transit et d'un utilisateur autorisé IAM.

Installez stunnel 5.67 sur Cent OS7 et Ubuntu pour prendre en charge le chiffrement EFS en transit.

Mettez à niveau le programme d'installation d'EFA vers 1.20.0 (depuis1.18.0).

Mettez à jour Slurm vers la version 22.05.7 (à partir de22.05.5).

Mettez à niveau Python vers 3.9.16 et3.7.16. (de 3.9.15 et3.7.13).

Avec Slurm22.05.7, les nœuds dynamiques en IDLE+CLOUD+COMPLETING+POWER_DOWN+NOT_RESPONDING état ne sont pas considérés comme défectueux.

AMIs Les AWS ParallelCluster produits officiels sont désormais disponibles après deux ans de EC2 dépréciation d'Amazon.

Augmentez la taille de la mémoire de l' AWS ParallelCluster API Lambda à 2048 afin de réduire les pénalités de démarrage à froid et d'éviter les délais d'attente.

Empêchez le remplacement des systèmes de fichiers gérés FSx pour Lustre et la perte de données lors des mises à jour de clusters qui incluent des modifications de l'ID du sous-réseau du parc informatique.

SharedStorageDeletionPolicys'applique aux actions de mise à jour du cluster.

AWS ParallelCluster ne prend pas en charge le type d'instance hpc6id pour le paramètre /. HeadNodeInstanceType

Corrigez le problème Slurm qui empêche la fermeture des nœuds inactifs.

Mettre à jour le programme d'installation d'EFA vers la version 1.18.

Ajoutez lambda:ListTags et lambda:UntagResource à celui ParallelClusterUserRole utilisé par la pile d' AWS ParallelCluster API pour une mise à jour du cluster.

Mettez à niveau la bibliothèque Intel MPI vers la version 2021 Update 6 (à partir de la version 2021 Update 4). Pour plus d'informations, consultez la mise à jour 6 de la bibliothèque Intel® MPI 2021.

Mettez à niveau le pilote NVIDIA vers la version 470.141.03 (à partir de 470.103.01).

Mettez à niveau NVIDIA Fabric Manager vers la version 470.141.03 (à partir de 470.103.01).

Ajoutez la prise en charge de la configuration d'allocation d'instances multiples pour une ressource de calcul lorsque vous utilisez Slurm comme planificateur. Pour plus d'informations, consultez la section Allocation de types d'instances multiples avec Slurm.

Ajoutez la prise en charge de l'ajout et de la suppression à l'SharedStorageaide d'une mise à jour du cluster, à l'aide d'une configuration mise à jour. Pour plus d'informations, consultez la section Stockage partagé.

Ajoutez un nouveau paramètre de configuration DeletionPolicy pour Efs et les paramètres de stockage FsxLustrepartagé afin de prendre en charge la rétention du stockage.

Ajoutez la prise en charge de la comptabilité Slurm avec le nouveau paramètre de configuration Scheduling/SlurmSettings/Database. Pour plus d'informations, consultez la section Comptabilité de Slurm avec. AWS ParallelCluster

Ajoutez la prise en charge des réservations de capacité à la demande (ODCR) et des groupes de ressources de réservation de capacité. Pour plus d'informations, voir Lancer des instances avec des réservations de capacité à la demande (ODCR).

Ajoutez un nouveau paramètre de configuration pour spécifier la version IMDS à prendre en charge dans un cluster ou créez une infrastructure d'images dans le cluster, Imds/ImdsSupport, et build, Imds/ImdsSupport, configurations.

Ajoutez la prise en charge de la mise PlacementGroupen réseau SlurmQueues/dans la ComputeResourcessection/.

Ajoutez la prise en charge des instances dotées de plusieurs interfaces réseau limitées à un seul ENI par appareil.

Améliorez la validation du réseau pour les systèmes de fichiers Amazon EFS externes en vérifiant le bloc CIDR dans le groupe de sécurité attaché.

Ajoutez un validateur pour vérifier si les types d'instances configurés prennent en charge les groupes de placement.

Configurez les threads NFS sur min (256, max (8, num_cores * 4)) pour garantir une meilleure stabilité et de meilleures performances.

Déplacez l'installation NFS au moment de la création afin de réduire le temps de configuration.

Activez le chiffrement côté serveur pour la rubrique EcrImageBuilder SNS créée lors du déploiement de l' AWS ParallelCluster API et utilisée pour signaler les événements de création d'images docker.

Modifiez le comportement de SlurmQueues/Networking/PlacementGroup/Enabled. Il crée désormais un groupe de placement géré unique pour chaque ressource de calcul au lieu d'un seul groupe de placement géré pour toutes les ressources de calcul.

Ajoutez le support pour SlurmQueues/Networking PlacementGroup//Name comme méthode de dénomination préférée.

Déplacez les balises du nœud principal du modèle de lancement vers la définition de l'instance pour éviter le remplacement du nœud principal lors des mises à jour des balises.

Désactivez le multithreading via un script exécuté par le modèle de lancement cloud-init et non via CpuOptions un script défini dans le modèle de lancement.

Mettez à niveau Python vers la version 3.9 et NodeJS vers la version 16 dans l'infrastructure d'API, le conteneur Docker d'API et les ressources Lambda du cluster.

Suppression de la prise en charge de Python 3.6 dansaws-parallelcluster-batch-cli.

Mettez à jour Slurm vers la version 22.05.5 (à partir de21.08.8-2).

Mettez à niveau le pilote NVIDIA vers la version 470.141.03 (à partir de470.129.06).

Mettez à niveau NVIDIA Fabric Manager vers la version 470.141.03 (à partir de470.129.06).

Mettez à niveau le kit d'outils NVIDIA CUDA vers la version 11.7.1 ()from 11.4.4.

Mettez à niveau le Python utilisé dans AWS ParallelCluster virtualenvs de à. 3.7.13 3.9.15

Mettez à niveau le programme d'installation d'EFA vers la version 1.18.0.

Mettez à jour NICE DCV vers la version 2022.1-13300 (depuis2022.0-12760).

Activez la suppression du SingleSubnetValidator formulaireQueues.

Ne remplacez pas DRAIN les nœuds lorsqu'ils sont en COMPLETING état, car Epilog est peut-être toujours en cours d'exécution.

Corrigez la validation du paramètre des filtres dans la AWS ParallelCluster ListClusterLogStreams commande pour qu'elle échoue lorsque des filtres incorrects sont transmis.

Corrige la validation du paramètre SharedStorage/EfsSettingspour qu'elle échoue lorsqu'elle FileSystemId est spécifiée avec d'autres EfsSettingsparamètres SharedStorage/. Auparavant, FileSystemId n'était pas inclus.

Corrigez la mise à jour du cluster lors de la modification de SharedStoragel'ordre en même temps que d'autres modifications de la configuration.

Corrigez UpdateParallelClusterLambdaRole l' AWS ParallelCluster API vers laquelle télécharger les journaux CloudWatch.

Corrigez Cinc qui n'utilisait pas le bundle de certificats CA local lors de l'installation de packages avant l'exécution des livres de recettes.

Corrigez un problème lors de la mise à niveau d'Ubuntu avec pcluster build-image when Build:UpdateOsPackages:Enabled:true is set.

Corrigez l'analyse de la configuration du cluster YAML en échouant sur des clés dupliquées.

La référence de l'AWS ParallelCluster API version 3 a été ajoutée à la documentation.

Améliorez la logique d'association des tables de routage de l'hôte aux différentes cartes réseau afin de mieux prendre en charge les EC2 instances Amazon dotées de plusieurs cartes réseau NICs.

Mettez à jour le pilote NVIDIA vers la version 470.141.03.

Mettez à niveau NVIDIA Fabric Manager vers la version 470.141.03.

Désactivez les cron tâches man-db et mlocate les tâches qui peuvent avoir un impact négatif sur les performances du nœud.

Mettez à niveau la bibliothèque Intel MPI vers la version 2021.6.0.602.

Mettez Python à niveau de la version 3.7.10 vers la version 3.7.13 pour faire face à ce risque de sécurité.

Évitez d'échouer DescribeCluster lorsque la configuration du cluster n'est pas disponible.

Ajoutez la prise en charge de la planification basée sur la mémoire dans Slurm.

Améliorez la flexibilité des mises à jour de configuration du cluster afin d'éviter autant que possible l'arrêt et le démarrage de l'ensemble du cluster. Ajoutez le nouveau paramètre de configuration Scheduling/SlurmSettings/QueueUpdateStrategypour définir la stratégie préférée à utiliser lorsque les nœuds de calcul ont besoin d'une mise à jour de configuration et d'un remplacement.

Améliorez le mécanisme de basculement sur les ressources de calcul disponibles en cas de problèmes de capacité insuffisante avec les instances Amazon EC2 . Désactivez les nœuds de calcul pendant une durée configurable lorsqu'un lancement de nœud échoue en raison d'une capacité insuffisante.

Ajoutez la prise en charge du montage existant FSx pour ONTAP et FSx pour les systèmes de fichiers OpenZFS.

Ajoutez la prise en charge du montage de plusieurs instances de systèmes de fichiers Amazon Elastic existants, FSx pour Lustre, FSx pour ONTAP et FSx pour les systèmes de fichiers OpenZFS.

Ajoutez la prise en charge du type FSx de déploiement Lustre Persistent_2 lors de la création d'un nouveau système de fichiers.

Demandez à l'utilisateur d'activer EFA pour les types d'instances pris en charge lors de l'utilisation de l'assistant de configuration de pcluster.

Ajoutez la prise en charge du redémarrage des nœuds de calcul à l'aide de Slurm.

Améliorez la gestion des états d'alimentation du Slurm afin de prendre également en compte la mise hors tension manuelle des nœuds.

Installez NVIDIA GDRCopy 2.3 dans le produit AMIs pour activer la copie de la mémoire GPU à faible latence.

Mettez à niveau le programme d'installation d'EFA vers la version 1.17.2.

Mettez à jour NICE DCV vers la version 2022.0-12760.

Mettez à jour le pilote NVIDIA vers la version 470.129.06.

Mettez à niveau NVIDIA Fabric Manager vers la version 470.129.06.

Modifiez les types de volumes EBS par défaut de gp2 à gp3 à la fois dans le volume racine et dans les volumes supplémentaires.

Modifications apportées FSx aux systèmes de fichiers Lustre créés par AWS ParallelCluster :

Ne nécessite pas que PlacementGroup/Enabled soit défini sur true lors du passage d'unPlacementGroup/existantId.

Ne permet pas de définirPlacementGroup/IdlorsquePlacementGroup/Enabledest explicitement défini surfalse.

Ajoutez une parallelcluster:cluster-name étiquette à toutes les ressources créées par AWS ParallelCluster.

Ajouter lambda:ListTags et lambda:UntagResource à ParallelClusterUserRole utilisé par la pile d' AWS ParallelCluster API pour la mise à jour du cluster.

Limitez IPv6 l'accès IMDS aux utilisateurs root et aux administrateurs du cluster uniquement lorsque le paramètre de configuration HeadNodeImds//Securedest activé.

Avec une AMI personnalisée, utilisez la taille du volume racine de l'AMI au lieu de la taille ParallelCluster par défaut de 35 GiB. La valeur peut être modifiée dans le fichier de configuration du cluster.

Désactivation automatique du parc informatique lorsque le paramètre de configurationScheduling//SlurmQueuesComputeResources/SpotPriceest inférieur au prix minimum requis pour le traitement des demandes ponctuelles.

Afficher requested_value et current_value valeurs dans l'ensemble de modifications lors de l'ajout ou de la suppression d'une section lors d'une mise à jour.

Désactivez le aws-ubuntu-eni-helper service, disponible dans Deep Learning AMIs, pour éviter les conflits configure_nw_interface.sh lors de la configuration d'instances avec plusieurs cartes réseau.

Suppression du support pour Python 3.6.

Définissez le MTU sur 9001 pour toutes les interfaces réseau lors de la configuration d'instances avec plusieurs cartes réseau.

Supprimez le point final lors de la configuration du FQDN du nœud de calcul.

Gérez les nœuds statiques dansPOWERING_DOWN.

Ne remplace pas le nœud dynamique dans POWER_DOWN car les tâches sont peut-être toujours en cours d'exécution.

Redémarrage clustermgtd et slurmctld démons au moment de la mise à jour du cluster uniquement lorsque Scheduling les paramètres sont mis à jour dans la configuration du cluster.

Fichiers de mise à jour slurmctld et de slurmd systemd service.

Limitez IPv6 l'accès à IMDS aux utilisateurs root et aux administrateurs du cluster uniquement, lorsque le paramètre de configurationHeadNode/Imds/Securedest activé.

Définissez la configuration de Slurm AuthInfo=cred_expire=70 pour réduire le temps d'attente des tâches en attente avant de recommencer lorsque les nœuds ne sont pas disponibles.

Mettez à niveau les dépendances des livres de recettes tiers :

Corrigez le comportement par défaut pour ignorer les étapes AWS ParallelCluster de validation et de test lors de la création d'une AMI personnalisée.

Corrigez une fuite dans le descripteur de fichiercomputemgtd.

Corrigez un problème de course qui entraînait de manière sporadique la fermeture immédiate des instances lancées, car elles n'étaient pas encore disponibles dans la EC2 DescribeInstances réponse.

Correction de la prise en charge du DisableSimultaneousMultithreading paramètre sur les types d'instances avec les processeurs Arm.

Corrigez AWS ParallelCluster l'échec de mise à jour de la pile d'API lors de la mise à niveau depuis une version précédente. Ajoutez le modèle de ressource utilisé pour l'ListImagePipelineImagesaction dans leEcrImageDeletionLambdaRole.

Correction de AWS ParallelCluster l'API ajoutant les autorisations manquantes nécessaires pour importer ou exporter depuis Amazon S3 lors de la création d'un système de fichiers FSx pour Lustre.

Bonnes pratiques : alertes budgétaires V3

Bonnes pratiques : déplacement d'un cluster vers une nouvelle version AWS ParallelCluster mineure ou un correctif V3

Utilisation d'Amazon S3 V3

Utilisation des instances Spot V3

Mode protégé par un cluster Slurm V3

AWS ParallelCluster ressources et balisage V3

Tableau de CloudWatch bord Amazon V3

Intégration à Amazon CloudWatch Logs V3

Adaptateur en tissu élastique V3

AWS ParallelCluster Personnalisation de l'AMI V3

Lancez des instances avec des réservations de capacité à la demande (ODCR) V3

Corriger les AMI et remplacer les EC2 instances Amazon V3

Comment AWS ParallelCluster fonctionne la V3

Configuration du chiffrement du stockage partagé à l'aide d'une clé AWS KMS V3

Exécution de tâches dans un cluster en mode file d'attente multiple V3

Utilisation de l' AWS ParallelCluster API V3

Meilleures pratiques : performances du réseau V3 : ajout de meilleures pratiques pour l'utilisation d'Elastic Fabric Adaptor.

AWS Autorisations Identity and Access Management dans la AWS ParallelCluster version 3 : diverses mises à jour et ajout d'une politique utilisateur supplémentaire pour AWS ParallelCluster pcluster lors de l'utilisation d'Amazon FSx for Lustre.

AWS ParallelCluster résolution des problèmes V3 : diverses mises à jour.

Ajoutez une validation pour PasswordSecretArnque DirectoryService/échoue si le secret n'existe pas.

Ajoutez le support pour activer l'authentification JWT Slurm.

Mettez à jour Slurm vers la version 21.08.8-2.

Construisez Slurm avec le support de JWT.

Ne nécessite pas que PlacementGroup/Enabled soit défini sur true lors du passage d'unPlacementGroup/existantId.

Ajouter lambda:TagResource à ParallelClusterUserRole utilisé par la pile ParallelCluster d'API pour la création de clusters et la création d'images.

Corrigez la possibilité d'exporter les journaux d'un cluster lorsque vous utilisez la export-cluster-logs commande avec l'--filtersoption.

Fixez le point d'entrée AWS Batch Docker pour utiliser /home un répertoire partagé pour coordonner l'exécution des Multi-node-Parallel tâches.

Réinitialisez l'adresse du nœud lorsque vous configurez le nœud statique défectueux de Slurm sur Down pour éviter de traiter le nœud statique défaillant avec une capacité insuffisante comme un nœud défaillant au démarrage.

Exécutez la création de la clé SSH en même temps que la création du répertoire HOME, par exemple, lors de la connexion SSH, lors du passage à un autre utilisateur et lors de l'exécution d'une commande en tant qu'autre utilisateur.

Ajoutez la prise en charge des noms uniques FQDN et LDAP dans le paramètre DirectoryServicede configuration/. DomainName Le nouveau validateur vérifie désormais les deux syntaxes.

Le nouveau update_directory_service_password.sh script déployé sur le nœud principal prend en charge la mise à jour manuelle du mot de passe Active Directory dans la configuration SSSD. Le mot de passe est récupéré par le AWS Secrets Manager dès la configuration du cluster.

Ajoutez la prise en charge du déploiement de l'infrastructure d'API dans des environnements sans VPC par défaut.

Désactivez les C-States plus profonds dans x86_64, officiels AMIs et AMIs créés par build-image commande, pour garantir des performances élevées et une faible latence.

Mises à jour des packages du système d'exploitation et correctifs de sécurité.

Modifiez les images de base d'Amazon Linux 2 à utiliser AMIs avec Kernel 5.10.

Corrigez la pile d'images DELETE_FAILED après la création réussie de l'image, en raison des nouvelles politiques d' EC2 Image Builder.

Corrigez le paramètre de configuration DirectoryService/DomainAddrconversion en propriété SSSD ldap_uri lorsqu'il contient plusieurs adresses de domaine.

Mettez à jour Slurm vers la version 21.08.6 (à partir de21.08.5).

Corrigez la mise à jour du /etc/hosts fichier sur les nœuds de calcul lorsqu'un cluster est déployé dans des sous-réseaux sans accès à Internet.

Corrigez le bootstrap des nœuds de calcul pour attendre l'initialisation des disques éphémères avant de rejoindre le cluster.

Ajoutez la prise en charge des environnements de clusters à utilisateurs multiples en intégrant les domaines Active Directory (AD) gérés par le biais du AWS Directory Service.

Ajoutez la prise en charge de UseEc2Hostnames dans le fichier de configuration du cluster. Lorsque ce paramètre est défini sur true, utilisez les noms d'hôte EC2 par défaut d'Amazon (par exemple, ip-1-2-3-4) pour les nœuds de calcul.

Ajoutez la prise en charge de la création de clusters dans des sous-réseaux sans accès à Internet.

Ajoutez la prise en charge de plusieurs types d'instances de calcul par file d'attente.

Ajoutez la prise en charge de la planification GPU avec Slurm sur les instances ARM dotées de cartes NVIDIA.

Ajoutez des drapeaux abrégés pour cluster-name (-n), region (-r), image-id () etcluster-configuration/image-configuration(-i-c) à la CLI AWS ParallelCluster .

Ajout du support pour NEW_CHANGED_DELETED l'option FSx pour le AutoImportPolicyparamètre Lustre.

Ajoutez une parallelcluster:compute-resource-name balise aux EC2 LaunchTemplates ressources utilisées par les nœuds de calcul.

Améliorez les groupes de sécurité créés au sein du cluster pour autoriser les connexions entrantes provenant de groupes de sécurité personnalisés lorsque des SecurityGroups paramètres sont spécifiés pour certaines files d' and/or attente de nœuds principaux.

Installez les pilotes NVIDIA et la bibliothèque CUDA pour ARM.

Mettez à jour Slurm vers la version 21.08.5 (à partir de20.11.8).

Mettez à jour le plugin Slurm vers la version 21.08 (à partir de20.11).

Mettez à jour NICE DCV vers la version 2021.3-11591 (depuis2021.1-10851).

Mettez à niveau le pilote NVIDIA vers la version 470.103.01 (à partir de470.57.02).

Mettez à niveau le gestionnaire NVIDIA Fabric vers la version 470.103.01 (à partir de470.57.02).

Mettez à niveau CUDA vers la version 11.4.4 (à partir de11.4.0).

Intel MPI mis à jour vers la version 2021 Update 4 (mise à jour à partir de la version 2019 Update 8). Pour plus d'informations, consultez la mise à jour 4 de la bibliothèque Intel® MPI 2021.

Passez PMIx à la version 3.2.3 (à partir de3.1.5).

Supprimez le transfert des nœuds de calcul défaillants vers/home/logs/compute. Les fichiers journaux des nœuds de calcul sont disponibles dans CloudWatch et dans les journaux de EC2 la console Amazon.

Activez le potentiel de suppression SlurmQueues et de ComputeResources longueur des validateurs.

Désactivez la mise à jour du package au moment du lancement de l'instance sur Amazon Linux 2.

Désactivez les métadonnées d'image EC2 ImageBuilder améliorées d'Amazon lors de la création d'images AWS ParallelCluster personnalisées.

Définissez explicitement la cloud-init source de données comme EC2 étant. Cela permet de gagner du temps de démarrage pour les plateformes Ubuntu et CentOS.

Utilisez le nom de la ressource de calcul plutôt que le type d'instance dans le nom du modèle de lancement du parc de calcul.

Redirigez stderr et stdout vers le fichier journal de la CLI pour empêcher le texte indésirable de figurer dans la sortie de la CLI pcluster.

Déplacez les configure/install recettes pour séparer les livres de cuisine appelés du livre principal. Les points d'entrée existants sont conservés et rétrocompatibles.

Téléchargez les dépendances de la plate-forme Intel HPC pendant la création de l'AMI afin d'éviter de contacter Internet lors de la création du cluster.

Ne supprimez pas le nom - de la ressource de calcul lors de la configuration des nœuds Slurm.

Ne configurez pas GPUs dans Slurm lorsque le pilote NVIDIA n'est pas installé.

Corrigez ecs:ListContainerInstances l'autorisation dansBatchUserRole.

Corrige l'exportation des journaux de cluster lorsqu'aucun préfixe n'est spécifié, précédemment exporté vers un None préfixe.

Corrige la non-exécution de la restauration en cas d'échec de la mise à jour du cluster.

Corrigez ecs:ListContainerInstances l'autorisation dansBatchUserRole.

Corrigez le RootVolume schéma HeadNode en déclenchant une erreur si une valeur non prise en charge KmsKeyId est spécifiée.

Corrigez les statistiques FSx manquantes d'Amazon à afficher dans le CloudWatch tableau de bord.

CorrigerEfaSecurityGroupValidator. Auparavant, cela risquait de provoquer de fausses défaillances lorsque des groupes de sécurité personnalisés étaient fournis et que l'EFA était activé.

Désactivez log4j-cve-2021-44228-hotpatch l'agent (Log4jHotPatch) sur Amazon Linux 2 pour éviter une éventuelle dégradation des performances. Pour plus d'informations, consultez l'annonce d'Amazon Linux Hotpatch pour Apache Log4j.

Configuration EFA : efa-config-1.9-1 (à partir deefa-config-1.9)

Profil EFA : efa-profile-1.5-1 (deefa-profile-1.5)

Module EFA Kernel : efa-1.14.2 (à partir deefa-1.13.0)

Noyau RDMA : rdma-core-37.0 (à partir derdma-core-35)

Libfabric : libfabric-1.13.2 (delibfabric-1.13.0)

Ouvrez MPI : openmpi40-aws-4.1.1-2 (pas de changement)

Les clients peuvent désormais migrer leurs configurations de cluster du format AWS ParallelCluster version 2 vers le format AWS ParallelCluster version 3 basé sur YAML. Pour plus d'informations, consultez pcluster3-config-converter.

Après l'arrêt du parc informatique, le nœud principal peut être arrêté puis redémarré à l'aide de la EC2 console Amazon ou de la commande stop-instances AWS CLI.

Pour la commande pcluster, si la AWS région n'est pas spécifiée dans le fichier de configuration, dans l'environnement ou sur la ligne de commande, la AWS région par défaut spécifiée dans le region paramètre de la [default] section du ~/.aws/config fichier est utilisée.

Les clients peuvent désormais gérer et déployer des clusters via des points de terminaison HTTP avec Amazon API Gateway. Cela ouvre de nouvelles possibilités pour les flux de travail basés sur des scripts ou des événements.

L'interface de ligne de AWS ParallelCluster commande (CLI) a également été repensée pour être compatible avec cette API et inclut une nouvelle option de sortie JSON. Cette nouvelle fonctionnalité permet aux clients d'implémenter également des fonctionnalités de base similaires à l'aide de la CLI.

Les clients ont désormais accès à un processus plus robuste pour créer et gérer des éléments personnalisés à AMIs l'aide d' EC2 Image Builder. La personnalisation AMIs peut désormais être gérée via un fichier de AWS ParallelCluster configuration distinct et peut être créée à l'aide de la commande pcluster build-image dans l'interface de ligne de AWS ParallelCluster commande.

Supprimez la valeur par défaut pour la version PC. L'utilisateur doit maintenant spécifier la version du PC à utiliser.

Ajoutez le nouveau paramètre de pile AdditionalPoliciesPCAPI « » pour ajouter des autorisations personnalisées pour le rôle ParallelCluster API Lambda, en plus des autorisations par défaut.

Corrigez le déploiement du PCUI dans les sous-réseaux privés en faisant en sorte que le modèle PCUI utilise et renvoie le bon. URLs

Correction d'un problème qui empêchait le chargement de plus de 200 tâches dans l'onglet État des tâches. (Voir https://github.com/aws/aws-parallelcluster-ui/issues/376).

Mettez à jour Python de la version 3.9 à la version 3.12.

Mettez à niveau cross-spawn de la version 7.0.3 à la version 7.0.6 pour corriger la vulnérabilité CVE-2024-21538.

Demandes de mise à niveau de la version 2.31.0 à la version 2.32.0 pour résoudre le problème CVE-2024-35195.

Mettez à jour urllib3 de la version 1.26.18 à la version 1.26.19 pour résoudre le problème CVE-2024-37891.

Mettez à niveau la cryptographie de 42.0.4 à 44.0.1 pour répondre à la norme CWE-1395.

Mettez à niveau certifi de 2023.7.22 à 2024.7.4 pour résoudre le problème CVE-2024-39689.

Mettez à jour jinja2 de la version 3.1.3 à la version 3.1.6 pour résoudre les problèmes CVE-2024-56201 et CVE-2024-56326.

Mettez à jour serverless_wsgi.py vers la version 3.0.5.

Mettez à jour Werkzeug de la version 2.3.8 à la version 3.0.6 pour corriger les problèmes CVE-2024-34069, CVE-2024-49766 et CVE-2024-49767.

Mettez à niveau Axios de la version 1.6.7 à la version 1.8.2 pour résoudre le problème CVE-2024-39338.

Mettez à niveau Next.js de la version 14.1.1 à la version 14.2.25 pour corriger les problèmes CVE-2024-51479, CVE-2024-46982 et CVE-2025-29927.

Mettez à jour idna de 3.4 à la version 3.7 pour résoudre le problème CVE-2024-3651.

Mettez à niveau nanoid de la version 3.3.7 à la version 3.3.8 pour corriger CVE-2024-55565.

Mettez à jour python-jose de la version 3.3.0 à la version 3.4.0 pour corriger CVE-29217.

Définissez explicitement la politique d'un référentiel privé ECR afin d'empêcher la suppression de la politique lors d'une mise à jour de la pile ayant un impact sur une fonction Lambda. La politique inclut les autorisations requises par la fonction Lambda pour récupérer le code.

Ajout du support pour AWS ParallelCluster 3.11.1.

Ajoutez la prise en charge des réservations de capacité à la demande et du blocage de capacité dans l'assistant.

Ajoutez les familles g6, m7 et p5 à la liste des types d'instances pris en charge dans l'assistant.

Ajoutez de nouveaux paramètres facultatifs à la pile pour configurer un domaine personnalisé à la fois pour PCUI et Cognito.

Corrige un bogue qui perturbait la configuration du domaine personnalisé.

Mettez à niveau Flask-CORS de la version 3.0.10 à la version 4.0.2 pour corriger la vulnérabilité CVE-2024-6221.

Mettez à niveau lint-staged de la version 13.0.3 à la version 15.2.5 pour corriger la vulnérabilité CVE-2024-4068.

Changelog complet

Correction d'un bug dans le frontend qui bloquait l'interface utilisateur lorsque l'utilisateur ouvrait le panneau Job Status.

Changelog complet

Ajout du support pour la AWS ParallelCluster version 3.9.1

Changelog complet

Ajout du support pour la AWS ParallelCluster version 3.9.0

Ajout du support pour Ubuntu 22.04 et Red Hat Enterprise Linux 9

Ubuntu 18.04 obsolète

Correction d'un problème qui empêchait certains clusters d'apparaître en cas d'utilisation de plusieurs clusters

Mise à jour de l'environnement d'exécution Lambda vers Python v3.9

Ajout du support pour le déploiement de PCUI avec un réseau privé.

Possibilité supplémentaire d'appliquer éventuellement une limite d'autorisations à chaque rôle IAM créé par les infrastructures PCUI et PCAPI

Possibilité supplémentaire d'appliquer éventuellement un préfixe à chaque rôle et politique IAM créés par l'infrastructure PCUI et PCAPI.

Ajout du support pour ParallelCluster la version 3.8.0, sans parité des fonctionnalités dans l'assistant.

Ajout de la prise en charge de la ParallelCluster version 3.7.2 avec la parité des fonctionnalités dans l'assistant limitée au cache de FSx fichiers et à la compatibilité de planification basée sur la mémoire avec plusieurs types d'instances.

Correction d'un problème provoquant des erreurs d'interface utilisateur lorsque le PCUI n'était pas autorisé à interagir avec Cost Explorer.

Sécurité améliorée en réduisant le jeton d'accès TTL de 10 minutes à 5 minutes.

Mise à niveau de la version AWS ParallelCluster d'API par défaut vers la version 3.6.0.

Correction d'un déploiement interrompu pour la région AWS GovCloud (ouest des États-Unis).

Le panneau partagé charge désormais correctement les détails du cluster une fois la création commencée.

La fonction de surveillance des coûts n'est pas disponible dans les régions AWS GovCloud (États-Unis).

À partir de AWS ParallelCluster la version 3.6.0, ajoutez le support pour RHEL 8.

Ajoutez le suivi des coûts du cluster.

À partir de AWS ParallelCluster la version 3.6.0, augmentez les quotas de file d'attente et de ressources de calcul.

Amélioration de l'interface utilisateur de l'assistant de création de clusters.

Augmentation de la vitesse de déploiement du PCUI.

Amélioration de l'interface pour l'ajout d'un nouvel utilisateur.

Les files d'attente se trouvent par défaut dans le sous-réseau du nœud principal.

Passez à la bonne région une fois la création du cluster terminée.

Corrigez l'affichage de l'indicateur de chargement dans la fonction « Modifier le cluster ».

Corrigez la création de clusters lorsque la SnapshotId propriété EBS est supprimée.

Refonte de l'assistant de création de clusters.

Refonte de la page des journaux du cluster.

Ajoutez un paramètre de nom personnalisé pour le stockage partagé.

Ajoutez une sélection de stockage multiple lors de l'ajout de stockage à un cluster.

Ajoutez la DeletionPolicy prise en charge d'Amazon EFS et FSx de Lustre.

Ajoutez ImdsSupport un paramètre dans la configuration du cluster.

Ajoutez la prise en charge des types d'instances C7.

Ajout d'un didacticiel sur le retour à une version précédente du document AWS Systems Manager.

Configuration du cluster YAML d'une taille maximale de 1 Mo.

L'utilisateur n'est pas déconnecté en raison d'une autorisation avec des informations d'identification temporaires Boto3 IAM.

Les options multithreading sont désactivées lorsqu'une instance HPC est sélectionnée.

Suppression de la désactivation de la restauration sur la page de création du cluster.

L'utilisateur n'est pas autorisé à utiliser le PCUI tant que les informations requises ne sont pas fournies.

Jusqu'à 10 files d'attente peuvent être ajoutées.

Le SSM-SessionManagerRunShell document n'est pas remplacé lors de l'installation du PCUI.

Corrigez le lien de réinitialisation du mot de passe cassé

Correctif cassé delete stack dû au fait qu'il EcrPrivateRepository n'était pas vide

Correction d'un problème d'initialisation de la case à cocher Générer des clés SSH dans la section Propriétés de gestion des utilisateurs multiples.

Correction d'un crash causé par une tâche aux propriétés non définies.

FSx Réglages SCRATCH fixes.

Bouton de démarrage et d'arrêt des instances fixe, toujours activé après avoir cliqué une fois.

Correction d'un problème qui provoquait l'échec de terraform-apply lorsque l' ParallelCluster API 3.11.x était utilisée pour déployer des clusters avec des nœuds de connexion.

Utilisez AWS ParallelCluster Terraform Provider 1.x dans tous les exemples de modules.

Utilisez l' ParallelCluster API 3.11.1 dans tous les exemples avec l'API stack name ParallelCluster.

Déployez des nœuds de connexion dans tous les exemples de modules.

Journal des modifications complet

Journal des modifications complet