Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.
Configurez et créez un cluster avec AWS ParallelCluster interface de ligne de commande
Après l'installation AWS ParallelCluster, effectuez les étapes de configuration suivantes.
-
Vérifiez que le rôle de votre AWS compte inclut les autorisations nécessaires pour exécuter la pcluster CLI. Pour de plus amples informations, veuillez consulter AWS ParallelCluster exemple de politiques utilisateur de pcluster.
-
Configurez vos AWS informations d'identification. Pour plus d'informations, consultez Configuration de l' AWS CLI dans le Guide de l'utilisateur de l'AWS CLI .
$ aws configure
AWS Access Key ID [None]: AKIAIOSFODNN7EXAMPLE
AWS Secret Access Key [None]: wJalrXUtnFEMI/K7MDENG/bPxRfiCYEXAMPLEKEY
Default region name [us-east-1]: us-east-1
Default output format [None]:
-
L' Région AWS endroit où le cluster est lancé doit disposer d'au moins une paire de clés Amazon EC2. Pour plus d'informations, consultez les paires de clés Amazon Elastic Compute Cloud dans le Guide de l'utilisateur Amazon Elastic Compute Cloud pour les instances Linux.
Lorsque vous utilisez l'interface de ligne de AWS ParallelCluster commande (CLI), vous ne payez que pour les AWS ressources créées lorsque vous créez ou mettez à jour AWS ParallelCluster des images et des clusters. Pour de plus amples informations, veuillez consulter AWS services utilisés par AWS ParallelCluster.
Configurez et créez votre premier cluster
Pour créer votre premier cluster, utilisez la commande pcluster configure CLI pour lancer un assistant qui vous invite à fournir toutes les informations nécessaires à la configuration et à la création de votre cluster. Les détails de la séquence diffèrent lorsque vous l'utilisez AWS Batch comme planificateur par rapport à l'utilisationSlurm.
- Slurm
-
$ pcluster configure --config cluster-config.yaml
Dans la liste des Région AWS identifiants valides, choisissez l' Région AWS endroit où vous souhaitez que votre cluster soit exécuté.
La liste des Régions AWS éléments affichés est basée sur la partition de votre compte et inclut uniquement les Régions AWS éléments qui sont activés pour votre compte. Pour plus d'informations sur l'activation Régions AWS de votre compte, consultez la section Gestion Régions AWS dans le Références générales AWS. L'exemple illustré provient de la partition AWS globale. Si votre compte se trouve dans la AWS GovCloud (US) partition, seule Régions AWS cette partition est répertoriée (gov-us-east-1etgov-us-west-1). De même, si votre compte se trouve dans la partition AWS Chine, seuls cn-north-1 et cn-northwest-1 sont affichés. Pour la liste complète des produits Régions AWS pris en charge par AWS ParallelCluster, consultezPris en charge Régions AWS pour AWS ParallelCluster.
Allowed values for Région AWS ID:
1. af-south-1
2. ap-east-1
3. ap-northeast-1
4. ap-northeast-2
5. ap-south-1
6. ap-southeast-1
7. ap-southeast-2
8. ap-southeast-3
9. ap-southeast-5
10. ap-southeast-7
11. ca-central-1
12. eu-central-1
13. eu-north-1
14. eu-south-1
15. eu-west-1
16. eu-west-2
17. eu-west-3
18. il-central-1
19. me-south-1
20. sa-east-1
21. us-east-1
22. us-east-2
23. us-west-1
24. us-west-2
Région AWS ID [ap-northeast-1]:
Choisissez la paire de clés parmi celles qui sont enregistrées auprès d'Amazon Elastic Compute Cloud dans la zone sélectionnée Région AWS :
Allowed values for Amazon EC2 Key Pair Name:
1. your-key-1
2. your-key-2
Amazon EC2 Key Pair Name [your-key-1]:
Choisissez le planificateur à utiliser avec votre cluster.
Allowed values for Scheduler:
1. slurm
Scheduler [slurm]:
Choisissez le système d'exploitation.
Allowed values for Operating System:
1. alinux2023
2. ubuntu2404
3. ubuntu2204
4. rhel8
5. rhel9
Operating System [alinux2023]:
Choisissez le type d'instance de nœud principal :
Head node instance type [t2.micro]:
Choisissez la configuration de la file d'attente. Remarque : le type d'instance ne peut pas être spécifié pour plusieurs ressources de calcul dans la même file d'attente.
Number of queues [1]:
Name of queue 1 [queue1]:
Number of compute resources for queue1 [1]: 2
Compute instance type for compute resource 1 in queue1 [t2.micro]:
Maximum instance count [10]:
Permettez à EFA d'exécuter des applications nécessitant des niveaux élevés de communication inter-instances à grande échelle AWS , sans frais supplémentaires :
Compute instance type for compute resource 2 in queue1 [t2.micro]: c5n.18xlarge
Enable EFA on c5n.18xlarge (y/n) [y]: y
Maximum instance count [10]:
Placement Group name []:
Une fois les étapes précédentes terminées, décidez si vous souhaitez utiliser un VPC existant ou laisser AWS ParallelCluster créer un VPC pour vous. Si vous ne disposez pas d'un VPC correctement configuré, vous AWS ParallelCluster pouvez en créer un nouveau pour vous. Il place les nœuds de tête et de calcul dans le même sous-réseau public ou uniquement le nœud de tête dans un sous-réseau public avec tous les nœuds de calcul dans un sous-réseau privé. Si vous laissez AWS ParallelCluster créer un VPC, vous devez décider si tous les nœuds doivent se trouver dans un sous-réseau public. Pour de plus amples informations, veuillez consulter Configurations réseau.
Si vous configurez votre cluster pour utiliser des types d'instances dotés de plusieurs interfaces réseau ou d'une carte réseau, consultez la section Configurations réseau relative aux exigences réseau supplémentaires.
Il est possible d'atteindre votre quota pour le nombre de VPC autorisés dans un Région AWS. Le quota par défaut est de cinq VPC pour un Région AWS. Pour plus d'informations sur ce quota et sur la manière de demander une augmentation, consultez la section VPC et sous-réseaux dans le guide de l'utilisateur Amazon VPC.
Les VPC créés par AWS ParallelCluster n'activent pas les journaux de flux VPC par défaut. Les journaux de flux VPC vous permettent de capturer des informations sur le trafic IP entrant et sortant des interfaces réseau de vos VPC. Pour plus d’informations, consultez Journaux de flux VPC dans le Guide de l’utilisateur Amazon VPC.
Si vous laissez AWS ParallelCluster créer un VPC, assurez-vous de décider si tous les nœuds doivent se trouver dans un sous-réseau public.
Si vous le souhaitez1. Head node in a public subnet and compute fleet in
a private subnet, AWS ParallelCluster crée une passerelle NAT qui entraîne des coûts supplémentaires, même si vous spécifiez des ressources de niveau gratuit.
Automate VPC creation? (y/n) [n]: y
Allowed values for Availability Zone:
1. us-east-1a
2. us-east-1b
3. us-east-1c
4. us-east-1d
5. us-east-1e
6. us-east-1f
Availability Zone [us-east-1a]:
Allowed values for Network Configuration:
1. Head node in a public subnet and compute fleet in a private subnet
2. Head node and compute fleet in the same public subnet
Network Configuration [Head node in a public subnet and compute fleet in a private subnet]: 1
Beginning VPC creation. Please do not leave the terminal until the creation is finalized
Si vous ne créez pas de nouveau VPC, vous devez sélectionner un VPC existant.
Si vous choisissez de AWS ParallelCluster créer le VPC, notez l'ID du VPC afin de pouvoir l'utiliser AWS CLI pour le supprimer ultérieurement.
Automate VPC creation? (y/n) [n]: n
Allowed values for VPC ID:
# id name number_of_subnets
--- --------------------- --------------------------------- -------------------
1 vpc-0b4ad9c4678d3c7ad ParallelClusterVPC-20200118031893 2
2 vpc-0e87c753286f37eef ParallelClusterVPC-20191118233938 5
VPC ID [vpc-0b4ad9c4678d3c7ad]: 1
Une fois le VPC sélectionné, décidez si vous souhaitez utiliser des sous-réseaux existants ou en créer de nouveaux.
Automate Subnet creation? (y/n) [y]: y
Creating CloudFormation stack...
Do not leave the terminal until the process has finished
- AWS Batch
-
$ pcluster configure --config cluster-config.yaml
Dans la liste des Région AWS identifiants valides, choisissez l' Région AWS endroit où vous souhaitez que votre cluster soit exécuté.
La liste Régions AWS affichée est basée sur la partition de votre compte. Cela inclut uniquement Régions AWS ceux qui sont activés pour votre compte. Pour plus d'informations sur l'activation Régions AWS de votre compte, consultez la section Gestion Régions AWS dans le Références générales AWS. L'exemple illustré provient de la partition AWS globale. Si votre compte se trouve dans la AWS GovCloud (US) partition, seule Régions AWS cette partition est répertoriée (gov-us-east-1etgov-us-west-1). De même, si votre compte se trouve dans la partition AWS Chine, seuls cn-north-1 et cn-northwest-1 sont affichés. Pour la liste complète des produits Régions AWS pris en charge par AWS ParallelCluster, consultezPris en charge Régions AWS pour AWS ParallelCluster.
Allowed values for Région AWS ID:
1. af-south-1
2. ap-east-1
3. ap-northeast-1
4. ap-northeast-2
5. ap-south-1
6. ap-southeast-1
7. ap-southeast-2
8. ap-southeast-3
9. ap-southeast-5
10. ap-southeast-7
11. ca-central-1
12. eu-central-1
13. eu-north-1
14. eu-south-1
15. eu-west-1
16. eu-west-2
17. eu-west-3
18. il-central-1
19. me-south-1
20. sa-east-1
21. us-east-1
22. us-east-2
23. us-west-1
24. us-west-2
Région AWS ID [us-east-1]:
La paire de clés est sélectionnée parmi les paires de clés enregistrées auprès d'Amazon EC2 dans la zone sélectionnée Région AWS. Choisissez la paire de clés :
Allowed values for Amazon EC2 Key Pair Name:
1. your-key-1
2. your-key-2
Amazon EC2 Key Pair Name [your-key-1]:
Choisissez le planificateur à utiliser avec votre cluster.
Allowed values for Scheduler:
1. slurm
2. awsbatch
Scheduler [slurm]: 2
Lorsque awsbatch est sélectionné comme planificateur, alinux2 est utilisé comme système d'exploitation. Le type d'instance du nœud principal est saisi :
Head node instance type [t2.micro]:
Choisissez la configuration de la file d'attente. Le AWS Batch planificateur ne contient qu'une seule file d'attente. La taille maximale du cluster de nœuds de calcul est saisie. Elles sont mesurées dans les vCPU.
Number of queues [1]:
Name of queue 1 [queue1]:
Maximum vCPU [10]:
Décidez si vous souhaitez utiliser des VPC existants ou laisser AWS ParallelCluster créer des VPC pour vous. Si vous n'avez pas de VPC correctement configuré, AWS ParallelCluster peut en créer un nouveau. Il utilise à la fois les nœuds de tête et de calcul du même sous-réseau public ou uniquement le nœud de tête d'un sous-réseau public avec tous les nœuds d'un sous-réseau privé. Il est possible d'atteindre votre quota sur le nombre de VPC autorisés dans une région. Le nombre par défaut de VPC est de cinq. Pour plus d'informations sur ce quota et sur la manière de demander une augmentation, consultez la section VPC et sous-réseaux dans le guide de l'utilisateur Amazon VPC.
Les VPC créés par AWS ParallelCluster n'activent pas les journaux de flux VPC par défaut. Les journaux de flux VPC vous permettent de capturer des informations sur le trafic IP entrant et sortant des interfaces réseau de vos VPC. Pour plus d’informations, consultez Journaux de flux VPC dans le Guide de l’utilisateur Amazon VPC.
Si vous laissez AWS ParallelCluster créer un VPC, assurez-vous de décider si tous les nœuds doivent se trouver dans un sous-réseau public.
Si vous le souhaitez1. Head node in a public subnet and compute fleet in a private subnet, AWS ParallelCluster
crée une passerelle NAT qui entraîne des coûts supplémentaires, même si vous spécifiez des ressources de niveau gratuit.
Automate VPC creation? (y/n) [n]: y
Allowed values for Availability Zone:
1. us-east-1a
2. us-east-1b
3. us-east-1c
4. us-east-1d
5. us-east-1e
6. us-east-1f
Availability Zone [us-east-1a]:
Allowed values for Network Configuration:
1. Head node in a public subnet and compute fleet in a private subnet
2. Head node and compute fleet in the same public subnet
Network Configuration [Head node in a public subnet and compute fleet in a private subnet]: *1*
Beginning VPC creation. Please do not leave the terminal until the creation is finalized
Si vous ne créez pas de nouveau VPC, vous devez sélectionner un VPC existant.
Si vous choisissez de AWS ParallelCluster créer le VPC, notez l'ID du VPC afin de pouvoir l'utiliser AWS CLI ou Console de gestion AWS pour le supprimer ultérieurement.
Automate VPC creation? (y/n) [n]: n
Allowed values for VPC ID:
# id name number_of_subnets
--- --------------------- --------------------------------- -------------------
1 vpc-0b4ad9c4678d3c7ad ParallelClusterVPC-20200118031893 2
2 vpc-0e87c753286f37eef ParallelClusterVPC-20191118233938 5
VPC ID [vpc-0b4ad9c4678d3c7ad]: 1
Une fois le VPC sélectionné, assurez-vous de décider d'utiliser les sous-réseaux existants ou d'en créer de nouveaux.
Automate Subnet creation? (y/n) [y]: y
Creating CloudFormation stack...
Do not leave the terminal until the process has finished
Lorsque vous avez terminé les étapes précédentes, un cluster simple est lancé dans un VPC. Le VPC utilise un sous-réseau existant qui prend en charge les adresses IP publiques. La table de routage du sous-réseau est0.0.0.0/0 => igw-xxxxxx. Prenez note des conditions suivantes :
-
Le VPC doit comporter les paramètres DNS Resolution = yes et DNS Hostnames = yes.
-
Le VPC doit également disposer d'options DHCP avec la valeur correcte domain-name pour. Région AWS Le jeu d'options DHCP par défaut spécifie déjà le AmazonProvidedDNS requis. Si vous spécifiez plusieurs serveurs de noms de domaine, consultez les ensembles d'options DHCP dans le guide de l'utilisateur Amazon VPC. Lorsque vous utilisez des sous-réseaux privés, utilisez une passerelle NAT ou un proxy interne pour activer l'accès Web aux nœuds de calcul. Pour de plus amples informations, veuillez consulter Configurations réseau.
Une fois que tous les paramètres contiennent les valeurs valides, vous pouvez lancer le cluster en exécutant la commande create.
$ pcluster create-cluster --cluster-name test-cluster --cluster-configuration cluster-config.yaml
{
"cluster": {
"clusterName": "test-cluster",
"cloudformationStackStatus": "CREATE_IN_PROGRESS",
"cloudformationStackArn": "arn:aws:cloudformation:eu-west-1:xxx:stack/test-cluster/abcdef0-f678-890a-5abc-021345abcdef",
"region": "eu-west-1",
"version": "3.16.1",
"clusterStatus": "CREATE_IN_PROGRESS"
},
"validationMessages": []
}
Suivez la progression du cluster :
$ pcluster describe-cluster --cluster-name test-cluster
or
$ pcluster list-clusters --query 'clusters[?clusterName==`test-cluster`]'
Une fois le "clusterStatus": "CREATE_COMPLETE" statut du cluster atteint, vous pouvez vous y connecter en utilisant les paramètres habituels de votre client SSH. Pour plus d'informations sur la connexion aux instances Amazon EC2, consultez le Guide de l'utilisateur Amazon EC2 dans le Guide de l'utilisateur Amazon EC2. Ou vous pouvez connecter le cluster via
$ pcluster ssh --cluster-name test-cluster -i ~/path/to/keyfile.pem
Pour supprimer le cluster, exécutez la commande suivante.
$ pcluster delete-cluster --region us-east-1 --cluster-name test-cluster
Une fois le cluster supprimé, vous pouvez supprimer les ressources réseau du VPC en supprimant la pile CloudFormation réseau. Le nom de la pile commence par « parallelclusternetworking- » et contient l'heure de création au format « YYYYMMDDHHMMSS ». Vous pouvez répertorier les piles à l'aide de la list-stacks commande.
$ aws --region us-east-1 cloudformation list-stacks \
--stack-status-filter "CREATE_COMPLETE" \
--query "StackSummaries[].StackName" | \
grep -e "parallelclusternetworking-"
"parallelclusternetworking-pubpriv-20191029205804"
La pile peut être supprimée à l'aide de la delete-stack commande.
$ aws --region us-east-1 cloudformation delete-stack \
--stack-name parallelclusternetworking-pubpriv-20191029205804
Le VPC qui configuration de pcluster crée pour vous n'est pas créé dans la pile CloudFormation réseau. Vous pouvez supprimer ce VPC manuellement dans la console ou en utilisant le AWS CLI.
$ aws --region us-east-1 Amazon EC2 delete-vpc --vpc-id vpc-0b4ad9c4678d3c7ad
