「Configure and create a cluster with the AWS ParallelCluster command line interface」

をインストールしたらAWS ParallelCluster、以下の設定ステップを完了します。

AWSアカウントに CLI pcluster の実行に必要なアクセス許可を含むロールがあることを確認します。詳細については、「AWS ParallelCluster pcluster ユーザーポリシーの例」を参照してください。

AWS認証情報を設定します。詳細については、「AWS CLIユーザーガイド」の「AWS CLIを設定する」を参照してください。


$ aws configure
AWS Access Key ID [None]: AKIAIOSFODNN7EXAMPLE
AWS Secret Access Key [None]: wJalrXUtnFEMI/K7MDENG/bPxRfiCYEXAMPLEKEY
Default region name [us-east-1]: us-east-1
Default output format [None]:

クラスターを起動AWS リージョンするには、少なくとも 1 つの Amazon EC2 キーペアが必要です。詳細については、「Linux インスタンス用 Amazon Elastic Compute Cloud ユーザーガイド」の「Amazon Elastic Compute Cloud のキーペア」を参照してください。

AWS ParallelClusterコマンドラインインターフェイス (CLI) を使用する場合、AWS ParallelClusterイメージとクラスターを作成または更新したときに作成されたAWSリソースに対してのみ料金が発生します。詳細については、「AWS が使用するサービス AWS ParallelCluster」を参照してください。

最初のクラスターを設定して作成する

最初のクラスターを作成するには、 pcluster configure CLI コマンドを使用して、クラスターの設定と作成に必要なすべての情報の入力を求めるウィザードを開始します。スケジューラAWS Batchとしてを使用する場合とを使用する場合では、シーケンスの詳細が異なりますSlurm。

Slurm


$  pcluster configure --config cluster-config.yaml

有効なAWS リージョン識別子のリストから、クラスターを実行するAWS リージョンを選択します。

注記

AWS リージョン表示されるのリストは、アカウントのパーティションに基づいており、アカウントで有効AWS リージョンになっているのみが含まれます。アカウントAWS リージョンでを有効にする方法の詳細については、の「の管理AWS リージョン」を参照してくださいAWS 全般のリファレンス。次に示す例は、AWSグローバルパーティションからのものです。アカウントがAWS GovCloud (US)パーティションにある場合、そのパーティションAWS リージョンののみが表示されます (gov-us-east-1 および gov-us-west-1)。同様に、アカウントがAWS中国パーティションにある場合、 cn-northwest-1 cn-north-1とのみが表示されます。でサポートされているの完全なリストAWS リージョンについてはAWS ParallelCluster、「」を参照してくださいAWS リージョンでサポートされる AWS ParallelCluster。


Allowed values for AWS リージョン ID:
1. af-south-1
2. ap-east-1
3. ap-northeast-1
4. ap-northeast-2
5. ap-south-1
6. ap-southeast-1
7. ap-southeast-2
8. ap-southeast-3
9. ap-southeast-5
10. ap-southeast-7
11. ca-central-1
12. eu-central-1
13. eu-north-1
14. eu-south-1
15. eu-west-1
16. eu-west-2
17. eu-west-3
18. il-central-1
19. me-south-1
20. sa-east-1
21. us-east-1
22. us-east-2
23. us-west-1
24. us-west-2 AWS リージョン ID [ap-northeast-1]:

選択したで Amazon Elastic Compute Cloud に登録されているキーペアからキーペアを選択しますAWS リージョン。


Allowed values for Amazon EC2 Key Pair Name:
1. your-key-1
2. your-key-2
Amazon EC2 Key Pair Name [your-key-1]:

クラスターで使用するスケジューラを選択します。


Allowed values for Scheduler:
1. slurm
2. awsbatch
Scheduler [slurm]:

オペレーティングシステムを選択します。


Allowed values for Operating System:
1. alinux2
2. alinux2023
3. ubuntu2404
4. ubuntu2204
6. rhel8
7. rhel9
Operating System [alinux2]:

ヘッドノードインスタンスタイプを選択します。


Head node instance type [t2.micro]:

キューの構成を選択します。注意: 同一キュー内の複数のコンピューティングリソースに対してインスタンスタイプを指定することはできません。


Number of queues [1]:
Name of queue 1 [queue1]:
Number of compute resources for queue1 [1]: 2
Compute instance type for compute resource 1 in queue1 [t2.micro]:
Maximum instance count [10]:

EFA を有効にして、追加料金なしで高レベルのインスタンス間通信を必要とするアプリケーションを大規模AWSに実行できます。

Elastic Fabric Adapter (EFA) をサポートするインスタンスタイプを選択します。
EFA を有効にします。
既存のプレイスメントグループ名を指定します。空白のままにすると、によってAWS ParallelCluster自動的に作成されます。


Compute instance type for compute resource 2 in queue1 [t2.micro]: c5n.18xlarge
Enable EFA on c5n.18xlarge (y/n) [y]: y
Maximum instance count [10]:
Placement Group name []:

前のステップが完了したら、既存の VPC を使用するか、が VPC AWS ParallelClusterを作成するかを決定します。適切に設定された VPC がない場合は、で新しい VPC AWS ParallelClusterを作成できます。ヘッダーノードとコンピューティングノードの両方を同じパブリックサブネット内に配置するか、ヘッドノードのみをパブリックサブネット内に配置し、すべてのコンピューティングノードをプライベートサブネット内に配置します。AWS ParallelClusterが VPC を作成できるようにする場合は、すべてのノードをパブリックサブネットに配置するかどうかを決定する必要があります。詳細については、「ネットワークの設定」を参照してください。

複数のネットワークインターフェイスまたはネットワークカードを備えたインスタンスタイプを使用するようにクラスターを設定する場合、追加のネットワーク要件については「ネットワークの設定」を参照してください。

AWS リージョンで許可されている VPC 数のクォータに達する可能性があります。デフォルトのクォータは、AWS リージョンあたり 5 つの VPC です。このクォータと引き上げをリクエストする方法の詳細については、「Amazon VPC ユーザーガイド」の「VPC とサブネット」を参照してください。

重要

によって作成された VPCs、デフォルトでは VPC フローログを有効にAWS ParallelClusterしません。VPC フローログは、VPC のネットワークインターフェイスとの間で行き来する IP トラフィックに関する情報をキャプチャすることができます。詳細については、「Amazon VPC User Guide」(Amazon VPC ユーザーガイド) の「VPC Flow Logs」(VPC フローログ) を参照してください。

VPC AWS ParallelClusterを作成できるようにする場合は、すべてのノードをパブリックサブネットに配置するかどうかを決定してください。

注記

を選択した場合1. Head node in a public subnet and compute fleet in a private subnet、は、無料利用枠リソースを指定しても、追加コストが発生する NAT ゲートウェイAWS ParallelClusterを作成します。


Automate VPC creation? (y/n) [n]: y
Allowed values for Availability Zone:
1. us-east-1a
2. us-east-1b
3. us-east-1c
4. us-east-1d
5. us-east-1e
6. us-east-1f
Availability Zone [us-east-1a]:
Allowed values for Network Configuration:
1. Head node in a public subnet and compute fleet in a private subnet
2. Head node and compute fleet in the same public subnet
Network Configuration [Head node in a public subnet and compute fleet in a private subnet]: 1
Beginning VPC creation. Please do not leave the terminal until the creation is finalized

新しい VPC を作成しない場合、既存の VPC を選択する必要があります。

で VPC AWS ParallelClusterを作成する場合は、VPC ID を書き留めて、を使用して後でAWS CLI削除できるようにします。


Automate VPC creation? (y/n) [n]: n
Allowed values for VPC ID:
  #  id                     name                                 number_of_subnets
---  ---------------------  ---------------------------------  -------------------
  1  vpc-0b4ad9c4678d3c7ad  ParallelClusterVPC-20200118031893                    2
  2  vpc-0e87c753286f37eef  ParallelClusterVPC-20191118233938                    5
VPC ID [vpc-0b4ad9c4678d3c7ad]: 1

VPC を選択したら、既存のサブネットを使用するか、新しいサブネットを作成するかを決定します。


Automate Subnet creation? (y/n) [y]: y


Creating CloudFormation stack...
Do not leave the terminal until the process has finished

AWS Batch


$  pcluster configure --config cluster-config.yaml

有効なAWS リージョン識別子のリストから、クラスターを実行するAWS リージョンを選択します。

注記

AWS リージョン表示されるのリストは、アカウントのパーティションに基づいています。これにはAWS リージョン、アカウントで有効になっているのみが含まれます。アカウントAWS リージョンでを有効にする方法の詳細については、の「の管理AWS リージョン」を参照してくださいAWS 全般のリファレンス。次に示す例は、AWSグローバルパーティションからのものです。アカウントがAWS GovCloud (US)パーティションにある場合、そのパーティションAWS リージョンののみが表示されます (gov-us-east-1 および gov-us-west-1)。同様に、アカウントがAWS中国パーティションにある場合、 cn-northwest-1 cn-north-1とのみが表示されます。でAWS リージョンサポートされているの完全なリストについてはAWS ParallelCluster、「」を参照してくださいAWS リージョンでサポートされる AWS ParallelCluster。


Allowed values for AWS リージョン ID:
1. af-south-1
2. ap-east-1
3. ap-northeast-1
4. ap-northeast-2
5. ap-south-1
6. ap-southeast-1
7. ap-southeast-2
8. ap-southeast-3
9. ap-southeast-5
10. ap-southeast-7
11. ca-central-1
12. eu-central-1
13. eu-north-1
14. eu-south-1
15. eu-west-1
16. eu-west-2
17. eu-west-3
18. il-central-1
19. me-south-1
20. sa-east-1
21. us-east-1
22. us-east-2
23. us-west-1
24. us-west-2 AWS リージョン ID [us-east-1]:

キーペアは、選択したAWS リージョンに Amazon EC2 で登録されているキーペアから選択されます。キーペアを選択します。


Allowed values for Amazon EC2 Key Pair Name:
1. your-key-1
2. your-key-2
Amazon EC2 Key Pair Name [your-key-1]:

クラスターで使用するスケジューラを選択します。


Allowed values for Scheduler:
1. slurm
2. awsbatch
Scheduler [slurm]: 2

awsbatch がスケジューラとして選択されている場合、alinux2 がオペレーティングシステムとして使用されます。ヘッドノードのインスタンスタイプが入力されます。


Head node instance type [t2.micro]:

キューの構成を選択します。スAWS Batchケジューラには 1 つのキューのみが含まれます。コンピューティングノードのクラスターの最大サイズを入力します。これは vCPU 単位で測定されます。


Number of queues [1]:
Name of queue 1 [queue1]:
Maximum vCPU [10]:

既存の VPCs を使用するか、が VPCs AWS ParallelClusterを作成するかを決定します。適切に設定された VPC がない場合は、AWS ParallelClusterで新しい VPC を作成できます。同じパブリックサブネット内のヘッダーノードとコンピューティングノードの両方を使用するか、プライベートサブネット内のすべてのノードを持つパブリックサブネット内のヘッダーノードのみを使用します。リージョン内で許可されている VPC 数のクォータに達する可能性があります。VPC のデフォルト数は 5 です。このクォータと引き上げをリクエストする方法の詳細については、「Amazon VPC ユーザーガイド」の「VPC とサブネット」を参照してください。

重要

VPC AWS ParallelClusterを作成できるようにする場合は、すべてのノードをパブリックサブネットに配置するかどうかを決定してください。

注記

1. Head node in a public subnet and compute fleet in a private subnet を選択すると、AWS ParallelClusterは NAT ゲートウェイを作成するため、無料利用枠のリソースを指定しても追加コストが発生します。


Automate VPC creation? (y/n) [n]: y
Allowed values for Availability Zone:
1. us-east-1a
2. us-east-1b
3. us-east-1c
4. us-east-1d
5. us-east-1e
6. us-east-1f
Availability Zone [us-east-1a]:
Allowed values for Network Configuration:
1. Head node in a public subnet and compute fleet in a private subnet
2. Head node and compute fleet in the same public subnet
Network Configuration [Head node in a public subnet and compute fleet in a private subnet]: *1*
Beginning VPC creation. Please do not leave the terminal until the creation is finalized

新しい VPC を作成しない場合、既存の VPC を選択する必要があります。

で VPC AWS ParallelClusterを作成する場合は、VPC ID を書き留めて、AWS CLIまたはを使用して後でAWS マネジメントコンソール削除できるようにします。


Automate VPC creation? (y/n) [n]: n
Allowed values for VPC ID:
  #  id                     name                                 number_of_subnets
---  ---------------------  ---------------------------------  -------------------
  1  vpc-0b4ad9c4678d3c7ad  ParallelClusterVPC-20200118031893                    2
  2  vpc-0e87c753286f37eef  ParallelClusterVPC-20191118233938                    5
VPC ID [vpc-0b4ad9c4678d3c7ad]: 1

VPC を選択したら、既存のサブネットを使用するか、新しいサブネットを作成するかを決定する必要があります。


Automate Subnet creation? (y/n) [y]: y


Creating CloudFormation stack...
Do not leave the terminal until the process has finished

前述の手順が完了すると、VPC にシンプルなクラスターが起動します。VPC では、パブリック IP アドレスをサポートする既存のサブネットを使用しています。サブネットのルートテーブルは、0.0.0.0/0 => igw-xxxxxx です。以下の条件をご確認ください。

VPC には DNS Resolution = yes と DNS Hostnames = yes が必要です。
VPC は、AWS リージョンに対して正しい domain-name がある DHCP オプションも必要です。デフォルトの DHCP オプションセットでは、必要な AmazonProvidedDNS がすでに指定されています。複数のドメインネームサーバーを指定する場合は、「Amazon VPC User Guide」(Amazon VPC ユーザーガイド) の「DHCP options sets」(DHCP オプションセット) を参照してください。プライベートサブネットを使用する場合は、NAT ゲートウェイまたは内部プロキシを使用して、コンピューティングノードへのウェブアクセスを有効にします。詳細については、「ネットワークの設定」を参照してください。

すべての設定に有効な値が入力されたら、create コマンドを実行して、クラスターを起動することができます。


$ pcluster create-cluster --cluster-name test-cluster --cluster-configuration cluster-config.yaml
{
  "cluster": {
    "clusterName": "test-cluster",
    "cloudformationStackStatus": "CREATE_IN_PROGRESS",
    "cloudformationStackArn": "arn:aws:cloudformation:eu-west-1:xxx:stack/test-cluster/abcdef0-f678-890a-5abc-021345abcdef",
    "region": "eu-west-1",
    "version": "3.14.0",
    "clusterStatus": "CREATE_IN_PROGRESS"
  },
  "validationMessages": []
}

クラスターの進行状況に従います。


$ pcluster describe-cluster --cluster-name test-cluster

または


$ pcluster list-clusters --query 'clusters[?clusterName==`test-cluster`]'

クラスターが "clusterStatus": "CREATE_COMPLETE" ステータスになったら、通常の SSH クライアント設定を使用して接続できます。Amazon EC2 インスタンスへの接続の詳細については、「Amazon EC2 ユーザーガイド」の「Amazon EC2 の使用を開始する」を参照してください。または、次のようにクラスターに接続することもできます。


$ pcluster ssh --cluster-name test-cluster -i ~/path/to/keyfile.pem

次のコマンドを実行して、クラスターを削除します。


$ pcluster delete-cluster --region us-east-1 --cluster-name test-cluster

クラスターを削除した後、CloudFormation ネットワークスタックを削除することで、VPC 内のネットワークリソースを削除できます。スタックの名前は「parallelclusternetworking-」で始まり、「YYYYMMDDHHMMSS」のフォーマットで作成時刻が含まれます。list-stacks コマンドでスタックを一覧表示できます。


$ aws --region us-east-1 cloudformation list-stacks \
   --stack-status-filter "CREATE_COMPLETE" \
   --query "StackSummaries[].StackName" | \
   grep -e "parallelclusternetworking-"
   "parallelclusternetworking-pubpriv-20191029205804"

スタックは、delete-stack コマンドで削除することができます。


$ aws --region us-east-1 cloudformation delete-stack \
   --stack-name parallelclusternetworking-pubpriv-20191029205804

pcluster configure が作成する VPC は、CloudFormation ネットワークスタックでは作成されません。この VPC は、コンソールで手動で削除することも、AWS CLIを使用して削除することもできます。


$ aws --region us-east-1 Amazon EC2 delete-vpc --vpc-id vpc-0b4ad9c4678d3c7ad

ブラウザで JavaScript が無効になっているか、使用できません。

AWS ドキュメントを使用するには、JavaScript を有効にする必要があります。手順については、使用するブラウザのヘルプページを参照してください。

ドキュメントの表記規則

開始方法

UI AWS ParallelCluster を使用してクラスターを設定および作成する