在 Amazon EMR 中設定叢集啟動的佈建逾時 - Amazon EMR

本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。

在 Amazon EMR 中設定叢集啟動的佈建逾時

可定義逾時期間,以便為叢集中的每個機群佈建 Spot 執行個體。如果 Amazon EMR 無法佈建 Spot 容量,您可以選擇終止叢集或改為佈建隨需容量。如果逾時期間在叢集調整大小過程中結束,Amazon EMR 會取消未佈建的 Spot 請求。未佈建的 Spot 執行個體不會傳輸到隨需容量。

執行下列步驟,使用 Amazon EMR 主控台自訂叢集啟動的佈建逾時期間。

Console
使用主控台建立叢集時設定佈建逾時
  1. 登入 AWS Management Console,並在 https://https://console.aws.amazon.com/emr 開啟 Amazon EMR 主控台。

  2. 在左側導覽窗格中的 EMR on EC2 下方,選擇叢集,然後選擇建立叢集

  3. 建立叢集頁面上,瀏覽至叢集組態,然後選取執行個體機群

  4. 叢集擴展和佈建選項下,指定核心機群和任務機群的 Spot 大小。

  5. Spot 逾時組態下,選取在 Spot 逾時後終止叢集在 Spot 逾時後切換為隨選。然後,指定佈建 Spot 執行個體的逾時期間。預設值為 1 小時。

  6. 選擇適用於您的叢集的任何其他選項。

  7. 若要以設定的逾時啟動叢集,請選擇建立叢集

AWS CLI

使用 create-cluster 命令指定佈建逾時

aws emr create-cluster \ --release-label emr-5.35.0 \ --service-role EMR_DefaultRole \ --ec2-attributes '{"InstanceProfile":"EMR_EC2_DefaultRole","SubnetIds":["subnet-XXXXX"]}' \ --instance-fleets '[{"InstanceFleetType":"MASTER","TargetOnDemandCapacity":1,"TargetSpotCapacity":0,"LaunchSpecifications":{"OnDemandSpecification":{"AllocationStrategy":"lowest-price"}},"InstanceTypeConfigs":[{"WeightedCapacity":1,"EbsConfiguration":{"EbsBlockDeviceConfigs":[{"VolumeSpecification":{"SizeInGB":32,"VolumeType":"gp2"},"VolumesPerInstance":2}]},"BidPriceAsPercentageOfOnDemandPrice":100,"InstanceType":"m5.xlarge"}],"Name":"Master - 1"},{"InstanceFleetType":"CORE","TargetOnDemandCapacity":1,"TargetSpotCapacity":1,"LaunchSpecifications":{"SpotSpecification":{"TimeoutDurationMinutes":120,"TimeoutAction":"SWITCH_TO_ON_DEMAND"},"OnDemandSpecification":{"AllocationStrategy":"lowest-price"}},"InstanceTypeConfigs":[{"WeightedCapacity":1,"EbsConfiguration":{"EbsBlockDeviceConfigs":[{"VolumeSpecification":{"SizeInGB":32,"VolumeType":"gp2"},"VolumesPerInstance":2}]},"BidPriceAsPercentageOfOnDemandPrice":1,"InstanceType":"m5.xlarge"}],"Name":"Core - 2"}]'