Kustomisasi periode batas waktu penyediaan untuk mengubah ukuran cluster di Amazon EMR - Amazon EMR

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Kustomisasi periode batas waktu penyediaan untuk mengubah ukuran cluster di Amazon EMR

Anda dapat menentukan periode batas waktu untuk menyediakan Instans Spot untuk setiap armada di klaster Anda. Jika Amazon EMR tidak dapat menyediakan kapasitas Spot, Amazon akan membatalkan permintaan pengubahan ukuran dan menghentikan upayanya untuk menyediakan kapasitas Spot tambahan. Saat Anda membuat cluster, Anda dapat mengonfigurasi batas waktu. Untuk klaster yang sedang berjalan, Anda dapat menambahkan atau memperbarui batas waktu.

Ketika periode batas waktu berakhir, Amazon EMR secara otomatis mengirimkan acara ke aliran Acara Amazon. CloudWatch Dengan CloudWatch, Anda dapat membuat aturan yang cocok dengan peristiwa sesuai dengan pola yang ditentukan, dan kemudian merutekan peristiwa ke target untuk mengambil tindakan. Misalnya, Anda dapat mengonfigurasi aturan untuk mengirim pemberitahuan email. Untuk informasi selengkapnya tentang cara membuat aturan, lihatMembuat aturan untuk acara EMR Amazon dengan CloudWatch. Untuk informasi selengkapnya tentang detail acara yang berbeda, lihatAcara perubahan negara armada instance.

Contoh batas waktu penyediaan untuk pengubahan ukuran klaster

Tentukan batas waktu penyediaan untuk mengubah ukuran dengan AWS CLI

Contoh berikut menggunakan create-cluster perintah untuk menambahkan batas waktu penyediaan untuk mengubah ukuran.

aws emr create-cluster \ --release-label emr-5.35.0 \ --service-role EMR_DefaultRole \ --ec2-attributes '{"InstanceProfile":"EMR_EC2_DefaultRole","SubnetIds":["subnet-XXXXX"]}' \ --instance-fleets '[{"InstanceFleetType":"MASTER","TargetOnDemandCapacity":1,"TargetSpotCapacity":0,"InstanceTypeConfigs":[{"WeightedCapacity":1,"EbsConfiguration":{"EbsBlockDeviceConfigs":[{"VolumeSpecification":{"SizeInGB":32,"VolumeType":"gp2"},"VolumesPerInstance":2}]},"BidPriceAsPercentageOfOnDemandPrice":100,"InstanceType":"m5.xlarge"}],"Name":"Master - 1"},{"InstanceFleetType":"CORE","TargetOnDemandCapacity":1,"TargetSpotCapacity":1,"LaunchSpecifications":{"SpotSpecification":{"TimeoutDurationMinutes":120,"TimeoutAction":"SWITCH_TO_ON_DEMAND"},"OnDemandSpecification":{"AllocationStrategy":"lowest-price"}},"ResizeSpecifications":{"SpotResizeSpecification":{"TimeoutDurationMinutes":20},"OnDemandResizeSpecification":{"TimeoutDurationMinutes":25}},"InstanceTypeConfigs":[{"WeightedCapacity":1,"EbsConfiguration":{"EbsBlockDeviceConfigs":[{"VolumeSpecification":{"SizeInGB":32,"VolumeType":"gp2"},"VolumesPerInstance":2}]},"BidPriceAsPercentageOfOnDemandPrice":1,"InstanceType":"m5.xlarge"}],"Name":"Core - 2"}]'

Contoh berikut menggunakan modify-instance-fleet perintah untuk menambahkan batas waktu penyediaan untuk mengubah ukuran.

aws emr modify-instance-fleet \ --cluster-id j-XXXXXXXXXXXXX \ --instance-fleet '{"InstanceFleetId":"if-XXXXXXXXXXXX","ResizeSpecifications":{"SpotResizeSpecification":{"TimeoutDurationMinutes":30},"OnDemandResizeSpecification":{"TimeoutDurationMinutes":60}}}' \ --region us-east-1

Contoh berikut menggunakan add-instance-fleet-command untuk menambahkan batas waktu penyediaan untuk mengubah ukuran.

aws emr add-instance-fleet \ --cluster-id j-XXXXXXXXXXXXX \ --instance-fleet '{"InstanceFleetType":"TASK","TargetOnDemandCapacity":1,"TargetSpotCapacity":0,"InstanceTypeConfigs":[{"WeightedCapacity":1,"EbsConfiguration":{"EbsBlockDeviceConfigs":[{"VolumeSpecification":{"SizeInGB":32,"VolumeType":"gp2"},"VolumesPerInstance":2}]},"BidPriceAsPercentageOfOnDemandPrice":100,"InstanceType":"m5.xlarge"}],"Name":"TaskFleet","ResizeSpecifications":{"SpotResizeSpecification":{"TimeoutDurationMinutes":30},"OnDemandResizeSpecification":{"TimeoutDurationMinutes":35}}}' \ --region us-east-1

Tentukan batas waktu penyediaan untuk mengubah ukuran dan peluncuran dengan AWS CLI

Contoh berikut menggunakan create-cluster perintah untuk menambahkan batas waktu penyediaan untuk mengubah ukuran dan peluncuran.

aws emr create-cluster \ --release-label emr-5.35.0 \ --service-role EMR_DefaultRole \ --ec2-attributes '{"InstanceProfile":"EMR_EC2_DefaultRole","SubnetIds":["subnet-XXXXX"]}' \ --instance-fleets '[{"InstanceFleetType":"MASTER","TargetOnDemandCapacity":1,"TargetSpotCapacity":0,"LaunchSpecifications":{"OnDemandSpecification":{"AllocationStrategy":"lowest-price"}},"InstanceTypeConfigs":[{"WeightedCapacity":1,"EbsConfiguration":{"EbsBlockDeviceConfigs":[{"VolumeSpecification":{"SizeInGB":32,"VolumeType":"gp2"},"VolumesPerInstance":2}]},"BidPriceAsPercentageOfOnDemandPrice":100,"InstanceType":"m5.xlarge"}],"Name":"Master - 1"},{"InstanceFleetType":"CORE","TargetOnDemandCapacity":1,"TargetSpotCapacity":1,"LaunchSpecifications":{"SpotSpecification":{"TimeoutDurationMinutes":120,"TimeoutAction":"SWITCH_TO_ON_DEMAND"},"OnDemandSpecification":{"AllocationStrategy":"lowest-price"}},"ResizeSpecifications":{"SpotResizeSpecification":{"TimeoutDurationMinutes":20},"OnDemandResizeSpecification":{"TimeoutDurationMinutes":25}},"InstanceTypeConfigs":[{"WeightedCapacity":1,"EbsConfiguration":{"EbsBlockDeviceConfigs":[{"VolumeSpecification":{"SizeInGB":32,"VolumeType":"gp2"},"VolumesPerInstance":2}]},"BidPriceAsPercentageOfOnDemandPrice":1,"InstanceType":"m5.xlarge"}],"Name":"Core - 2"}]'

Pertimbangan untuk mengubah ukuran batas waktu penyediaan

Saat mengonfigurasi batas waktu penyediaan klaster untuk armada instans Anda, pertimbangkan perilaku berikut.

  • Anda dapat mengonfigurasi batas waktu penyediaan untuk Instans Spot dan Sesuai Permintaan. Batas waktu penyediaan minimum adalah 5 menit. Batas waktu penyediaan maksimum adalah 7 hari.

  • Anda hanya dapat mengonfigurasi batas waktu penyediaan untuk klaster EMR yang menggunakan armada instance. Anda harus mengkonfigurasi setiap inti dan armada tugas secara terpisah.

  • Saat membuat klaster, Anda dapat mengonfigurasi batas waktu penyediaan. Anda dapat menambahkan batas waktu atau memperbarui batas waktu yang ada untuk klaster yang sedang berjalan.

  • Jika Anda mengirimkan beberapa operasi pengubahan ukuran, Amazon EMR melacak batas waktu penyediaan untuk setiap operasi pengubahan ukuran. Misalnya, atur batas waktu penyediaan di cluster ke menit. 60 Kemudian, kirimkan operasi pengubahan ukuran R1 pada waktunyaT1. Kirim operasi pengubahan ukuran kedua R2 pada waktuT2. Batas waktu penyediaan untuk R1 berakhir pada. T1 + 60 minutes Batas waktu penyediaan untuk R2 berakhir pada. T2 + 60 minutes

  • Jika Anda mengirimkan operasi pengubahan ukuran skala baru sebelum batas waktu berakhir, Amazon EMR melanjutkan upayanya untuk menyediakan kapasitas untuk klaster EMR Anda.