View a markdown version of this page

Menyesuaikan volume perangkat root Amazon EBS - Amazon EMR

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Menyesuaikan volume perangkat root Amazon EBS

Anda dapat mengatur jenis volume dan atribut lainnya, tergantung pada kasus penggunaan dan persyaratan biaya Anda. Anda dapat menerima nilai default atau membuat penyesuaian.

Default volume root EBS

Dengan Amazon EMR 4.x dan yang lebih tinggi, Anda dapat menentukan ukuran volume root saat membuat cluster. Dengan rilis Amazon EMR 6.15.0 dan yang lebih tinggi, Anda juga dapat menentukan volume root IOPS dan throughput. Atribut hanya berlaku untuk volume perangkat root Amazon EBS, dan berlaku untuk semua instans di cluster. Atribut tidak berlaku untuk volume penyimpanan, yang Anda tentukan secara terpisah untuk setiap jenis instans saat Anda membuat cluster.

  • Ukuran volume root default adalah 15 GiB di Amazon EMR 6.10.0 dan lebih tinggi. Rilis sebelumnya memiliki ukuran volume root default 10 GiB. Anda dapat menyesuaikan ini hingga 100 GiB.

  • Volume root default IOPS adalah 3000. Anda dapat menyesuaikan ini hingga 16000.

  • Throughput volume root default adalah 125MiB/s. Anda dapat menyesuaikan ini hingga 1000Mib/s.

catatan

Ukuran volume root dan IOPS tidak dapat memiliki rasio lebih tinggi dari 1 volume hingga 500 IOPS (1:500), sedangkan volume root IOPS dan throughput tidak dapat memiliki rasio yang lebih tinggi dari 1 IOPS ke 0.25 throughput (1:0.25).

Untuk informasi selengkapnya tentang Amazon EBS, lihat Volume perangkat asal Amazon EC2.

Jenis volume perangkat root dengan AMI default

Saat Anda menggunakan AMI default, jenis volume perangkat root ditentukan oleh rilis Amazon EMR yang Anda gunakan.

  • Dengan Amazon EMR rilis 6.15.0 dan lebih tinggi, Amazon EMR melampirkan General Purpose SSD (gp3) sebagai tipe volume perangkat root.

  • Dengan rilis Amazon EMR yang lebih rendah dari 6.15.0, Amazon EMR memasang General Purpose SSD (gp2) sebagai tipe volume perangkat root.

Jenis volume perangkat root dengan AMI khusus

AMI khusus mungkin memiliki jenis volume perangkat root yang berbeda. Amazon EMR selalu menggunakan jenis volume AMI kustom Anda.

  • Dengan rilis Amazon EMR 6.15.0 dan yang lebih tinggi, Anda dapat mengonfigurasi ukuran volume root, IOPS, dan throughput untuk AMI kustom Anda, asalkan atribut ini berlaku untuk jenis volume AMI kustom.

  • Dengan rilis Amazon EMR lebih rendah dari 6.15.0, Anda hanya dapat mengonfigurasi ukuran volume root untuk AMI kustom Anda.

Jika Anda tidak mengonfigurasi ukuran volume root, IOPS, atau throughput saat membuat cluster, Amazon EMR menggunakan nilai dari AMI kustom jika berlaku. Jika Anda memutuskan untuk mengonfigurasi nilai-nilai ini saat membuat cluster, Amazon EMR menggunakan nilai yang Anda tentukan selama nilainya kompatibel dengan dan didukung oleh volume root AMI kustom. Untuk informasi selengkapnya, lihat Menggunakan AMI khusus untuk memberikan lebih banyak fleksibilitas untuk konfigurasi cluster Amazon EMR.

Harga ukuran volume perangkat root

Biaya volume perangkat root EBS dinilai per jam, berdasarkan biaya EBS bulanan untuk jenis volume tersebut di Wilayah tempat cluster berjalan. Hal yang sama berlaku untuk volume penyimpanan. Biaya dalam GB, tetapi Anda menentukan ukuran volume root dalam GiB, jadi Anda mungkin ingin mempertimbangkan ini dalam perkiraan Anda (1 GB adalah 0,931323 GiB).

Tujuan Umum SSD gp2 dan gp3 ditagih secara berbeda. Untuk memperkirakan biaya yang terkait dengan volume perangkat root EBS di cluster Anda, gunakan rumus berikut:

Tujuan Umum SSD gp2

Biaya untuk gp2 hanya mencakup ukuran volume EBS dalam GB.

($EBS size in GB/month) * 0.931323 / 30 / 24 * EMR_EBSRootVolumesizeInGiB * InstanceCount

Misalnya, ambil cluster yang memiliki node utama, node inti, dan menggunakan AMI dasar Amazon Linux, dengan volume perangkat root 10 GiB default. Jika biaya EBS di Wilayah adalah USD $0. 10/GB/bulan, itu kira-kira $0,00129 per instance per jam, dan $0,00258 per jam untuk cluster ($0. 10/GB/bulan dibagi 30 hari, dibagi 24 jam, dikalikan dengan 10 GB, dikalikan dengan 2 instance cluster).

Tujuan Umum SSD gp3

Biaya untuk gp3 termasuk ukuran volume EBS dalam GB, IOPS di atas 3000 (3000 IOPS gratis), dan throughput di atas 125 MB/s (125 gratis). MB/s

($EBS size in GB/month) * 0.931323 / 30 / 24 * EMR_EBSRootVolumesizeInGiB * InstanceCount + ($EBS IOPS/Month)/30/24* (EMR_EBSRootVolumeIops - 3000) * InstanceCount + ($EBS throughput/Month)/30/24* (EMR_EBSRootVolumeThroughputInMb/s - 125) * InstanceCount

Misalnya, ambil cluster yang memiliki node utama, node inti, dan menggunakan AMI dasar Amazon Linux, dengan volume perangkat root 15 GiB default Ukuran, 4000 IOPS, dan 140 throughput. Jika biaya EBS di Wilayah adalah USD $0. 10/GB/bulan, $0. 005/provisioned IOPS/month lebih dari 3000, dan $0. 040/provisioned MB/s/month lebih dari 125. Itu berarti sekitar $0,009293 per instance per jam, dan $0,018586 per jam untuk cluster.

Menentukan pengaturan volume perangkat root khusus

catatan

Ukuran volume root dan IOPS tidak dapat memiliki rasio lebih tinggi dari 1 volume hingga 500 IOPS (1:500), sedangkan volume root IOPS dan throughput tidak dapat memiliki rasio yang lebih tinggi dari 1 IOPS ke 0.25 throughput (1:0.25).

Console
Untuk menentukan atribut volume perangkat root Amazon EBS dari konsol Amazon EMR
  1. Masuk ke Konsol Manajemen AWS, dan buka konsol Amazon EMR di https://console.aws.amazon.com/emr.

  2. Di bawah EMR di EC2 di panel navigasi kiri, pilih Clu ster, lalu pilih Buat cluster.

  3. Pilih Amazon EMR rilis 6.15.0 atau lebih tinggi.

  4. Di bawah Konfigurasi klaster, navigasikan ke bagian volume root EBS dan masukkan nilai untuk salah satu atribut yang ingin Anda konfigurasi.

  5. Pilih opsi lain yang berlaku untuk cluster Anda.

  6. Untuk meluncurkan cluster Anda, pilih Buat cluster.

CLI
Untuk menentukan atribut volume perangkat root Amazon EBS dengan AWS CLI
  • Gunakan --ebs-root-volume-throughput parameter--ebs-root-volume-size,--ebs-root-volume-iops, dan dari perintah create-cluster, seperti yang ditunjukkan pada contoh berikut.

    catatan

    Karakter lanjutan baris Linux (\) disertakan agar mudah dibaca Karakter ini bisa dihapus atau digunakan dalam perintah Linux. Untuk Windows, hapus atau ganti dengan tanda sisipan (^).

    aws emr create-cluster --release-label emr-6.15.0\ --ebs-root-volume-size 20 \ --ebs-root-volume-iops 3000\ --ebs-root-volume-throughput 135\ --instance-groups InstanceGroupType=MASTER,\ InstanceCount=1,InstanceType=m5.xlarge InstanceGroupType=CORE,InstanceCount=2,InstanceType=m5.xlarge