Lakukan konfigurasi ulang pada grup instans di klaster yang sedang berjalan

Dengan Amazon EMR versi 5.21.0 dan terbaru, Anda dapat melakukan konfigurasi ulang pada aplikasi klaster dan menentukan klasifikasi konfigurasi tambahan untuk masing-masing grup instans pada klaster yang sedang berjalan. Untuk melakukannya, Anda dapat menggunakan konsol Amazon EMR, AWS Command Line Interface (AWS CLI), atau SDK AWS .

Ketika Anda memperbarui konfigurasi aplikasi untuk grup instans di konsol Amazon EMR, konsol akan mencoba menggabungkan konfigurasi baru dengan konfigurasi yang ada untuk membuat konfigurasi aktif yang baru. Dalam kasus yang tidak biasa di mana Amazon EMR tidak dapat menggabungkan konfigurasi, konsol memberi tahu Anda.

Setelah Anda mengirimkan permintaan konfigurasi ulang untuk grup instans, Amazon EMR menetapkan nomor versi untuk spesifikasi konfigurasi baru. Anda dapat melacak nomor versi konfigurasi, atau status grup instans, dengan melihat CloudWatch event. Untuk informasi selengkapnya, lihat Monitor CloudWatch Events.

Pertimbangan saat Anda melakukan konfigurasi ulang grup instans

Batasan

Ketika Anda melakukan konfigurasi ulang pada grup instans di klaster yang sedang berjalan, pertimbangkan keterbatasan-keterbatasan berikut:

Lakukan konfigurasi ulang pada grup instans di konsol tersebut

Lakukan konfigurasi ulang grup instans menggunakan CLI

Gunakan perintah modify-instance-groups untuk menentukan konfigurasi baru untuk grup instans di klaster yang sedang berjalan.

[
   {
      "InstanceGroupId":"<ig-1xxxxxxx9>",
      "Configurations":[
         {
            "Classification":"yarn-site",
            "Properties":{
               "yarn.nodemanager.vmem-check-enabled":"true",
               "yarn.nodemanager.vmem-pmem-ratio":"3.0"
            },
            "Configurations":[]
         }
      ]
   }
]
					

[
   {
      "InstanceGroupId":"<ig-1xxxxxxx9>",
      "Configurations":[]
   }
]

[
   {
      "InstanceGroupId":"<ig-1xxxxxxx9>",
      "InstanceCount":5,
      "EC2InstanceIdsToTerminate":["i-123"],
      "ForceShutdown":true,
      "ShrinkPolicy":{
         "DecommissionTimeout":10,
         "InstanceResizePolicy":{
            "InstancesToTerminate":["i-123"],
            "InstancesToProtect":["i-345"],
            "InstanceTerminationTimeout":20
         }
      },
      "Configurations":[
         {
            "Classification":"yarn-site",
            "Configurations":[],
            "Properties":{
               "yarn.nodemanager.disk-health-checker.enable":"true",
               "yarn.nodemanager.disk-health-checker.max-disk-utilization-per-disk-percentage":"100.0"
            }
         }
      ]
   }
]

Lakukan konfigurasi ulang grup instans menggunakan Java SDK

Potongan kode berikut menyediakan konfigurasi baru untuk grup instans menggunakan AWS SDK untuk Java.

AWSCredentials credentials = new BasicAWSCredentials("access-key", "secret-key");
AmazonElasticMapReduce emr = new AmazonElasticMapReduceClient(credentials);

Map<String,String> hiveProperties = new HashMap<String,String>();
hiveProperties.put("hive.join.emit.interval","1000");
hiveProperties.put("hive.merge.mapfiles","true");
        
Configuration configuration = new Configuration()
    .withClassification("hive-site")
    .withProperties(hiveProperties);
    
InstanceGroupModifyConfig igConfig = new InstanceGroupModifyConfig()
    .withInstanceGroupId("<ig-1xxxxxxx9>")
    .withReconfigurationType("MERGE");
    .withConfigurations(configuration);

ModifyInstanceGroupsRequest migRequest = new ModifyInstanceGroupsRequest()
    .withClusterId("<j-2AL4XXXXXX5T9>")
    .withInstanceGroups(igConfig);

emr.modifyInstanceGroups(migRequest);   			

Potongan kode berikut menghapus konfigurasi yang telah ditentukan sebelumnya untuk grup instans dengan menyediakan array kosong konfigurasi.

List<Configuration> configurations = new ArrayList<Configuration>();

InstanceGroupModifyConfig igConfig = new InstanceGroupModifyConfig()
    .withInstanceGroupId("<ig-1xxxxxxx9>")
    .withConfigurations(configurations);

ModifyInstanceGroupsRequest migRequest = new ModifyInstanceGroupsRequest()
    .withClusterId("<j-2AL4XXXXXX5T9>")
    .withInstanceGroups(igConfig);

emr.modifyInstanceGroups(migRequest);

Pecahkan masalah konfigurasi ulang grup instans

Jika proses konfigurasi ulang untuk grup instans gagal, Amazon EMR mengembalikan konfigurasi ulang dan membuat log pesan kegagalan menggunakan Amazon Events. CloudWatch Peristiwa ini menyediakan ringkasan singkat dari kegagalan konfigurasi ulang. Ia mendaftar instans yang konfigurasi ulangnya gagal dan pesan kegagalan yang sesuai. Berikut ini adalah contoh pesan kegagalan.

The reconfiguration operation for instance group ig-1xxxxxxx9 in Amazon EMR cluster j-2AL4XXXXXX5T9 (ExampleClusterName) 
failed at 2021-01-01 00:00 UTC and took 2 minutes to fail. Failed configuration version is example12345. 
Failure message: Instance i-xxxxxxx1, i-xxxxxxx2, i-xxxxxxx3 failed with message "This is an example failure message".

Untuk mengumpulkan lebih banyak data tentang kegagalan konfigurasi ulang, Anda dapat memeriksa simpul yang menyediakan log. Dengan melakukan hal ini akan sangat berguna saat Anda menerima pesan seperti berikut.

i-xxxxxxx1 failed with message “Unable to complete transaction and some changes were applied.”

Setiap file berkas log berisi rincian laporan penyediaan rinci untuk konfigurasi ulang terkait. Untuk menemukan informasi pesan kesalahan, Anda dapat mencari tingkat log err laporan. Format laporan tergantung pada versi Amazon EMR pada klaster Anda.

Contoh berikut menunjukkan informasi kesalahan untuk Amazon EMR versi rilis lebih awal dari 5.32.0 dan 6.2.0.

- !ruby/object:Puppet::Util::Log
      level: !ruby/sym err
      tags: 
        - err
      message: "Example detailed error message."
      source: Puppet
      time: 2021-01-01 00:00:00.000000 +00:00

Amazon EMR versi rilis 5.32.0 dan 6.2.0 dan setelahnya menggunakan format berikut sebagai gantinya.

- level: err
  message: 'Example detailed error message.'
  source: Puppet
  tags:
  - err
  time: '2021-01-01 00:00:00.000000 +00:00'
  file: 
  line: