Menambahkan langkah-langkah ke cluster EMR Amazon dengan AWS CLI

Untuk menambahkan langkah-langkah selama pembuatan klaster

• Ketik perintah berikut untuk membuat klaster dan menambahkan langkah Apache Pig. Pastikan untuk mengganti myKey dengan nama EC2 key pair Amazon Anda.

  aws emr create-cluster --name "Test cluster" \
  --applications Name=Spark \
  --use-default-roles \
  --ec2-attributes KeyName=myKey \
  --instance-groups InstanceGroupType=PRIMARY,InstanceCount=1,InstanceType=m5.xlarge InstanceGroupType=CORE,InstanceCount=2,InstanceType=m5.xlarge \
  --steps '[{"Args":["spark-submit","--deploy-mode","cluster","--class","org.apache.spark.examples.SparkPi","/usr/lib/spark/examples/jars/spark-examples.jar","5"],"Type":"CUSTOM_JAR","ActionOnFailure":"CONTINUE","Jar":"command-runner.jar","Properties":"","Name":"Spark application"}]'

  catatan

  Daftar argumen berubah tergantung pada jenis langkah.

  Secara default, tingkat konkurensi langkah adalah 1. Anda dapat mengatur tingkat konkurensi langkah dengan StepConcurrencyLevel parameter saat Anda membuat cluster.

  Outputnya adalah pengidentifikasi klaster yang serupa dengan berikut ini.

  {
      "ClusterId": "j-2AXXXXXXGAPLF"
  }

Untuk menambahkan langkah ke klaster berjalan

• Ketik perintah berikut untuk menambahkan langkah ke klaster berjalan. Ganti j-2AXXXXXXGAPLF dengan ID cluster Anda sendiri.

  aws emr add-steps --cluster-id j-2AXXXXXXGAPLF \
  --steps '[{"Args":["spark-submit","--deploy-mode","cluster","--class","org.apache.spark.examples.SparkPi","/usr/lib/spark/examples/jars/spark-examples.jar","5"],"Type":"CUSTOM_JAR","ActionOnFailure":"CONTINUE","Jar":"command-runner.jar","Properties":"","Name":"Spark application"}]' 

  Outputnya adalah pengidentifikasi langkah yang serupa dengan berikut ini.

  {
      "StepIds": [
  	"s-Y9XXXXXXAPMD"
      ]
  }

Untuk memodifikasi StepConcurrencyLevel dalam cluster yang sedang berjalan

1. Di cluster yang sedang berjalan, Anda dapat memodifikasi StepConcurrencyLevel dengan ModifyCluster API. Misalnya, ketik perintah berikut untuk meningkatkan StepConcurrencyLevel ke10. Ganti j-2AXXXXXXGAPLF dengan ID cluster Anda.

   aws emr modify-cluster --cluster-id j-2AXXXXXXGAPLF --step-concurrency-level 10

2. Output Anda serupa dengan yang berikut ini.

   {
   "StepConcurrencyLevel": 10
   }