Amazon EMR Serverless でのサーバーレスストレージの使用

EMR Serverless アプリケーションを作成する

spark-defaults 分類で spark プロパティspark.aws.serverlessStorage.enabledを true に設定して、サーバーレスストレージを有効にした EMR Serverless リリース 7.12 (またはそれ以降) アプリケーションを作成します。

aws emr-serverless create-application \
  --type "SPARK" \
  --name my-application \
  --release-label emr-7.12.0 \
  --runtime-configuration '[{
      "classification": "spark-defaults",
        "properties": {
          "spark.aws.serverlessStorage.enabled": "true"
        }
    }]' \
  --region <AWS_REGION>

Spark ジョブを開始する

アプリケーションでジョブ実行を開始します。EMR Serverless のサーバーレスストレージは、ジョブのシャッフルなどの中間データオペレーションを自動的に処理します。

aws emr-serverless start-job-run \
  --application-id <application-id> \
  --execution-role-arn <job-role-arn> \
  --job-driver '{
    "sparkSubmit": {
      "entryPoint": "s3://<bucket>/script.py",
      "sparkSubmitParameters": "--conf spark.executor.cores=4 
        --conf spark.executor.memory=20g 
        --conf spark.driver.cores=4 
        --conf spark.driver.memory=8g 
        --conf spark.executor.instances=10"
    }
  }'

アプリケーションレベルで有効になっていない場合でも、ジョブレベルで EMR Serverless のサーバーレスストレージを有効にすることもできます。これにより、サーバーレスストレージが有効になっているワーカーノードが起動され、ジョブが処理されます。同じ Spark プロパティを spark.aws.serverlessStorage.enabled false に設定することで、特定のジョブのサーバーレスストレージを無効にすることもできます。

# Turn on serverless storage for EMR serverless for a specific job
aws emr-serverless start-job-run \
    --application-id <application-id> \
    --execution-role-arn <job-role-arn> \
    --job-driver '{
"sparkSubmit": {
"entryPoint": "/usr/lib/spark/examples/jars/spark-examples.jar",
            "entryPointArguments": ["1"],
            "sparkSubmitParameters": "--class org.apache.spark.examples.SparkPi
            --conf spark.aws.serverlessStorage.enabled": "true"
        }
    }'