本文為英文版的機器翻譯版本，如內容有任何歧義或不一致之處，概以英文版為準。

執行 EMR Serverless 任務時使用 Spark 組態

您可以在 type 參數設定為 的應用程式上執行 Spark 任務SPARK。任務必須與與 Amazon EMR 發行版本相容的 Spark 版本相容。例如，當您使用 Amazon EMR 6.6.0 版執行任務時，您的任務必須與 Apache Spark 3.2.0 相容。如需每個版本之應用程式版本的相關資訊，請參閱 Amazon EMR Serverless 發行版本。

Spark 任務參數

當您使用 StartJobRun API 執行 Spark 任務時，您可以指定下列參數。

Spark 任務執行期角色

使用 executionRoleArn為應用程式用來執行 Spark 任務的 IAM 角色指定 ARN。此角色必須包含下列許可：

如果您的 Spark 任務讀取資料或從其他資料來源寫入資料，請在此 IAM 角色中指定適當的許可。如果您未將這些許可提供給 IAM 角色，任務可能會失敗。如需詳細資訊，請參閱Amazon EMR Serverless 的任務執行期角色及儲存日誌。

Spark 任務驅動程式參數

使用 jobDriver為任務提供輸入。任務驅動程式參數只接受您要執行之任務類型的一個值。對於 Spark 任務，參數值為 sparkSubmit。您可以使用此任務類型，透過 Spark 提交執行 Scala、Java、PySparkSparkR 和任何其他支援的任務。Spark 任務具有下列參數：

如需其他資訊，請參閱透過 spark-submit 啟動應用程式。

Spark 組態覆寫參數

使用 configurationOverrides覆寫監控層級和應用程式層級組態屬性。此參數接受具有下列兩個欄位的 JSON 物件：

如果您在應用程式覆寫和 Spark 提交參數中使用相同的組態，Spark 提交參數會優先。組態的優先順序如下，從最高到最低：

如需在應用程式層級宣告組態，以及在任務執行期間覆寫組態的詳細資訊，請參閱 EMR Serverless 的預設應用程式組態。

Spark 動態資源配置最佳化

使用 dynamicAllocationOptimization 最佳化 EMR Serverless 中的資源用量。在 Spark 組態分類true中將此屬性設定為 表示 為 EMR Serverless，以最佳化執行器資源配置，讓 Spark 請求和取消執行器的速率與 EMR Serverless 建立和釋放工作者的速率更一致。如此一來，EMR Serverless 就能在各個階段以最佳方式重複使用工作者，進而在執行具有多個階段的任務時降低成本，同時維持相同的效能。

此屬性適用於所有 Amazon EMR 發行版本。

以下是 的範例組態分類dynamicAllocationOptimization。

[
  {
    "Classification": "spark",
    "Properties": {
      "dynamicAllocationOptimization": "true"
    }
  }
]

如果您使用的是動態配置最佳化，請考慮下列事項：

Spark 任務屬性

下表列出選用的 Spark 屬性及其預設值，您可以在提交 Spark 任務時覆寫這些屬性。

下表列出預設 Spark 提交參數。

資源組態最佳實務

透過 StartJobRun API 設定驅動程式和執行器資源

以此方式設定您的資源，可確保 EMR Serverless 可以在執行任務之前配置正確的資源。這與使用者指令碼中提供的設定相反，例如 .py 或 .jar 檔案中的評估太晚，因為驅動程式和執行器工作者有時會在指令碼執行開始之前預先佈建。在任務提交期間，有兩種支援的方法來設定這些資源：

選項 1：使用 sparkSubmitParameters

"jobDriver": {
 "sparkSubmit": {
    "entryPoint": "s3://your-script-path.py",
    "sparkSubmitParameters": "—conf spark.driver.memory=4g \
    —conf spark.driver.cores=2 \
    —conf spark.executor.memory=8g \
    —conf spark.executor.cores=4"
  }
 }

選項 2：使用 configurationOverrides 進行 spark-defaults 分類

"configurationOverrides": {
 "applicationConfiguration": [
 {
 "classification": "spark-defaults",
 "properties": {
     "spark.driver.memory": "4g",
     "spark.driver.cores": "2",
     "spark.executor.memory": "8g",
     "spark.executor.cores": "4"
      }
    }
  ]
 }

Spark 範例

下列範例示範如何使用 StartJobRun API 來執行 Python 指令碼。如需使用此範例的end-to-end教學課程，請參閱 Amazon EMR Serverless 入門。您可以在 EMR Serverless Samples GitHub 儲存庫中找到有關如何執行 PySpark 任務和新增 Python 相依性的其他範例。

aws emr-serverless start-job-run \
    --application-id application-id \
    --execution-role-arn job-role-arn \
    --job-driver '{
        "sparkSubmit": {
            "entryPoint": "s3://us-east-1.elasticmapreduce/emr-containers/samples/wordcount/scripts/wordcount.py",
            "entryPointArguments": ["s3://amzn-s3-demo-destination-bucket/wordcount_output"],
            "sparkSubmitParameters": "--conf spark.executor.cores=1 --conf spark.executor.memory=4g --conf spark.driver.cores=1 --conf spark.driver.memory=4g --conf spark.executor.instances=1"
        }
    }'

下列範例示範如何使用 StartJobRun API 來執行 Spark JAR。

aws emr-serverless start-job-run \
    --application-id application-id \
    --execution-role-arn job-role-arn \
    --job-driver '{
        "sparkSubmit": {
            "entryPoint": "/usr/lib/spark/examples/jars/spark-examples.jar",
            "entryPointArguments": ["1"],
            "sparkSubmitParameters": "--class org.apache.spark.examples.SparkPi --conf spark.executor.cores=4 --conf spark.executor.memory=20g --conf spark.driver.cores=4 --conf spark.driver.memory=8g --conf spark.executor.instances=1"
        }
    }'