本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。
建立和使用任務範本來啟動任務執行
本節說明建立任務範本,並使用 範本以 AWS Command Line Interface () 開始任務執行AWS CLI。
建立作業範本
-
建立
create-job-template-request.json檔案並指定作業範本所需的參數,如下列範例 JSON 檔案所示。如需所有可用參數的資訊,請參閱 CreateJobTemplate API。StartJobRunAPI 所需的大多數值也是jobTemplateData所必需的。如果您想在使用作業範本調用 StartJobRun 時為任何參數使用預留位置並提供值,請參閱作業範本參數的下一節。{ "name": "mytemplate", "jobTemplateData": { "executionRoleArn": "iam_role_arn_for_job_execution", "releaseLabel": "emr-6.7.0-latest", "jobDriver": { "sparkSubmitJobDriver": { "entryPoint": "entryPoint_location", "entryPointArguments": [ "argument1","argument2",...], "sparkSubmitParameters": "--class <main_class> --conf spark.executor.instances=2 --conf spark.executor.memory=2G --conf spark.executor.cores=2 --conf spark.driver.cores=1" } }, "configurationOverrides": { "applicationConfiguration": [ { "classification": "spark-defaults", "properties": { "spark.driver.memory":"2G" } } ], "monitoringConfiguration": { "persistentAppUI": "ENABLED", "cloudWatchMonitoringConfiguration": { "logGroupName": "my_log_group", "logStreamNamePrefix": "log_stream_prefix" }, "s3MonitoringConfiguration": { "logUri": "s3://my_s3_log_location/" } } } } } -
搭配使用
create-job-template命令與儲存在本機的create-job-template-request.json檔案路徑。aws emr-containers create-job-template \ --cli-input-json file://./create-job-template-request.json
使用作業範本來啟動作業執行
在 StartJobRun 命令中提供虛擬叢集 ID、作業範本 ID 以及作業名稱,如以下範例所示。
aws emr-containers start-job-run \ --virtual-cluster-id123456\ --namemyjob\ --job-template-id1234abcd