Eine Auftragsvorlage erstellen und verwenden, um eine Auftragsausführung zu starten - Amazon EMR

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Eine Auftragsvorlage erstellen und verwenden, um eine Auftragsausführung zu starten

In diesem Abschnitt wird beschrieben, wie Sie eine Jobvorlage erstellen und die Vorlage verwenden, um eine Jobausführung mit dem AWS Command Line Interface (AWS CLI) zu starten.

So erstellen Sie eine neue Aufgabenvorlage

  1. Erstellen Sie eine create-job-template-request.json-Datei und geben Sie die erforderlichen Parameter für Ihre Aufgabenvorlage an, wie in der folgenden JSON-Beispieldatei gezeigt. Informationen zu allen verfügbaren Parametern finden Sie in der CreateJobTemplateAPI.

    Die meisten Werte, die für die StartJobRun-API erforderlich sind, sind auch für jobTemplateData erforderlich. Wenn Sie Platzhalter für Parameter verwenden und Werte angeben möchten, wenn Sie StartJobRun mit einer Jobvorlage aufrufen, lesen Sie bitte den nächsten Abschnitt über Jobvorlagenparameter.

    {
   "name": "mytemplate",
   "jobTemplateData": {
        "executionRoleArn": "iam_role_arn_for_job_execution", 
        "releaseLabel": "emr-6.7.0-latest",
        "jobDriver": {
            "sparkSubmitJobDriver": { 
                "entryPoint": "entryPoint_location",
                "entryPointArguments": [ "argument1","argument2",...],
                "sparkSubmitParameters": "--class <main_class> --conf spark.executor.instances=2 --conf spark.executor.memory=2G --conf spark.executor.cores=2 --conf spark.driver.cores=1"
            }
        },
        "configurationOverrides": {
            "applicationConfiguration": [
                {
                    "classification": "spark-defaults", 
                    "properties": {
                         "spark.driver.memory":"2G"
                    }
                }
            ], 
            "monitoringConfiguration": {
                "persistentAppUI": "ENABLED", 
                "cloudWatchMonitoringConfiguration": {
                    "logGroupName": "my_log_group", 
                    "logStreamNamePrefix": "log_stream_prefix"
                }, 
                "s3MonitoringConfiguration": {
                    "logUri": "s3://my_s3_log_location/"
                }
            }
        }
     }
}

  2. Verwenden Sie den create-job-template-Befehl mit einem Pfad zu der lokal gespeicherten create-job-template-request.json-Datei.

    aws emr-containers create-job-template \ 
--cli-input-json file://./create-job-template-request.json

So starten Sie eine Auftragsausführung mit einer Auftragsvorlage

Geben Sie die virtuelle Cluster-ID, die Aufgabenvorlagen-ID und den Aufgabennamen im StartJobRun-Befehl an, wie im folgenden Beispiel veranschaulicht.

aws emr-containers start-job-run \
--virtual-cluster-id 123456 \
--name myjob \
--job-template-id 1234abcd