Definizione di parametri di processo - Amazon EMR

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Definizione di parametri di processo

I parametri del modello di processo consentono di specificare variabili nel modello di processo. I valori per queste variabili di parametro dovranno essere specificati quando si avvia un’esecuzione di processo utilizzando quel modello di processo. I parametri del modello di processo sono specificati nel formato ${parameterName}. Puoi scegliere di specificare qualsiasi valore in un campo jobTemplateData come parametro del modello di processo. Per ciascuna delle variabili dei parametri del modello di processo, specifica il tipo di dati (STRING o NUMBER) e, facoltativamente, un valore predefinito. L'esempio seguente mostra come specificare i parametri del modello di processo per la posizione del punto di ingresso, la classe principale e i valori della posizione del log S3.

Per specificare la posizione del punto di ingresso, la classe principale e la posizione del log di Amazon S3 come parametri del modello di processo

  1. Crea un file create-job-template-request.json e specifica i parametri richiesti per l'esecuzione di modello, come illustrato nel file JSON di esempio seguente. Per ulteriori informazioni sui parametri, consulta l'API. CreateJobTemplate

    {
   "name": "mytemplate",
   "jobTemplateData": {
        "executionRoleArn": "iam_role_arn_for_job_execution", 
        "releaseLabel": "emr-6.7.0-latest",
        "jobDriver": {
            "sparkSubmitJobDriver": { 
                "entryPoint": "${EntryPointLocation}",
                "entryPointArguments": [ "argument1","argument2",...],
                "sparkSubmitParameters": "--class ${MainClass} --conf spark.executor.instances=2 --conf spark.executor.memory=2G --conf spark.executor.cores=2 --conf spark.driver.cores=1"
            }
        },
        "configurationOverrides": {
            "applicationConfiguration": [
                {
                    "classification": "spark-defaults", 
                    "properties": {
                         "spark.driver.memory":"2G"
                    }
                }
            ], 
            "monitoringConfiguration": {
                "persistentAppUI": "ENABLED", 
                "cloudWatchMonitoringConfiguration": {
                    "logGroupName": "my_log_group", 
                    "logStreamNamePrefix": "log_stream_prefix"
                }, 
                "s3MonitoringConfiguration": {
                    "logUri": "${LogS3BucketUri}"
                }
            }
        },
        "parameterConfiguration": {
            "EntryPointLocation": {
                "type": "STRING"
            },
            "MainClass": {
                "type": "STRING",
                "defaultValue":"Main"
            },
            "LogS3BucketUri": {
                "type": "STRING",
                "defaultValue":"s3://my_s3_log_location/"
            }
        }
    }
}

  2. Utilizza il comando create-job-template con un percorso per il file create-job-template-request.json archiviato localmente o in Amazon S3.

    aws emr-containers create-job-template \ 
--cli-input-json file://./create-job-template-request.json

Per avviare un'esecuzione di processo utilizzando un modello di processo con parametri di processo

Per avviare un processo eseguito con un modello di processo contenente i parametri del modello di processo, specifica l'id del modello di processo e i valori per i parametri del modello di processo nella richiesta API StartJobRun, come mostrato di seguito.

aws emr-containers start-job-run \
--virtual-cluster-id 123456 \
--name myjob \
--job-template-id 1234abcd \
--job-template-parameters '{"EntryPointLocation": "entry_point_location","MainClass": "ExampleMainClass","LogS3BucketUri": "s3://example_s3_bucket/"}'