Uso de la clasificación por defecto del contenedor Amazon EMR - Amazon EMR
Descripción generalEjemplos

Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.

Uso de la clasificación por defecto del contenedor Amazon EMR

Descripción general

Los siguientes ajustes están disponibles en la emr-containers-defaults clasificación:

job-start-timeout

De forma predeterminada, se agota el tiempo de espera de un trabajo si no se puede iniciar y permanece en ese SUBMITTED estado durante 15 minutos. Esta configuración cambia el número de segundos que hay que esperar hasta que se agote el tiempo de espera del trabajo.

logging.image

Establece una imagen personalizada que se utilizará en el contenedor de registro de los módulos del controlador y del ejecutor.

logging.request.cores

Establece un valor personalizado para el número CPUs, en unidades de CPU, del contenedor de registro de los módulos del controlador y del ejecutor. De forma predeterminada, esto no está establecido.

logging.request.memory

Establece un valor personalizado para la cantidad de memoria, en bytes, del contenedor de registro de los pods del controlador y del ejecutor. De forma predeterminada, está establecido en 512Mi. Un mebibyte es una unidad de medida similar a un megabyte.

Ejemplos de clasificación de remitentes de trabajos

StartJobRunsolicitud con tiempo de espera de trabajo personalizado

{
  "name": "spark-python", 
  "virtualClusterId": "virtual-cluster-id", 
  "executionRoleArn": "execution-role-arn", 
  "releaseLabel": "emr-6.11.0-latest", 
  "jobDriver": {
    "sparkSubmitJobDriver": {
      "entryPoint": "s3://S3-prefix/trip-count.py"
    }
  }, 
  "configurationOverrides": {
    "applicationConfiguration": [
      {
        "classification": "emr-containers-defaults", 
        "properties": {
            "job-start-timeout": "1800"
        }
      }
    ], 
    "monitoringConfiguration": {
      "cloudWatchMonitoringConfiguration": {
        "logGroupName": "/emr-containers/jobs", 
        "logStreamNamePrefix": "demo"
      }, 
      "s3MonitoringConfiguration": {
        "logUri": "s3://joblogs"
      }
    }
  }
}

StartJobRunsolicitud con imagen, CPU y memoria de contenedor de registro personalizados

{
  "name": "spark-python", 
  "virtualClusterId": "virtual-cluster-id", 
  "executionRoleArn": "execution-role-arn", 
  "releaseLabel": "emr-6.11.0-latest", 
  "jobDriver": {
    "sparkSubmitJobDriver": {
      "entryPoint": "s3://S3-prefix/trip-count.py"
    }
  }, 
  "configurationOverrides": {
    "applicationConfiguration": [
      {
        "classification": "emr-containers-defaults", 
        "properties": {
            "logging.image": "YOUR_ECR_IMAGE_URL",
            "logging.request.memory": "200Mi",
            "logging.request.cores": "0.5"
        }
      }
    ], 
    "monitoringConfiguration": {
      "cloudWatchMonitoringConfiguration": {
        "logGroupName": "/emr-containers/jobs", 
        "logStreamNamePrefix": "demo"
      }, 
      "s3MonitoringConfiguration": {
        "logUri": "s3://joblogs"
      }
    }
  }
}