Usando a classificação padrão do contêiner Amazon EMR - Amazon EMR
Visão geralExemplos

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Usando a classificação padrão do contêiner Amazon EMR

Visão geral

As seguintes configurações estão disponíveis na emr-containers-defaults classificação:

job-start-timeout

Por padrão, um trabalho atingirá o tempo limite se não puder ser iniciado e esperar no SUBMITTED estado por 15 minutos. Essa configuração altera o número de segundos de espera antes que o trabalho expire.

logging.image

Define uma imagem personalizada a ser usada para o contêiner de registro nos pods do driver e do executor.

logging.request.cores

Define um valor personalizado para o número CPUs, em unidades de CPU, do contêiner de registro nos pods do driver e do executor. Por padrão, isso não está definido.

logging.request.memory

Define um valor personalizado para a quantidade de memória, em bytes, para o contêiner de registro nos pods do driver e do executor. Por padrão, isso é definido como 512Mi. Um mebibyte é uma unidade de medida semelhante a um megabyte.

Exemplos de classificação de envio de trabalho

StartJobRunsolicitação com tempo limite de trabalho personalizado

{
  "name": "spark-python", 
  "virtualClusterId": "virtual-cluster-id", 
  "executionRoleArn": "execution-role-arn", 
  "releaseLabel": "emr-6.11.0-latest", 
  "jobDriver": {
    "sparkSubmitJobDriver": {
      "entryPoint": "s3://S3-prefix/trip-count.py"
    }
  }, 
  "configurationOverrides": {
    "applicationConfiguration": [
      {
        "classification": "emr-containers-defaults", 
        "properties": {
            "job-start-timeout": "1800"
        }
      }
    ], 
    "monitoringConfiguration": {
      "cloudWatchMonitoringConfiguration": {
        "logGroupName": "/emr-containers/jobs", 
        "logStreamNamePrefix": "demo"
      }, 
      "s3MonitoringConfiguration": {
        "logUri": "s3://joblogs"
      }
    }
  }
}

StartJobRunsolicitação com imagem de contêiner de registro personalizada, CPU e memória

{
  "name": "spark-python", 
  "virtualClusterId": "virtual-cluster-id", 
  "executionRoleArn": "execution-role-arn", 
  "releaseLabel": "emr-6.11.0-latest", 
  "jobDriver": {
    "sparkSubmitJobDriver": {
      "entryPoint": "s3://S3-prefix/trip-count.py"
    }
  }, 
  "configurationOverrides": {
    "applicationConfiguration": [
      {
        "classification": "emr-containers-defaults", 
        "properties": {
            "logging.image": "YOUR_ECR_IMAGE_URL",
            "logging.request.memory": "200Mi",
            "logging.request.cores": "0.5"
        }
      }
    ], 
    "monitoringConfiguration": {
      "cloudWatchMonitoringConfiguration": {
        "logGroupName": "/emr-containers/jobs", 
        "logStreamNamePrefix": "demo"
      }, 
      "s3MonitoringConfiguration": {
        "logUri": "s3://joblogs"
      }
    }
  }
}