Amazon EMR コンテナのデフォルト分類の使用 - Amazon EMR
概要例

翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

Amazon EMR コンテナのデフォルト分類の使用

概要

emr-containers-defaults 分類では、次の設定を使用できます。

job-start-timeout

デフォルトでは、ジョブが開始できず、 SUBMITTED状態で 15 分間待機すると、ジョブはタイムアウトします。この設定では、ジョブがタイムアウトするまで待機する秒数を変更します。

logging.image

ドライバーポッドとエグゼキュターポッドのログ記録コンテナに使用するカスタムイメージを設定します。

logging.request.cores

ドライバーポッドとエグゼキュターポッドのログ記録コンテナの CPUs 数のカスタム値を CPU 単位で設定します。デフォルトでは、これは設定されていません。

logging.request.memory

ドライバーポッドとエグゼキュターポッドのログ記録コンテナのメモリ量のカスタム値をバイト単位で設定します。デフォルトでは、これは 512Mi に設定されます。メビバイトは、メガバイトに似た測定単位です。

ジョブ送信者の分類例

StartJobRun カスタムジョブタイムアウトによる リクエスト

{
  "name": "spark-python", 
  "virtualClusterId": "virtual-cluster-id", 
  "executionRoleArn": "execution-role-arn", 
  "releaseLabel": "emr-6.11.0-latest", 
  "jobDriver": {
    "sparkSubmitJobDriver": {
      "entryPoint": "s3://S3-prefix/trip-count.py"
    }
  }, 
  "configurationOverrides": {
    "applicationConfiguration": [
      {
        "classification": "emr-containers-defaults", 
        "properties": {
            "job-start-timeout": "1800"
        }
      }
    ], 
    "monitoringConfiguration": {
      "cloudWatchMonitoringConfiguration": {
        "logGroupName": "/emr-containers/jobs", 
        "logStreamNamePrefix": "demo"
      }, 
      "s3MonitoringConfiguration": {
        "logUri": "s3://joblogs"
      }
    }
  }
}

StartJobRun カスタムログ記録コンテナイメージ、CPU、メモリを使用した リクエスト

{
  "name": "spark-python", 
  "virtualClusterId": "virtual-cluster-id", 
  "executionRoleArn": "execution-role-arn", 
  "releaseLabel": "emr-6.11.0-latest", 
  "jobDriver": {
    "sparkSubmitJobDriver": {
      "entryPoint": "s3://S3-prefix/trip-count.py"
    }
  }, 
  "configurationOverrides": {
    "applicationConfiguration": [
      {
        "classification": "emr-containers-defaults", 
        "properties": {
            "logging.image": "YOUR_ECR_IMAGE_URL",
            "logging.request.memory": "200Mi",
            "logging.request.cores": "0.5"
        }
      }
    ], 
    "monitoringConfiguration": {
      "cloudWatchMonitoringConfiguration": {
        "logGroupName": "/emr-containers/jobs", 
        "logStreamNamePrefix": "demo"
      }, 
      "s3MonitoringConfiguration": {
        "logUri": "s3://joblogs"
      }
    }
  }
}