翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

EMR Serverless ジョブ実行時の Spark 設定の使用

type パラメータを SPARK に設定して、アプリケーションで Spark ジョブを実行できます。ジョブは、Amazon EMR リリースバージョンと互換性のある Spark バージョンと互換性がある必要があります。例えば、Amazon EMR リリース 6.6.0 でジョブを実行する場合、ジョブは Apache Spark 3.2.0 と互換性がある必要があります。各リリースのアプリケーションバージョンについては、「」を参照してくださいAmazon EMR Serverless のリリースバージョン。

Spark ジョブのパラメータ

StartJobRun API を使用して Spark ジョブを実行する場合は、次のパラメータを指定します。

Spark ジョブのランタイムロール

executionRoleArn を使用して、アプリケーションが Spark ジョブの実行に使用する IAM ロールの ARN を指定します。このロールには、以下のアクセス許可が含まれている必要があります。

Spark ジョブが他のデータソースとの間でデータを読み書きする場合は、この IAM ロールに適切なアクセス許可を指定します。これらのアクセス許可を IAM ロールに指定しなければ、ジョブが失敗する可能性があります。詳細については、Amazon EMR Serverless のジョブランタイムロール および ログの保存 を参照してください。

Spark ジョブのドライバーパラメータ

jobDriver を使用してジョブに入力します。ジョブのドライバーパラメータは、実行するジョブタイプに対して 1 つの値のみを受け入れます。Spark ジョブの場合、パラメータの値は sparkSubmit です。このジョブタイプを使用して、Spark 送信を通じて Scala、Java、PySpark、およびその他のサポートされているジョブを実行できます。Spark ジョブには、以下のパラメータがあります。

詳細については、「Spark-Submit を使用したアプリケーションの起動」を参照してください。

Spark 設定オーバーライドパラメータ

configurationOverrides を使用して、モニタリングレベルおよびアプリケーションレベルの設定プロパティを上書きします。このパラメータは、次の 2 つのフィールドを持つ JSON オブジェクトを受け付けます。

アプリケーションの上書きと Spark 送信パラメータで同じ設定を使用すると、Spark 送信パラメータが優先されます。設定は、優先順位の高いものから低いものへとランク付けしたものです。

アプリケーションレベルでの設定の宣言、およびジョブ実行中の設定の上書きの詳細については、「」を参照してくださいEMR Serverless のデフォルトのアプリケーション設定。

Spark 動的リソース割り当ての最適化

EMR Serverless のリソース使用量を最適化するには、dynamicAllocationOptimization を使用します。このプロパティを Spark 設定分類で true に設定すると、EMR Serverless がエグゼキュターリソースの割り当てを最適化して、Spark がエグゼキュターをリクエストおよびキャンセルするレートと、EMR Serverless がワーカーを作成およびリリースするレートをより適切に調整できることを示します。これにより、EMR Serverless はステージ間でワーカーをより最適に再利用できるため、同じパフォーマンスを維持しながら複数のステージでジョブを実行する場合のコストが削減されます。

このプロパティは、すべての Amazon EMR リリースバージョンで使用できます。

以下は、dynamicAllocationOptimization を使用した設定分類の例です。

[
  {
    "Classification": "spark",
    "Properties": {
      "dynamicAllocationOptimization": "true"
    }
  }
]

動的割り当て最適化を使用している場合は、次の点を考慮してください。

Spark ジョブのプロパティ

次の表に、オプションの Spark プロパティと、Spark ジョブを送信するときに上書きできるデフォルト値を示します。

次の表に、デフォルトの Spark 送信パラメータを示します。

リソース設定のベストプラクティス

StartJobRun API を使用したドライバーとエグゼキュターのリソースの設定

この方法でリソースを設定すると、EMR Serverless はジョブを実行する前に正しいリソースを割り当てることができます。これは、.py ファイルや .jar ファイルなど、ユーザースクリプトで提供される設定とは対照的です。これは、ドライバーワーカーとエグゼキュターワーカーがスクリプトの実行を開始する前に事前プロビジョニングされる可能性があるため、評価が遅すぎます。ジョブの送信中にこれらのリソースを設定する方法は 2 つサポートされています。

オプション 1: sparkSubmitParameters を使用する

"jobDriver": {
 "sparkSubmit": {
    "entryPoint": "s3://your-script-path.py",
    "sparkSubmitParameters": "—conf spark.driver.memory=4g \
    —conf spark.driver.cores=2 \
    —conf spark.executor.memory=8g \
    —conf spark.executor.cores=4"
  }
 }

オプション 2: spark-defaults 分類に configurationOverrides を使用する

"configurationOverrides": {
 "applicationConfiguration": [
 {
 "classification": "spark-defaults",
 "properties": {
     "spark.driver.memory": "4g",
     "spark.driver.cores": "2",
     "spark.executor.memory": "8g",
     "spark.executor.cores": "4"
      }
    }
  ]
 }

Spark の例

次の例では、StartJobRun API を使用して Python スクリプトを実行する方法を示しています。この例を使用するend-to-endチュートリアルについては、「」を参照してくださいAmazon EMR Serverless の使用を開始する。PySpark ジョブを実行し、Python 依存関係を追加する方法のその他の例は、EMR Serverless Samples GitHub リポジトリにあります。

aws emr-serverless start-job-run \
    --application-id application-id \
    --execution-role-arn job-role-arn \
    --job-driver '{
        "sparkSubmit": {
            "entryPoint": "s3://us-east-1.elasticmapreduce/emr-containers/samples/wordcount/scripts/wordcount.py",
            "entryPointArguments": ["s3://amzn-s3-demo-destination-bucket/wordcount_output"],
            "sparkSubmitParameters": "--conf spark.executor.cores=1 --conf spark.executor.memory=4g --conf spark.driver.cores=1 --conf spark.driver.memory=4g --conf spark.executor.instances=1"
        }
    }'

次の例は、StartJobRun API を使用して Spark JAR を実行する方法を示しています。

aws emr-serverless start-job-run \
    --application-id application-id \
    --execution-role-arn job-role-arn \
    --job-driver '{
        "sparkSubmit": {
            "entryPoint": "/usr/lib/spark/examples/jars/spark-examples.jar",
            "entryPointArguments": ["1"],
            "sparkSubmitParameters": "--class org.apache.spark.examples.SparkPi --conf spark.executor.cores=4 --conf spark.executor.memory=20g --conf spark.driver.cores=4 --conf spark.driver.memory=8g --conf spark.executor.instances=1"
        }
    }'