Uso de Java 17 con Amazon EMR sin servidor - Amazon EMR
JAVA_HOMEspark-defaults

Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.

Uso de Java 17 con Amazon EMR sin servidor

Con las versiones 6.11.0 y posteriores de Amazon EMR, configure los trabajos de EMR Serverless Spark para que usen el tiempo de ejecución de Java 17 para la máquina virtual de Java (JVM). Utilice uno de los siguientes métodos para configurar Spark con Java 17.

JAVA_HOME

Para anular la configuración de JVM para EMR Serverless 6.11.0 y versiones posteriores, proporcione la configuración a sus clasificaciones y a las del JAVA_HOME entorno. spark.emr-serverless.driverEnv spark.executorEnv

x86_64

Establezca las propiedades necesarias para especificar Java 17 como configuración JAVA_HOME para el controlador y los ejecutores de Spark:

--conf spark.emr-serverless.driverEnv.JAVA_HOME=/usr/lib/jvm/java-17-amazon-corretto.x86_64/ 
--conf spark.executorEnv.JAVA_HOME=/usr/lib/jvm/java-17-amazon-corretto.x86_64/
arm_64

Defina las propiedades necesarias para especificar Java 17 como configuración JAVA_HOME para el controlador y los ejecutores de Spark:

--conf spark.emr-serverless.driverEnv.JAVA_HOME=/usr/lib/jvm/java-17-amazon-corretto.aarch64/
--conf spark.executorEnv.JAVA_HOME=/usr/lib/jvm/java-17-amazon-corretto.aarch64/

spark-defaults

Como alternativa, puede especificar Java 17 en la clasificación spark-defaults para anular la configuración de JVM para EMR sin servidor en la versión 6.11.0 y versiones posteriores.

x86_64

Especifique Java 17 en la clasificación spark-defaults:

{
"applicationConfiguration": [ 
         { 
            "classification": "spark-defaults",
            "properties": { 
               "spark.emr-serverless.driverEnv.JAVA_HOME" : "/usr/lib/jvm/java-17-amazon-corretto.x86_64/",
               "spark.executorEnv.JAVA_HOME": "/usr/lib/jvm/java-17-amazon-corretto.x86_64/" 
            }
         }
      ]
}
arm_64

Especifique Java 17 en la clasificación spark-defaults:

{
"applicationConfiguration": [ 
         { 
            "classification": "spark-defaults",
            "properties": { 
               "spark.emr-serverless.driverEnv.JAVA_HOME" : "/usr/lib/jvm/java-17-amazon-corretto.aarch64/",
               "spark.executorEnv.JAVA_HOME": "/usr/lib/jvm/java-17-amazon-corretto.aarch64/" 
            }
         }
      ]
}