Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.
# Configure las propiedades de Apache Log4j2 para Amazon EMR sin servidor
Esta página describe cómo configurar las propiedades personalizadas de [Apache Log4j 2.x](https://logging.apache.org/log4j/2.x/) para trabajos de EMR sin servidor en `StartJobRun`. Si desea configurar las clasificaciones de Log4j a nivel de aplicación, consulte [Configuración predeterminada de aplicación para EMR sin servidor](default-configs.md).
## Configure las propiedades de Spark Log4j2 para Amazon EMR sin servidor
Con las versiones 6.8.0 y posteriores de Amazon EMR, puede personalizar las propiedades de [Apache Log4j 2.x](https://logging.apache.org/log4j/2.x/) para especificar configuraciones de registro detalladas. Esto simplifica la solución de problemas de sus trabajos de Spark en EMR sin servidor. Para configurar estas propiedades, utilice las clasificaciones `spark-driver-log4j2` y `spark-executor-log4j2`.
**Topics**
+ [Clasificaciones de Log4j2 para Spark](#log4j2-spark-class)
+ [Ejemplo de configuración de Log4j2 para Spark](#log4j2-spark-example)
+ [Log4j2 en trabajos de Spark de ejemplo](#log4j2-spark-jobs)
+ [Consideraciones de Log4j2 para Spark](#log4j2-spark-considerations)
### Clasificaciones de Log4j2 para Spark
Para personalizar las configuraciones de registro de Spark, utilice las siguientes clasificaciones con [https://docs.aws.amazon.com/emr-serverless/latest/APIReference/API_ConfigurationOverrides.html#emrserverless-Type-ConfigurationOverrides-applicationConfiguration](https://docs.aws.amazon.com/emr-serverless/latest/APIReference/API_ConfigurationOverrides.html#emrserverless-Type-ConfigurationOverrides-applicationConfiguration). Para configurar las propiedades de Log4j 2.x, utilice la siguientes [https://docs.aws.amazon.com/emr-serverless/latest/APIReference/API_Configuration.html#emrserverless-Type-Configuration-properties](https://docs.aws.amazon.com/emr-serverless/latest/APIReference/API_Configuration.html#emrserverless-Type-Configuration-properties).
**`spark-driver-log4j2`**
Esta clasificación establece los valores en el archivo `log4j2.properties` del controlador.
**`spark-executor-log4j2`**
Esta clasificación establece los valores en el archivo `log4j2.properties` del ejecutor.
### Ejemplo de configuración de Log4j2 para Spark
En el siguiente ejemplo, se muestra cómo enviar un trabajo de Spark con `applicationConfiguration` para personalizar las configuraciones de Log4j2 para el controlador y ejecutor de Spark.
Para configurar las clasificaciones de Log4j a nivel de aplicación, en lugar de al enviar el trabajo, consulte [Configuración predeterminada de aplicación para EMR sin servidor](default-configs.md).
```
aws emr-serverless start-job-run \
--application-id application-id \
--execution-role-arn job-role-arn \
--job-driver '{
"sparkSubmit": {
"entryPoint": "/usr/lib/spark/examples/jars/spark-examples.jar",
"entryPointArguments": ["1"],
"sparkSubmitParameters": "--class org.apache.spark.examples.SparkPi --conf spark.executor.cores=4 --conf spark.executor.memory=20g --conf spark.driver.cores=4 --conf spark.driver.memory=8g --conf spark.executor.instances=1"
}
}'
--configuration-overrides '{
"applicationConfiguration": [
{
"classification": "spark-driver-log4j2",
"properties": {
"rootLogger.level":"error", // will only display Spark error logs
"logger.IdentifierForClass.name": "classpath for setting logger",
"logger.IdentifierForClass.level": "info"
}
},
{
"classification": "spark-executor-log4j2",
"properties": {
"rootLogger.level":"error", // will only display Spark error logs
"logger.IdentifierForClass.name": "classpath for setting logger",
"logger.IdentifierForClass.level": "info"
}
}
]
}'
```
### Log4j2 en trabajos de Spark de ejemplo
Los siguientes ejemplos de código muestran cómo crear una aplicación de Spark mientras se inicializa una configuración de Log4j2 personalizada para la aplicación.
------
#### [ Python ]
**Example - Uso de Log4j2 para un trabajo de Spark con Python**
```
import os
import sys
from pyspark import SparkConf, SparkContext
from pyspark.sql import SparkSession
app_name = "PySparkApp"
if __name__ == "__main__":
spark = SparkSession\
.builder\
.appName(app_name)\
.getOrCreate()
spark.sparkContext._conf.getAll()
sc = spark.sparkContext
log4jLogger = sc._jvm.org.apache.log4j
LOGGER = log4jLogger.LogManager.getLogger(app_name)
LOGGER.info("pyspark script logger info")
LOGGER.warn("pyspark script logger warn")
LOGGER.error("pyspark script logger error")
// your code here
spark.stop()
```
Para personalizar Log4j2 para el controlador cuando ejecute un trabajo de Spark, utilice la siguiente configuración:
```
{
"classification": "spark-driver-log4j2",
"properties": {
"rootLogger.level":"error", // only display Spark error logs
"logger.PySparkApp.level": "info",
"logger.PySparkApp.name": "PySparkApp"
}
}
```
------
#### [ Scala ]
**Example - Uso de Log4j2 para un trabajo de Spark con Scala**
```
import org.apache.log4j.Logger
import org.apache.spark.sql.SparkSession
object ExampleClass {
def main(args: Array[String]): Unit = {
val spark = SparkSession
.builder
.appName(this.getClass.getName)
.getOrCreate()
val logger = Logger.getLogger(this.getClass);
logger.info("script logging info logs")
logger.warn("script logging warn logs")
logger.error("script logging error logs")
// your code here
spark.stop()
}
}
```
Para personalizar Log4j2 para el controlador cuando ejecute un trabajo de Spark, utilice la siguiente configuración:
```
{
"classification": "spark-driver-log4j2",
"properties": {
"rootLogger.level":"error", // only display Spark error logs
"logger.ExampleClass.level": "info",
"logger.ExampleClass.name": "ExampleClass"
}
}
```
------
### Consideraciones de Log4j2 para Spark
Las siguientes propiedades de Log4j2.x no se pueden configurar para los procesos de Spark:
+ `rootLogger.appenderRef.stdout.ref`
+ `appender.console.type`
+ `appender.console.name`
+ `appender.console.target`
+ `appender.console.layout.type`
+ `appender.console.layout.pattern`
[Para obtener información detallada sobre las propiedades de Log4J2.x que se configuran, consulte el archivo en. `log4j2.properties.template`](https://github.com/apache/spark/blob/v3.3.0/conf/log4j2.properties.template) GitHub