AWS Data Pipeline ya no está disponible para nuevos clientes. Los clientes actuales de AWS Data Pipeline pueden seguir utilizando el servicio con normalidad. [Más información](https://aws.amazon.com/blogs/big-data/migrate-workloads-from-aws-data-pipeline/)
Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.
# EmrConfiguration
El EmrConfiguration objeto es la configuración utilizada para los clústeres de EMR con la versión 4.0.0 o superior. Las configuraciones (en forma de lista) son un parámetro de la llamada a la RunJobFlow API. La API de configuración de Amazon EMR toma una clasificación y propiedades. AWS Data Pipeline utiliza EmrConfiguration los objetos Property correspondientes para configurar una [EmrCluster](dp-object-emrcluster.md) aplicación como Hadoop, Hive, Spark o Pig en clústeres de EMR lanzados en una ejecución en canalización. Como la configuración solo se puede cambiar para los clústeres nuevos, no puedes proporcionar un EmrConfiguration objeto para los recursos existentes. Para obtener más información, consulte [https://docs.aws.amazon.com/ElasticMapReduce/latest/ReleaseGuide/](https://docs.aws.amazon.com/ElasticMapReduce/latest/ReleaseGuide/).
## Ejemplo
El siguiente objeto de configuración establece las propiedades `io.file.buffer.size` y `fs.s3.block.size` en `core-site.xml`:
```
[
{
"classification":"core-site",
"properties":
{
"io.file.buffer.size": "4096",
"fs.s3.block.size": "67108864"
}
}
]
```
La definición de objeto de canalización correspondiente utiliza un EmrConfiguration objeto y una lista de objetos Property en el `property` campo:
```
{
"objects": [
{
"name": "ReleaseLabelCluster",
"releaseLabel": "emr-4.1.0",
"applications": ["spark", "hive", "pig"],
"id": "ResourceId_I1mCc",
"type": "EmrCluster",
"configuration": {
"ref": "coresite"
}
},
{
"name": "coresite",
"id": "coresite",
"type": "EmrConfiguration",
"classification": "core-site",
"property": [{
"ref": "io-file-buffer-size"
},
{
"ref": "fs-s3-block-size"
}
]
},
{
"name": "io-file-buffer-size",
"id": "io-file-buffer-size",
"type": "Property",
"key": "io.file.buffer.size",
"value": "4096"
},
{
"name": "fs-s3-block-size",
"id": "fs-s3-block-size",
"type": "Property",
"key": "fs.s3.block.size",
"value": "67108864"
}
]
}
```
El siguiente ejemplo es una configuración anidada usada para establecer el entorno de Hadoop con la clasificación `hadoop-env`:
```
[
{
"classification": "hadoop-env",
"properties": {},
"configurations": [
{
"classification": "export",
"properties": {
"YARN_PROXYSERVER_HEAPSIZE": "2396"
}
}
]
}
]
```
El objeto de definición de la canalización correspondiente que usa esta configuración se muestra a continuación:
```
{
"objects": [
{
"name": "ReleaseLabelCluster",
"releaseLabel": "emr-4.0.0",
"applications": ["spark", "hive", "pig"],
"id": "ResourceId_I1mCc",
"type": "EmrCluster",
"configuration": {
"ref": "hadoop-env"
}
},
{
"name": "hadoop-env",
"id": "hadoop-env",
"type": "EmrConfiguration",
"classification": "hadoop-env",
"configuration": {
"ref": "export"
}
},
{
"name": "export",
"id": "export",
"type": "EmrConfiguration",
"classification": "export",
"property": {
"ref": "yarn-proxyserver-heapsize"
}
},
{
"name": "yarn-proxyserver-heapsize",
"id": "yarn-proxyserver-heapsize",
"type": "Property",
"key": "YARN_PROXYSERVER_HEAPSIZE",
"value": "2396"
},
]
}
```
El siguiente ejemplo modifica una propiedad específica de Hive para un clúster de EMR:
```
{
"objects": [
{
"name": "hivesite",
"id": "hivesite",
"type": "EmrConfiguration",
"classification": "hive-site",
"property": [
{
"ref": "hive-client-timeout"
}
]
},
{
"name": "hive-client-timeout",
"id": "hive-client-timeout",
"type": "Property",
"key": "hive.metastore.client.socket.timeout",
"value": "2400s"
}
]
}
```
## Sintaxis
Este objeto incluye los siguientes campos.
****
| Campos obligatorios | Description (Descripción) | Tipo de slot |
| --- | --- | --- |
| clasificación | Clasificación de la configuración. | Cadena |
****
| Campos opcionales | Description (Descripción) | Tipo de slot |
| --- | --- | --- |
| configuración | Subconfiguración de esta configuración. | Objeto de referencia, por ejemplo, «configuración»: \$1"ref»:» myEmrConfiguration Id "\$1 |
| parent | Elemento principal del objeto actual del que se heredarán los slots. | Objeto de referencia, por ejemplo, «parent»: \$1"ref»:» myBaseObject Id "\$1 |
| propiedad | Propiedad de configuración. | Objeto de referencia, por ejemplo, «propiedad»: \$1"ref»:» myPropertyId «\$1 |
****
| Campos de tiempo de ejecución | Description (Descripción) | Tipo de slot |
| --- | --- | --- |
| @version | Versión de la canalización con la que se creó el objeto. | Cadena |
****
| Campos del sistema | Description (Descripción) | Tipo de slot |
| --- | --- | --- |
| @error | Error al describir el objeto mal estructurado. | Cadena |
| @pipelineId | ID de la canalización a la que pertenece este objeto. | Cadena |
| @sphere | La esfera de un objeto denota su lugar en el ciclo de vida: los objetos de componente dan lugar a objetos de instancia que ejecutan objetos de intento. | Cadena |
## Véase también
+ [EmrCluster](dp-object-emrcluster.md)
+ [Propiedad](dp-object-property.md)
+ [Guía de publicación de Amazon EMR](https://docs.aws.amazon.com/ElasticMapReduce/latest/ReleaseGuide/)