Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.
S3DistCp diferencias de utilidad con las versiones anteriores de AMI de Amazon EMR
S3DistCp versiones compatibles con Amazon EMR
Las siguientes S3DistCp versiones son compatibles con las versiones de la AMI de Amazon EMR. S3DistCplas versiones posteriores a la 1.0.7 se encuentran directamente en los clústeres. Utilice el JAR de /home/hadoop/lib para las características más recientes.
| Versión | Description (Descripción) | Fecha de lanzamiento de la nueva versión |
|---|---|---|
| 1.0.8 | Añade las opciones --appendToLastFile, --requirePreviousManifest y --storageClass. |
3 de enero de 2014 |
| 1.0.7 | Añade la opción --s3ServerSideEncryption. |
2 de mayo de 2013 |
| 1.0.6 | Añade la opción --s3Endpoint. |
6 de agosto de 2012 |
| 1.0.5 | Mejora la capacidad de especificar la versión de que se va S3DistCp a ejecutar. | 27 de junio de 2012 |
| 1.0.4 | Mejora la opción --deleteOnSuccess. |
19 de junio de 2012 |
| 1.0.3 | Añade soporte para las opciones --numberFiles y --startingIndex. |
12 de junio de 2012 |
| 1.0.2 | Mejora la nomenclatura de archivos al utilizar grupos. | 6 de junio de 2012 |
| 1.0.1 | Versión inicial de S3DistCp. | 19 de enero de 2012 |
Agregar un paso de S3DistCp copia a un clúster
Para añadir un paso de S3DistCp copia a un clúster en ejecución, escriba el siguiente comando, sustitúyalo por j-3GYXXXXXX9IOK su ID de clúster y amzn-s3-demo-bucket sustitúyalo por el nombre de su bucket de Amazon S3.
nota
Se incluyen caracteres de continuación de línea de Linux (\) para facilitar la lectura. Se pueden eliminar o utilizar en los comandos de Linux. En Windows, elimínelos o sustitúyalos por un signo de intercalación (^).
aws emr add-steps --cluster-idj-3GYXXXXXX9IOK\ --steps Type=CUSTOM_JAR,Name="S3DistCp step",Jar=/home/hadoop/lib/emr-s3distcp-1.0.jar,\ Args=["--s3Endpoint,s3-eu-west-1.amazonaws.com",\ "--src,s3://amzn-s3-demo-bucket/logs/j-3GYXXXXXX9IOJ/node/",\ "--dest,hdfs:///output",\ "--srcPattern,.*[a-zA-Z,]+"]
ejemplo Cargue CloudFront los registros de Amazon en HDFS
En este ejemplo, se cargan CloudFront los registros de Amazon en HDFS añadiendo un paso a un clúster en ejecución. En el proceso, cambia el formato de compresión de Gzip (el valor predeterminado de CloudFront) a LZO. Esto resulta útil porque los datos comprimidos mediante LZO se pueden dividir en varias asignaciones a medida que se descomprimen, por lo que ya no tendrá que esperar hasta que se complete la compresión, como hace con Gzip. Esto proporciona un mejor rendimiento al analizar los datos con Amazon EMR. Este ejemplo mejora además el rendimiento utilizando la expresión regular especificada en la opción --groupBy para combinar todos los registros de una hora dada en un archivo único. Los clústeres de Amazon EMR son más eficaces cuando procesan unos pocos LZO-compressed archivos grandes que cuando procesan muchos archivos pequeños. Gzip-compressed Para dividir los archivos de LZO, debe indexarlos y utilizar la biblioteca de terceros hadoop-lzo.
Para cargar CloudFront los registros de Amazon en HDFS, escriba el siguiente comando, sustitúyalo por j-3GYXXXXXX9IOK su ID de clúster y sustitúyalo por el amzn-s3-demo-bucket nombre de su bucket de Amazon S3.
nota
Se incluyen caracteres de continuación de línea de Linux (\) para facilitar la lectura. Se pueden eliminar o utilizar en los comandos de Linux. En Windows, elimínelos o sustitúyalos por un signo de intercalación (^).
aws emr add-steps --cluster-idj-3GYXXXXXX9IOK\ --steps Type=CUSTOM_JAR,Name="S3DistCp step",Jar=/home/hadoop/lib/emr-s3distcp-1.0.jar,\ Args=["--src,s3://amzn-s3-demo-bucket/cf","--dest,hdfs:///local",\ "--groupBy,.*XABCD12345678.([0-9]+-[0-9]+-[0-9]+-[0-9]+).*",\ "--targetSize,128", "--outputCodec,lzo","--deleteOnSuccess"]
Tenga en cuenta el caso en el que el ejemplo anterior se ejecuta sobre los siguientes archivos de registro de CloudFront .
s3://amzn-s3-demo-bucket/cf/XABCD12345678.2012-02-23-01.HLUS3JKx.gz s3://amzn-s3-demo-bucket/cf/XABCD12345678.2012-02-23-01.I9CNAZrg.gz s3://amzn-s3-demo-bucket/cf/XABCD12345678.2012-02-23-02.YRRwERSA.gz s3://amzn-s3-demo-bucket/cf/XABCD12345678.2012-02-23-02.dshVLXFE.gz s3://amzn-s3-demo-bucket/cf/XABCD12345678.2012-02-23-02.LpLfuShd.gz
S3DistCp copia, concatena y comprime los archivos en los dos archivos siguientes, donde el nombre del archivo viene determinado por la coincidencia de la expresión regular.
hdfs:///local/2012-02-23-01.lzo hdfs:///local/2012-02-23-02.lzo
