S3DistCp (s3-dist-cp)

Ubicación de los datos que copiar. Puede ser una ubicación de HDFS o Amazon S3.

Ejemplo: --src=s3://amzn-s3-demo-bucket/logs/j-3GYXXXXXX9IOJ/node

Destino de los datos. Puede ser una ubicación de HDFS o Amazon S3.

Ejemplo: --dest=hdfs:///output

Una expresión regular que filtra la operación de copia para un subconjunto de los datos de --src. Si no se especifica --srcPattern ni --groupBy, todos los datos de --src se copian en --dest.

Si el argumento de expresión regular contiene caracteres especiales, como un asterisco (*), la expresión regular o toda la cadena --args debe estar escrita entre comillas (').

Ejemplo: --srcPattern=.*daemons.*-hadoop-.*

Expresión regular que hace que se concatenen S3DistCp los archivos que coinciden con la expresión. Por ejemplo, podría utilizar esta opción para combinar todos los archivos de registro escritos en una hora en un solo archivo. El nombre de archivo concatenado es el valor asignado por la expresión regular para la agrupación.

Los paréntesis indican cómo deberían agruparse los archivos, todos los elementos que coincidan con la instrucción parentética se combinan en un único archivo de salida. Si la expresión regular no incluye una sentencia entre paréntesis, el clúster produce un error en el S3DistCp paso y devuelve un error.

Si el argumento de expresión regular contiene caracteres especiales, como un asterisco (*), la expresión regular o toda la cadena --args debe estar escrita entre comillas (').

Cuando se especifica --groupBy, solo se copian los archivos que coinciden con el patrón especificado. No tiene que especificar --groupBy y --srcPattern al mismo tiempo.

Ejemplo: --groupBy=.*subnetid.*([0-9]+-[0-9]+-[0-9]+-[0-9]+).*

El tamaño, en mebibytes (MiB), de los archivos a crear en función de la opción --groupBy. Este valor debe ser un número entero. Cuando --targetSize está establecido, S3DistCp intenta igualar este tamaño; el tamaño real de los archivos copiados puede ser mayor o menor que este valor. Los trabajos se agregan en función del tamaño del archivo de datos, por lo que es posible que el tamaño del archivo de destino coincida con el tamaño del archivo de datos de origen.

Si los archivos concatenados por --groupBy son mayores que el valor de --targetSize, se dividen en archivos parciales y se nombran de forma secuencial con un valor numérico junto al final. Por ejemplo, un archivo concatenado en myfile.gz se desglosaría en partes como: myfile0.gz, myfile1.gz, etc.

Ejemplo: --targetSize=2

Especifica el comportamiento S3DistCp al copiar archivos de Amazon S3 a HDFS que ya están presentes. Añade los nuevos datos de archivo a archivos existentes. Si utiliza --appendToLastFile con --groupBy, se añaden nuevos datos a los archivos que coincidirán con los mismos grupos. Esta opción también respeta el comportamiento --targetSize cuando se utiliza con --groupBy.

Especifica el códec de compresión que utilizar para los archivos copiados. Esto puede tomar los valores: gzip, gz, lzo, snappy o bien none. Puede utilizar esta opción, por ejemplo, para convertir archivos de entrada comprimidos con Gzip en archivos de salida con compresión LZO o para descomprimir los archivos como parte de la operación de copia. Si elige un códec de salida, el nombre de archivo se agregará con la extensión adecuada (por ejemplo, gz y gzip, la extensión es .gz). Si no especifica un valor para --outputCodec, los archivos se copian sin cambios en su compresión.

Ejemplo: --outputCodec=lzo

Garantiza que los datos de destino se transfieran mediante SSL y se cifren automáticamente en Amazon S3 mediante una clave del lado del AWS servicio. Al recuperar datos utilizando S3DistCp, los objetos se descifran automáticamente. Si intenta copiar un objeto sin cifrar en un bucket de Amazon S3 con cifrado requerido, la operación produce un error. Para obtener más información, consulte el tema relacionado con el uso del cifrado de datos.

Ejemplo: --s3ServerSideEncryption

Si la operación de copia se realiza correctamente, esta opción hace S3DistCp que los archivos copiados se eliminen de la ubicación de origen. Esto resulta útil si está copiando archivos de salida, como archivos de registro, desde una ubicación a otra como una tarea programada y no desea copiar los mismos archivos dos veces.

Ejemplo: --deleteOnSuccess

Deshabilita el uso de la carga multiparte.

Ejemplo: --disableMultipartUpload

El tamaño, en MiB, de cada parte de una carga multiparte de Amazon S3. S3DistCp utiliza la carga multiparte cuando copia datos de un tamaño superior al. multipartUploadChunkSize Para mejorar el rendimiento de los trabajos, puede aumentar el tamaño de cada parte. El tamaño predeterminado es 128 MB.

Ejemplo: --multipartUploadChunkSize=1000

Añade archivos de salida con los números secuenciales. El recuento comienza en 0 a menos que se especifique un valor diferente mediante --startingIndex.

Ejemplo: --numberFiles

Utilizado con --numberFiles para especificar el primer número de la secuencia.

Ejemplo: --startingIndex=1

Crea un archivo de texto, comprimido con Gzip, que contiene una lista de todos los archivos copiados por. S3DistCp

Ejemplo: --outputManifest=manifest-1.gz

Lee un archivo de manifiesto que se creó durante una llamada anterior para S3DistCp usar la --outputManifest marca. Cuando se establece la --previousManifest marca, S3DistCp excluye de la operación de copia los archivos que figuran en el manifiesto. Si se especifica --outputManifest junto con los archivos --previousManifest, incluidos en el manifiesto anterior también aparecen en el nuevo archivo de manifiesto, aunque los archivos no se copiarán.

Ejemplo: --previousManifest=/usr/bin/manifest-1.gz

Requiere un manifiesto anterior creado durante una llamada anterior a S3DistCp. Si se define como false, no se genera ningún error cuando no se especifica un manifiesto anterior. El valor predeterminado es true.

Invierte el comportamiento de --previousManifest S3DistCp hacer que se utilice el archivo de manifiesto especificado como una lista de archivos para copiar, en lugar de una lista de archivos para excluir de la copia.

Ejemplo: --copyFromManifest --previousManifest=/usr/bin/manifest-1.gz

Especifica el punto de conexión de Amazon S3 que utilizar a la hora de cargar un archivo. Esta opción establece el punto de enlace para el origen y el destino. Si no se define, el punto de enlace predeterminado es s3.amazonaws.com. Para ver una lista de los puntos de conexión de Amazon S3, consulte Regiones y puntos de conexión.

Ejemplo: --s3Endpoint=s3.eu-west-1.amazonaws.com

La clase de almacenamiento que utilizar cuando el destino es Amazon S3. Los valores válidos son STANDARD y REDUCED_REDUNDANCY. Si no se especifica esta opción, S3DistCp intenta conservar la clase de almacenamiento.

Ejemplo: --storageClass=STANDARD

un archivo de texto en Amazon S3 (s3://), HDFS (hdfs:///) o sistema de archivos local (file:/) que contiene una lista de prefijos src, un prefijo por línea.

Si srcPrefixesFile se proporciona, no S3DistCp mostrará la ruta src. En lugar de ello, genera una lista de origen como resultado combinado de enumerar todos los prefijos especificados en este archivo. La ruta relativa en comparación con la ruta src, en lugar de estos prefijos, se utilizará para generar las rutas de destino. Si también se especifica srcPattern, se aplicará a los resultados de lista combinada de los prefijos de origen para filtrar aún más la entrada. Si se utiliza copyFromManifest, lo objetos en el manifiesto se copiarán y no se tendrá en cuenta srcPrefixesFile.

Ejemplo: --srcPrefixesFile=PATH