As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.
S3DistCp diferenças de utilidade com versões anteriores da AMI do Amazon EMR
S3DistCp versões suportadas no Amazon EMR
As S3DistCp versões a seguir são compatíveis com as versões do Amazon EMR AMI. S3DistCpas versões após a 1.0.7 são encontradas diretamente nos clusters. Use o JAR em /home/hadoop/lib para obter os recursos mais recentes.
| Versão | Description | Data de lançamento |
|---|---|---|
| 1.0.8 | Adiciona as opções --appendToLastFile, --requirePreviousManifeste --storageClass. |
3 de janeiro de 2014 |
| 1.0.7 | Adiciona a opção --s3ServerSideEncryption. |
2 de maio de 2013 |
| 1.0.6 | Adiciona a opção --s3Endpoint. |
6 de agosto de 2012 |
| 1.0.5 | Melhora a capacidade de especificar qual versão do S3DistCp será executada. | 27 de junho de 2012 |
| 1.0.4 | Melhora a opção --deleteOnSuccess. |
19 de junho de 2012 |
| 1.0.3 | Adiciona suporte às opções --numberFiles e --startingIndex. |
12 de junho de 2012 |
| 1.0.2 | Melhora a nomeação de arquivos ao usar grupos. | 6 de junho de 2012 |
| 1.0.1 | Versão inicial do S3DistCp. | 19 de janeiro de 2012 |
Adicionar uma etapa de S3DistCp cópia a um cluster
Para adicionar uma etapa de S3DistCp cópia a um cluster em execução, digite o comando a seguir, j-3GYXXXXXX9IOK substitua pelo ID do cluster e amzn-s3-demo-bucket substitua pelo nome do bucket do Amazon S3.
nota
Os caracteres de continuação de linha do Linux (\) são incluídos para facilitar a leitura. Eles podem ser removidos ou usados em comandos do Linux. No Windows, remova-os ou substitua-os por um sinal de interpolação (^).
aws emr add-steps --cluster-idj-3GYXXXXXX9IOK\ --steps Type=CUSTOM_JAR,Name="S3DistCp step",Jar=/home/hadoop/lib/emr-s3distcp-1.0.jar,\ Args=["--s3Endpoint,s3-eu-west-1.amazonaws.com",\ "--src,s3://amzn-s3-demo-bucket/logs/j-3GYXXXXXX9IOJ/node/",\ "--dest,hdfs:///output",\ "--srcPattern,.*[a-zA-Z,]+"]
exemplo Carregue CloudFront os registros da Amazon no HDFS
Este exemplo carrega CloudFront os registros da Amazon no HDFS adicionando uma etapa a um cluster em execução. No processo, ele muda o formato de compactação de Gzip (o padrão do CloudFront) para LZO. Isso é útil, pois dados compactados usando LZO podem ser divididos em vários mapas conforme são descompactados, portanto, você não precisa aguardar até que a compactação seja concluída, como ocorre com o Gzip. Isso proporciona uma melhor performance quando você analisa os dados usando o Amazon EMR. Esse exemplo também melhora a performance ao usar a expressão regular especificada na opção --groupBy para combinar todos os logs de uma determinada hora em um único arquivo. Os clusters do Amazon EMR são mais eficientes ao processar alguns LZO-compressed arquivos grandes do que ao processar muitos Gzip-compressed arquivos pequenos. Para dividir arquivos LZO, você deve indexá-los e usar a biblioteca de terceiros hadoop-lzo.
Para carregar CloudFront os registros da Amazon no HDFS, digite o comando a seguir, j-3GYXXXXXX9IOK substitua pelo ID do cluster e amzn-s3-demo-bucket substitua pelo nome do bucket do Amazon S3.
nota
Os caracteres de continuação de linha do Linux (\) são incluídos para facilitar a leitura. Eles podem ser removidos ou usados em comandos do Linux. No Windows, remova-os ou substitua-os por um sinal de interpolação (^).
aws emr add-steps --cluster-idj-3GYXXXXXX9IOK\ --steps Type=CUSTOM_JAR,Name="S3DistCp step",Jar=/home/hadoop/lib/emr-s3distcp-1.0.jar,\ Args=["--src,s3://amzn-s3-demo-bucket/cf","--dest,hdfs:///local",\ "--groupBy,.*XABCD12345678.([0-9]+-[0-9]+-[0-9]+-[0-9]+).*",\ "--targetSize,128", "--outputCodec,lzo","--deleteOnSuccess"]
Considere o caso no qual o exemplo anterior é executado com os seguintes arquivos de log do CloudFront .
s3://amzn-s3-demo-bucket/cf/XABCD12345678.2012-02-23-01.HLUS3JKx.gz s3://amzn-s3-demo-bucket/cf/XABCD12345678.2012-02-23-01.I9CNAZrg.gz s3://amzn-s3-demo-bucket/cf/XABCD12345678.2012-02-23-02.YRRwERSA.gz s3://amzn-s3-demo-bucket/cf/XABCD12345678.2012-02-23-02.dshVLXFE.gz s3://amzn-s3-demo-bucket/cf/XABCD12345678.2012-02-23-02.LpLfuShd.gz
S3DistCp copia, concatena e compacta os arquivos nos dois arquivos a seguir, em que o nome do arquivo é determinado pela correspondência feita pela expressão regular.
hdfs:///local/2012-02-23-01.lzo hdfs:///local/2012-02-23-02.lzo
