Tutorial: Fazer upload de um objeto por meio do carregamento fracionado e conferir a integridade dos dados

O multipart upload permite que você faça upload de um único objeto como um conjunto de partes. Cada parte é uma parte contígua de dados do objeto. O upload dessas partes de objetos pode ser feito de maneira independente e em qualquer ordem. Se a transmissão de alguma parte falhar, você poderá retransmitir essa parte sem afetar outras partes. Depois que todas as partes do objeto forem carregadas, o Amazon S3 montará essas partes e criará o objeto. Geralmente, quando seu objeto alcança 100 MB de tamanho, você deve considerar o uso de multipart uploads em vez de fazer upload do objeto em uma única operação. Para obter mais informações sobre multipart uploads, consulte Carregar e copiar objetos usando upload fracionado no Amazon S3. Para ver os limites relacionados a carregamentos fracionados, consulte Limites do multipart upload do Amazon S3.

É possível usar somas de verificação para verificar se os ativos não são alterados quando copiados. A execução de uma soma de verificação consiste em usar um algoritmo para iterar sequencialmente sobre cada byte em um arquivo. O Amazon S3 oferece várias opções de soma de verificação para conferir a integridade dos dados. Recomendamos que você execute essas verificações de integridade como prática recomendada de durabilidade e para garantir que cada byte seja transferido sem alteração. O Amazon S3 também é compatível com os seguintes algoritmos: SHA-1, SHA-256, CRC32 e CRC32C. O Amazon S3 usa um ou mais desses algoritmos para calcular um valor de soma de verificação adicional e armazená-lo como parte dos metadados do objeto. Para ter mais informações sobre somas de verificação, consulte Verificar a integridade do objeto no Amazon S3.

Objetivo

Neste tutorial, você aprenderá a fazer upload de um objeto no Amazon S3 usando um carregamento fracionado e uma soma de verificação SHA-256 adicional por meio da AWS Command Line Interface (AWS CLI). Você também aprenderá a conferir a integridade dos dados do objeto calculando o hash MD5 e a soma de verificação SHA-256 do objeto carregado.

Pré-requisitos

Etapa 1: criar um arquivo grande

Se você já tiver um arquivo pronto para upload, poderá usá-lo para este tutorial. Caso contrário, crie um arquivo de 15 MB usando as etapas a seguir. Para ver os limites relacionados a carregamentos fracionados, consulte Limites do multipart upload do Amazon S3.

Como criar um arquivo grande

Use um dos seguintes comandos para criar o arquivo, dependendo do sistema operacional que estiver usando.

Linux ou macOS

Para criar um arquivo de 15 MB, abra o terminal local e execute o seguinte comando:

dd if=/dev/urandom of=census-data.bin bs=1M count=15

Esse comando cria um arquivo de 15 MB denominado census-data.bin preenchido com bytes aleatórios.

Windows

Para criar um arquivo de 15 MB, abra o terminal local e execute o seguinte comando:

fsutil file createnew census-data.bin 15728640

Esse comando cria um arquivo denominado census-data.bin com um tamanho de 15 MB de dados arbitrários (15.728.640 bytes).

Etapa 2: dividir o arquivo em vários arquivos

Para realizar o carregamento fracionado, é necessário dividir o arquivo grande em partes menores. Depois, é possível fazer upload das partes menores usando o processo de carregamento fracionado. Esta etapa demonstra como dividir em partes menores o arquivo grande criado na Etapa 1. O exemplo a seguir usa um arquivo de 15 MB denominado census-data.bin.

Como dividir um arquivo grande em partes

Linux ou macOS

Para dividir o arquivo grande em partes de 5 MB, use o comando split. Abra o terminal e execute o seguinte:

split -b 5M -d census-data.bin census-part

Esse comando divide census-data.bin em partes de 5 MB denominadas census-part**, em que ** é um sufixo numérico de 00.

Windows

Para dividir o arquivo grande, use o PowerShell. Abra o PowerShell e execute o seguinte script:

$inputFile = "census-data.bin"
$outputFilePrefix = "census-part"
$chunkSize = 5MB

$fs = [System.IO.File]::OpenRead($inputFile)
$buffer = New-Object byte[] $chunkSize
$fileNumber = 0

while ($fs.Position -lt $fs.Length) {
$bytesRead = $fs.Read($buffer, 0, $chunkSize)
$outputFile = "{0}{1:D2}" -f $outputFilePrefix, $fileNumber
$fileStream = [System.IO.File]::Create($outputFile)
$fileStream.Write($buffer, 0, $bytesRead)
$fileStream.Close()
$fileNumber++
}

$fs.Close()

O script do PowerShell lê o arquivo grande em partes de 5 MB e grava cada uma em um novo arquivo com um sufixo numérico.

Depois de executar o comando apropriado, você deverá ver as partes no diretório no qual executou o comando. Cada parte terá um sufixo correspondente ao número da parte, por exemplo:

census-part00 census-part01 census-part02

Etapa 3: criar o carregamento fracionado com uma soma de verificação adicional

Para iniciar o processo de carregamento fracionado, é necessário criar a solicitação de carregamento fracionado. Essa etapa envolve iniciar o carregamento fracionado e especificar uma soma de verificação adicional para a integridade dos dados. O exemplo a seguir usa a soma de verificação SHA-256. Se você quiser fornecer metadados que descrevam o objeto que está sendo carregado, deverá fornecê-los na solicitação para iniciar o carregamento fracionado.

Como iniciar o carregamento fracionado

No terminal, use o comando create-multipart-upload a seguir para iniciar um carregamento fracionado para o bucket. Substitua amzn-s3-demo-bucket1 pelo nome do bucket real. Além disso, substitua o census_data_file pelo nome do arquivo escolhido. Esse nome de arquivo torna-se a chave do objeto quando o upload é concluído.

aws s3api create-multipart-upload --bucket amzn-s3-demo-bucket1 --key 'census_data_file' --checksum-algorithm sha256

Se a solicitação for bem-sucedida, você verá uma saída JSON como a seguinte:

{
    "ServerSideEncryption": "AES256",
    "ChecksumAlgorithm": "SHA256",
    "Bucket": "amzn-s3-demo-bucket1",
    "Key": "census_data_file",
    "UploadId": "cNV6KCSNANFZapz1LUGPC5XwUVi1n6yUoIeSP138sNOKPeMhpKQRrbT9k0ePmgoOTCj9K83T4e2Gb5hQvNoNpCKqyb8m3.oyYgQNZD6FNJLBZluOIUyRE.qM5yhDTdhz"
}
        

Etapa 4: fazer upload das partes do carregamento fracionado

Nesta etapa, você fará upload das partes do carregamento fracionado no bucket do S3. Use o comando upload-part para fazer upload de cada parte individualmente. Esse processo requer a especificação do ID do upload, do número da parte e do arquivo a ser carregado para cada parte.

Etapa 5: listar todas as partes do carregamento fracionado

Para concluir o carregamento fracionado, você precisará de uma lista de todas as partes que foram carregadas para esse carregamento fracionado específico. A saída do comando list-parts fornece algumas informações, como nome do bucket, chave, ID do upload, número da parte, ETag, somas de verificação adicionais etc. É útil salvar essa saída em um arquivo para que você possa usá-la na próxima etapa ao concluir o processo de carregamento fracionado. É possível criar um arquivo de saída JSON chamado parts.json usando o método a seguir.

Etapa 6: concluir o carregamento fracionado

Depois de fazer upload de todas as partes do carregamento fracionado e listá-las, a etapa final é concluir o carregamento fracionado. Essa etapa mescla todas as partes carregadas em um único objeto no bucket do S3.

Como concluir o carregamento fracionado

Para finalizar o carregamento fracionado, use o comando complete-multipart-upload. Esse comando requer o arquivo parts.json criado na Etapa 5, o nome do bucket e o ID do upload. Substitua <amzn-s3-demo-bucket1> pelo nome do bucket e <your-upload-id> pelo ID do upload de parts.json.

aws s3api complete-multipart-upload --multipart-upload file://parts.json --bucket amzn-s3-demo-bucket1 --key 'census_data_file' --upload-id <your-upload-id>

Veja a saída de exemplo:

{
    "ServerSideEncryption": "AES256",
    "Location": "https://amzn-s3-demo-bucket1.s3.us-east-2.amazonaws.com/census_data_file",
    "Bucket": "amzn-s3-demo-bucket1",
    "Key": "census_data_file",
    "ETag": "\"f453c6dccca969c457efdf9b1361e291-3\"",
    "ChecksumSHA256": "aI8EoktCdotjU8Bq46DrPCxQCGuGcPIhJ51noWs6hvk=-3"
}
            

Etapa 7: confirmar se o objeto foi carregado no bucket

Depois de concluir o carregamento fracionado, você poderá verificar se o objeto foi carregado com êxito no bucket do S3. Para listar os objetos no bucket e confirmar a presença do arquivo recém-carregado, use o comando list-objects-v2

Como listar o objeto carregado

Para listar os objetos no bucket, use o bucket de comando list-objects-v2. Substitua amzn-s3-demo-bucket1 pelo nome do bucket real.

aws s3api list-objects-v2 --bucket amzn-s3-demo-bucket1

Esse comando exibe uma lista de objetos no bucket. Procure o arquivo carregado (por exemplo, census_data_file) na lista de objetos.

Para ter mais informações, consulte a seção Examples do comando list-objects-v2 no Guia do usuário do AWS Command Line Interface.

Etapa 8: verificar a integridade do objeto com uma soma de verificação MD5

Ao fazer upload de um objeto, é possível especificar um algoritmo de soma de verificação a ser usado pelo Amazon S3. Por padrão, o Amazon S3 armazena o resumo MD5 de bytes como ETag do objeto. Para carregamentos fracionados, a ETag não é a soma de verificação do objeto completo, mas um composto de somas de verificação de cada parte.

Quando você instrui o Amazon S3 a usar somas de verificação adicionais, ele calcula o respectivo valor para cada parte e armazena os valores. Se você quiser recuperar os valores da soma de verificação para partes individuais de carregamentos fracionados ainda em andamento, poderá usar list-parts.

Consulte mais informações sobre como as somas de verificação funcionam com objetos de carregamento fracionado em Verificar a integridade do objeto no Amazon S3.

Etapa 9: verificar a integridade do objeto com uma soma de verificação adicional

Nesta etapa, este tutorial usa o SHA-256 como uma soma de verificação adicional para validar a integridade do objeto. Se você usou uma soma de verificação adicional diferente, use esse valor de soma de verificação.

Etapa 10: Limpar os recursos

Se você quiser limpar os arquivos criados neste tutorial, use o método a seguir. Para obter instruções sobre como excluir os arquivos carregados no bucket do S3, consulte Excluir objetos do Amazon S3.

Exclua os arquivos locais criados na Etapa 1:

Para remover os arquivos criados para o carregamento fracionado, execute o seguinte comando no diretório de trabalho:

rm census-data.bin census-part* outfile parts.json