Proteções de integridade de dados para o Amazon S3

Há algum tempo, AWS SDKs suportamos verificações de integridade de dados ao carregar ou baixar dados do Amazon Simple Storage Service. Antes, essas verificações eram opcionais. Agora, habilitamos essas verificações por padrão, usando algoritmos baseados em CRC, como CRC32 ou CRC64 NVME. Embora cada SDK ou ferramenta tenha um algoritmo padrão, você pode escolher um algoritmo diferente. Se desejar, você também pode continuar fornecendo manualmente uma soma de verificação pré-calculada para os uploads. O comportamento consistente entre uploads, uploads em várias partes, downloads e modos de criptografia simplifica as verificações de integridade do lado do cliente.

As versões mais recentes do nosso AWS SDKs calculam AWS CLI automaticamente uma soma de verificação baseada em verificação de redundância cíclica (CRC) para cada upload e a enviam para o Amazon S3. Em seguida, o Amazon S3 calcula independentemente um valor de soma de verificação do objeto do lado do servidor e o valida com o valor fornecido antes de armazenar o objeto e o valor da soma de verificação nos metadados do objeto. Ao armazenar a soma de verificação nos metadados junto com o objeto, quando o objeto é baixado, a mesma soma de verificação também pode ser retornada automaticamente e usada para validar os downloads. Você também pode confirmar a soma de verificação armazenada nos metadados do objeto a qualquer momento.

Para saber mais sobre operações de soma de verificação, uploads com várias partes ou a lista de algoritmos de soma de verificação compatíveis, consulte Verificar a integridade do objeto no Amazon S3 Guia do usuário do Amazon Simple Storage Service.

Uploads com várias partes:

O Amazon S3 também fornece aos desenvolvedores somas de verificação completas e consistentes entre os objetos em uploads com uma única parte e com várias partes.

Ao fazer upload de arquivos em várias partes, SDKs calcule as somas de verificação para cada parte. O Amazon S3 usa essas somas de verificação para verificar a integridade de cada parte por meio da API UploadPart. Além disso, o Amazon S3 valida o tamanho e a soma de verificação do arquivo inteiro quando você chama a API CompleteMultipartUpload.

Se o SDK tiver um Amazon S3 Transfer Manager para auxiliar nos uploads de várias partes, as somas de verificação serão validadas para as partes usando o algoritmo padrão específico do SDK encontrado na tabela Support by AWS SDKs and tools. Você pode optar por uma soma de verificação completa do objeto definindo checksum_type a configuração FULL_OBJECT ou optando por usar o algoritmo CRC64 NVME.

Se você estiver usando uma versão mais antiga de SDK ou AWS CLI:

Se seu aplicativo usa uma versão anterior a dezembro de 2024 do SDK ou da ferramenta, o Amazon S3 ainda computa CRC64 uma soma de verificação NVME em novos objetos e a armazena nos metadados do objeto para referência futura. Você pode comparar depois o CRC armazenado com um CRC calculado do seu lado e verificar se a transmissão da rede estava correta. Além disso, você ainda pode estender manualmente a proteção de integridade fornecendo suas próprias somas de verificação computadas previamente com suas solicitações de PutObject ou UploadPart, que é a técnica padrão para lidar com isso nas versões mais antigas.

Support by AWS SDKs and tools

Os itens a seguir SDKs oferecem suporte aos recursos e configurações descritos neste tópico. Quaisquer exceções parciais estão anotadas. Todas as configurações de propriedade do sistema JVM são suportadas pelo AWS SDK para Java e pelo AWS SDK para Kotlin único.