Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Esercitazione: caricamento di un oggetto tramite caricamento multiparte per verificarne l'integrità dei dati

Il caricamento in più parti consente di caricare un singolo oggetto come un insieme di parti. Ciascuna parte è una parte contigua dei dati dell'oggetto. È possibile caricare queste parti dell'oggetto in modo indipendente e in qualsiasi ordine. Se la trasmissione di una parte non riesce, è possibile ritrasmettere tale parte senza influire sulle altre. Una volta caricate tutte le parti dell'oggetto, Amazon S3 le assembla e crea l'oggetto. In generale, quando la dimensione dell'oggetto raggiunge i 100 MB, si consiglia di valutare la possibilità di eseguire caricamenti in più parti anziché caricare l'oggetto in una singola operazione. Per ulteriori informazioni sui caricamenti in più parti, consulta la sezione Caricamento e copia di oggetti utilizzando il caricamento multiparte in Amazon S3. Per i limiti relativi ai caricamenti multiparte, consulta Limiti del caricamenti in più parti di Amazon S3.

È possibile utilizzare i checksum per verificare che le risorse non vengano alterate quando vengono copiate. L'esecuzione di un checksum consiste nell'utilizzare un algoritmo per iterare sequenzialmente su ogni byte di un file. Amazon S3 offre diverse opzioni di checksum per verificare l'integrità dei dati. Si consiglia di eseguire questi controlli di integrità come best practice di durata e per confermare che ogni byte viene trasferito senza alterazioni. Amazon S3 supporta anche i seguenti algoritmi: SHA-1, SHA-256 e C. CRC32 CRC32 Amazon S3 utilizza uno o più di questi algoritmi per calcolare un valore di checksum aggiuntivo e memorizzarlo come parte dei metadati dell'oggetto. Per ulteriori informazioni sui checksum, consulta Verifica dell'integrità degli oggetti in Amazon S3.

Obiettivo

In questo tutorial, imparerai come caricare un oggetto su Amazon S3 utilizzando un caricamento multiparte e un checksum SHA-256 aggiuntivo tramite l'interfaccia a AWS riga di comando (CLI).AWS Imparerai anche come verificare l'integrità dei dati dell'oggetto calcolando l' MD5hash e il checksum SHA-256 dell'oggetto caricato.

Prerequisiti

Fase 1: creazione di un file di grandi dimensioni

Se hai già un file pronto per il caricamento, puoi utilizzarlo per questa esercitazione. In caso contrario, crea un file di 15 MB utilizzando i seguenti passaggi. Per i limiti relativi ai caricamenti multiparte, consulta Limiti del caricamenti in più parti di Amazon S3.

Creazione un file di grandi dimensioni

Per creare il file, utilizza uno dei seguenti comandi, a seconda del sistema operativo in uso.

Linux o macOS:

Per creare un file da 15 MB, apri il terminale locale ed esegui il seguente comando:

dd if=/dev/urandom of=census-data.bin bs=1M count=15

Questo comando crea un file chiamato census-data.bin pieno di byte casuali, con una dimensione di 15 MB.

Windows

Per creare un file da 15 MB, apri il terminale locale ed esegui il seguente comando:

fsutil file createnew census-data.bin 15728640

Questo comando crea un file chiamato census-data.bin con una dimensione di 15 MB di dati arbitrari (15728640 byte).

Fase 2: suddivisione del file in più file

Per eseguire il caricamento multiparte, è necessario dividere il file di grandi dimensioni in parti più piccole. È quindi possibile caricare le parti più piccole utilizzando il processo di caricamento multiparte. Questo passaggio mostra come suddividere il file di grandi dimensioni creato nella Fase 1 in parti più piccole. L'esempio seguente utilizza un file di 15 MB denominato census-data.bin.

Suddivisione di un file di grandi dimensioni in parti

Linux o macOS:

Per dividere il file di grandi dimensioni in parti da 5 MB, utilizza il comando split. Apri il terminale ed esegui il seguente comando:

split -b 5M -d census-data.bin census-part

Questo comando divide census-data.bin in parti da 5 MB denominate census-part**, dove ** è un suffisso numerico che parte da 00.

Windows

Per dividere il file di grandi dimensioni, usa PowerShell. Apri Powershell ed esegui il seguente script:

$inputFile = "census-data.bin"
$outputFilePrefix = "census-part"
$chunkSize = 5MB

$fs = [System.IO.File]::OpenRead($inputFile)
$buffer = New-Object byte[] $chunkSize
$fileNumber = 0

while ($fs.Position -lt $fs.Length) {
$bytesRead = $fs.Read($buffer, 0, $chunkSize)
$outputFile = "{0}{1:D2}" -f $outputFilePrefix, $fileNumber
$fileStream = [System.IO.File]::Create($outputFile)
$fileStream.Write($buffer, 0, $bytesRead)
$fileStream.Close()
$fileNumber++
}

$fs.Close()

Questo PowerShell script legge il file di grandi dimensioni in blocchi di 5 MB e scrive ogni blocco in un nuovo file con un suffisso numerico.

Dopo aver eseguito il comando appropriato, si dovrebbero vedere le parti nella directory in cui è stato eseguito il comando. Ogni parte avrà un suffisso corrispondente al suo numero di parte, ad esempio:

census-part00 census-part01 census-part02

Fase 3: creazione del caricamento multiparte con checksum aggiuntivo

Per iniziare il processo di caricamento multiparte, è necessario creare la richiesta di caricamento multiparte. Questa fase prevede l'avvio del caricamento multiparte e la specifica di un checksum aggiuntivo per l'integrità dei dati. L'esempio seguente utilizza il checksum SHA-256. Se si desidera fornire metadati che descrivono l'oggetto da caricare, è necessario fornirli nella richiesta di avvio del caricamento multiparte.

Per avviare il caricamento multiparte

Nel terminale, utilizza il seguente comando create-multipart-upload per avviare un caricamento multiparte per il bucket. Sostituisci amzn-s3-demo-bucket1 con il nome effettivo del bucket. Inoltre, sostituisci census_data_file con il nome del file scelto. Questo nome di file diventa la chiave dell'oggetto al termine del caricamento.

aws s3api create-multipart-upload --bucket amzn-s3-demo-bucket1 --key 'census_data_file' --checksum-algorithm sha256

Se la richiesta ha successo, si vedrà un output JSON come il seguente:

{
    "ServerSideEncryption": "AES256",
    "ChecksumAlgorithm": "SHA256",
    "Bucket": "amzn-s3-demo-bucket1",
    "Key": "census_data_file",
    "UploadId": "cNV6KCSNANFZapz1LUGPC5XwUVi1n6yUoIeSP138sNOKPeMhpKQRrbT9k0ePmgoOTCj9K83T4e2Gb5hQvNoNpCKqyb8m3.oyYgQNZD6FNJLBZluOIUyRE.qM5yhDTdhz"
}
        

Fase 4: caricamento delle parti del caricamento multiparte

In questa fase, si caricheranno le parti del caricamento multiparte sul bucket S3. Usa il comando upload-part per caricare ogni parte singolarmente. Questo processo richiede di specificare l'ID di caricamento, il numero di parte e il file da caricare per ogni parte.

Fase 5: elenco di tutte le parti del caricamento multiparte

Per completare il caricamento multiparte, è necessario un elenco di tutte le parti che sono state caricate per quel determinato caricamento multiparte. L'output del list-parts comando fornisce informazioni come il nome del bucket, la chiave, l'ID di caricamento, il numero di parte, checksum aggiuntivi e altro ETag ancora. È utile salvare questo risultato in un file, in modo da poterlo utilizzare per il passaggio successivo, quando si completa il processo di caricamento multiparte. È possibile creare un file di output JSON chiamato parts.json utilizzando il metodo seguente.

Fase 6: completamento del caricamento multiparte

Dopo aver caricato tutte le parti del caricamento multiparte e averle elencate, il passaggio finale consiste nel completare il caricamento multiparte. Questo passaggio unisce tutte le parti caricate in un unico oggetto nel bucket S3.

Per completare il caricamento multiparte

Per finalizzare il caricamento multiparte, utilizza il comando complete-multipart-upload. Questo comando richiede il file parts.json creato nella Fase 5, il nome del bucket e l'ID di caricamento. Sostituisci <amzn-s3-demo-bucket1> con il nome del bucket e <your-upload-id> con l'ID di caricamento di parts.json.

aws s3api complete-multipart-upload --multipart-upload file://parts.json --bucket amzn-s3-demo-bucket1 --key 'census_data_file' --upload-id <your-upload-id>

Ecco l'esempio di output:

{
    "ServerSideEncryption": "AES256",
    "Location": "https://amzn-s3-demo-bucket1.s3.us-east-2.amazonaws.com/census_data_file",
    "Bucket": "amzn-s3-demo-bucket1",
    "Key": "census_data_file",
    "ETag": "\"f453c6dccca969c457efdf9b1361e291-3\"",
    "ChecksumSHA256": "aI8EoktCdotjU8Bq46DrPCxQCGuGcPIhJ51noWs6hvk=-3"
}
            

Fase 7: conferma del fatto che l'oggetto è stato caricato nel proprio bucket

Dopo aver completato il caricamento multiparte, è possibile verificare che l'oggetto sia stato caricato correttamente sul bucket S3. Per elencare gli oggetti nel bucket e confermare la presenza del file appena caricato, utilizza il comando list-objects-v2

Per elencare l'oggetto caricato

Per elencare gli oggetti presenti, utilizza il comando list-objects-v2 del bucket. Sostituisci amzn-s3-demo-bucket1 con il nome effettivo del bucket:

aws s3api list-objects-v2 --bucket amzn-s3-demo-bucket1

Questo comando restituisce un elenco di oggetti presenti nel bucket. Cerca il file caricato (ad esempio, census_data_file) nell'elenco degli oggetti.

Per ulteriori informazioni, consulta la sezione Esempi del comando list-objects-v2 nella Guida all'utente AWS Command Line Interface .

Fase 8: Verifica l'integrità dell'oggetto con un checksum MD5

Quando si carica un oggetto, è possibile specificare un algoritmo di checksum da utilizzare per Amazon S3. Per impostazione predefinita, Amazon S3 memorizza il MD5 digest di byte come oggetto. ETag Per i caricamenti in più parti, non ETag è il checksum per l'intero oggetto, ma piuttosto un insieme di checksum per ogni singola parte.

Quando chiedi ad Amazon S3 di utilizzare checksum aggiuntivi, Amazon S3 calcola il valore del checksum per ogni parte e archivia i valori. Se si desidera recuperare i valori di checksum per le singole parti dei caricamenti multiparte mentre sono ancora in corso, si può usare list-parts.

Per ulteriori informazioni sul funzionamento dei checksum con gli oggetti di caricamento multiparte, consulta Verifica dell'integrità degli oggetti in Amazon S3.

Fase 9: verifica dell'integrità dell'oggetto con un checksum aggiuntivo

In questo passaggio, l'esercitazione utilizza SHA-256 come checksum aggiuntivo per convalidare l'integrità dell'oggetto. Se è stato utilizzato un checksum aggiuntivo diverso, utilizza invece quel valore di checksum.

Fase 10: eliminare le risorse

Se desideri ripulire i file creati in questa esercitazione, utilizza il metodo seguente. Per istruzioni sull'eliminazione dei file caricati sul bucket S3, consulta Eliminazione di oggetti Amazon S3 .

Elimina i file locali creati nella Fase 1:

Per rimuovere i file creati per il caricamento multiparte, esegui il seguente comando dalla tua directory di lavoro:

rm census-data.bin census-part* outfile parts.json