Risoluzione dei problemi di verifica dei dati - AWS DataSync

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Risoluzione dei problemi di verifica dei dati

Per impostazione predefinita, AWS DataSync verifica l'integrità dei dati al termine di un trasferimento. Utilizza le seguenti informazioni per aiutarti a diagnosticare gli errori e gli avvisi di verifica più comuni, come la modifica o l'eliminazione dei file prima del DataSync completamento della verifica dei dati.

In caso di problemi di verifica, molte volte è utile rivedere CloudWatch i registri (o rapporti sulle attività) oltre all'errore di esecuzione delle attività che riscontri. DataSyncfornisce log strutturati in JSON per le attività in modalità avanzata, mentre le attività in modalità Basic hanno registri non strutturati.

Vi sono delle discrepanze tra i contenuti di un file

Al termine dell'esecuzione dell'attività, viene visualizzato il seguente errore:

Transfer and verification completed. Verification detected mismatches. Files with mismatches are listed in Cloud Watch Logs

Nei CloudWatch registri, potresti notare che le verifiche non sono riuscite per i contenuti che differiscono tra le posizioni di origine e di destinazione. Questo può accadere se i file vengono modificati durante il trasferimento.

Ad esempio, i seguenti registri mostrano che file1.txt ha dstHash valori e diversimtime: srcHash

Esempio di log in modalità base
[NOTICE] Verification failed <> /directory1/directory2/file1.txt [NOTICE] /directory1/directory2/file1.txt srcMeta: type=R mode=0755 uid=65534 gid=65534 size=534528 atime=1633100003/684349800 mtime=1602647222/222919600 extAttrsHash=0 [NOTICE] srcHash: 0c506c26bd1e43bd3ac346734f1a9c16c4ad100d1b43c2903772ca894fd24e44 [NOTICE] /directory1/directory2/file1.txt dstMeta: type=R mode=0755 uid=65534 gid=65534 size=511001 atime=1633100003/684349800 mtime=1633106855/859227500 extAttrsHash=0 [NOTICE] dstHash: dbd798929f11a7c0201e97f7a61191a83b4e010a449dfc79fbb8233801067c46

In DataSync, mtime rappresenta l'ultima volta in cui è stato scritto un file prima della preparazione. Durante la verifica dei trasferimenti, DataSync confronta i mtime valori tra le posizioni di origine e di destinazione. Un errore di verifica come questo si verifica se il file mtime per un file non è lo stesso per entrambe le posizioni. Le differenze tra srcHash e dstHash indicano che il contenuto del file non corrisponde in entrambe le posizioni.

Operazioni da eseguire

Esegui questa operazione:

  1. Utilizzate un convertitore temporale per determinare se il file o l'oggetto di origine o di destinazione è stato modificato più di recente. Questo può aiutare a identificare la versione corrente.

  2. Per evitare che si verifichi nuovamente questo errore, pianifica l'esecuzione dell'operazione durante una finestra di manutenzione quando non ci sono attività all'origine e alla destinazione.

C'è una mancata corrispondenza tra i metadati SMB di un file

Al termine dell'esecuzione dell'attività, viene visualizzato il seguente errore:

Transfer and verification completed. Verification detected mismatches. Files with mismatches are listed in Cloud Watch Logs

Durante il trasferimento tra sistemi di storage che supportano il protocollo Server Message Block (SMB), è possibile che venga visualizzato questo errore quando gli attributi SMB estesi di un file non corrispondono tra origine e destinazione.

Ad esempio, i registri seguenti mostrano che file1.txt ha un extAttrsHash valore diverso tra le posizioni, a indicare che il contenuto del file è identico ma gli attributi estesi non sono stati impostati nella destinazione:

Esempio di log in modalità base
[NOTICE] Verification failed <> /directory1/directory2/file1.txt [NOTICE] /directory1/directory2/file1.txt srcMeta: type=R mode=0755 uid=65534 gid=65534 size=1469752 atime=1631354985/174924200 mtime=1536995541/986211400 extAttrsHash=2272191894 [NOTICE] srcHash: 38571d42b646ac8f4034b7518636b37dd0899c6fc03cdaa8369be6e81a1a2bb5 [NOTICE] /directory1/directory2/file1.txt dstMeta: type=R mode=0755 uid=65534 gid=65534 size=1469752 atime=1631354985/174924200 mtime=1536995541/986211400 extAttrsHash=3051150340 [NOTICE] dstHash: 38571d42b646ac8f4034b7518636b37dd0899c6fc03cdaa8369be6e81a1a2bb5

Potresti anche visualizzare un messaggio di errore correlato sugli attributi estesi:

[ERROR] Deferred error: WriteFileExtAttr2 failed to setextattrlist(filename="/directory1/directory2/file1.txt"): Input/output error
Operazione da eseguire

Questo errore si verifica in genere quando le autorizzazioni per copiare gli elenchi di controllo di accesso (ACLs) nella destinazione sono insufficienti. Per risolvere questo problema, consulta le seguenti guide di configurazione in base al tipo di destinazione:

I file da trasferire non si trovano più nella posizione di origine

Al termine dell'esecuzione dell'attività, viene visualizzato il seguente errore:

Transfer and verification completed. Selected files transferred except for files skipped due to errors. If no skipped files are listed in Cloud Watch Logs, please contact AWS Support for further assistance.

Nei registri, è possibile che vengano visualizzati errori che indicano che i file non si trovano nella posizione di origine. Questo può accadere se i file (come file1.dll efile2.dll) vengono eliminati dopo la preparazione ma prima del DataSync trasferimento:

Esempio di log in modalità base
[ERROR] Failed to open source file /file1.dll: No such file or directory [ERROR] Failed to open source file /file2.dll: No such file or directory
Operazione da eseguire

Per evitare queste situazioni, pianifica l'esecuzione dell'attività in assenza di attività nella posizione di origine.

Ad esempio, puoi eseguire l'attività durante una finestra di manutenzione quando gli utenti e le applicazioni non lavorano attivamente in quella posizione.

In alcuni casi, potresti non visualizzare i log associati a questo errore. In tal caso, contatta il Supporto AWS Centro.

DataSync non è possibile verificare i dati di destinazione

Al termine dell'esecuzione dell'attività, viene visualizzato il seguente errore:

Transfer and verification completed. Verification detected mismatches. Files with mismatches are listed in Cloud Watch Logs

Nei registri, potresti notare che non è DataSync possibile verificare determinate cartelle o file nella posizione di destinazione. Questi errori possono avere il seguente aspetto:

Esempio di log in modalità base
[ERROR] Failed to read metadata for destination file /directory1/directory2/file1.txt: No such file or directory

Per quanto riguarda i file, potresti riscontrare errori di verifica come questi:

Esempio di registro in modalità base
[NOTICE] Verification failed <> /directory1/directory2/file1.txt [NOTICE] /directory1/directory2/file1.txt srcMeta: type=R mode=0755 uid=65534 gid=65534 size=61533 atime=1633099987/747713800 mtime=1536995631/894267700 extAttrsHash=232104771 [NOTICE] srcHash: 1426fe40f669a7d36cca1b5329983df31a9aeff8eb9fe3ac885f26de2f8fff6b [NOTICE] /directory1/directory2/file1.txt dstMeta: type=R mode=0755 uid=65534 gid=65534 size=0 atime=0/0 mtime=0/0 extAttrsHash=0 [NOTICE] dstHash: 0000000000000000000000000000000000000000000000000000000000000000
Operazione da eseguire

Questi registri indicano che i dati di destinazione sono stati eliminati dopo il trasferimento ma prima della verifica. (I log hanno un aspetto simile quando i dati vengono caricati in una posizione di origine nello stesso periodo di tempo.)

Per evitare queste situazioni, pianifica l'esecuzione dell'attività in assenza di attività nella località di destinazione.

Ad esempio, puoi eseguire l'attività durante una finestra di manutenzione quando gli utenti e le applicazioni non lavorano attivamente in quella posizione.

DataSync non è in grado di leggere i metadati degli oggetti

Al termine dell'esecuzione dell'attività, viene visualizzato il seguente errore:

Transfer and verification completed. Selected files transferred except for files skipped due to errors. If no skipped files are listed in Cloud Watch Logs, please contact AWS Support for further assistance.

Nei tuoi log, potresti notare che non è DataSync possibile leggere a file1.png causa di una richiesta Amazon HeadObject S3 non riuscita. DataSync effettua HeadObject richieste presso le sedi S3 durante la preparazione e la verifica delle attività.

Esempio di log in modalità base
[WARN] Failed to read metadata for file /file1.png: S3 Head Object Failed
Operazioni da eseguire

Per risolvere questo problema, verifica se DataSync disponi del giusto livello di autorizzazioni per lavorare con il tuo bucket S3:

  • Assicurati che il ruolo IAM DataSync utilizzato per accedere alle tue sedi Amazon S3 consenta l's3:GetObjectautorizzazione. Per ulteriori informazioni, consulta Autorizzazioni richieste.

  • Se il tuo bucket S3 utilizza la crittografia lato server, assicurati che DataSync sia autorizzato ad accedere agli oggetti in quel bucket. Per ulteriori informazioni, consulta Accesso ai bucket S3 utilizzando la crittografia lato server.

C'è una mancata corrispondenza nei metadati definiti dal sistema di un oggetto

Al termine dell'esecuzione dell'attività in modalità avanzata tra i bucket S3, viene visualizzato il seguente errore:

Verification failed due to a difference in metadata

Potresti notare nei tuoi log una mancata corrispondenza nei metadati definiti dal sistema Amazon S3 di un oggetto. In questo esempio particolare, l'oggetto di origine non ha Content-Type metadati, mentre l'oggetto di destinazione sì. Ciò è accaduto perché il bucket S3 di destinazione applicava automaticamente "ContentType": "application/octet-stream" i metadati all'oggetto quando DataSync lo trasferiva lì.

Esempio di registro in modalità avanzata
{ "Action": "VERIFY", "Source": { "LocationId": "loc-0b3017fc4ba4a2d8d", "RelativePath": "encoding/content-null", "Metadata": { "Type": "Object", "ContentSize": 24, "LastModified": "2024-12-23T15:48:15Z", "S3": { "SystemMetadata": { "ETag": "\"68b9c323bb846841ee491481f576ed4a\"" }, "UserMetadata": {}, "Tags": {} } } }, "Destination": { "LocationId": "loc-abcdef01234567890", "RelativePath": "encoding/content-null", "Metadata": { "Type": "Object", "ContentSize": 24, "LastModified": "2024-12-23T16:00:03Z", "S3": { "SystemMetadata": { "ContentType": "application/octet-stream", "ETag": "\"68b9c323bb846841ee491481f576ed4a\"" }, "UserMetadata": { "file-mtime": "1734968895000" }, "Tags": {} } } }, "TransferType": "CONTENT_AND_METADATA", "ErrorCode": "MetadataDiffers", "ErrorDetail": "Verification failed due to a difference in metadata" }
Operazione da eseguire

Per evitare questo errore, aggiorna gli oggetti di posizione di origine in modo da includere la proprietà Content-Type dei metadati.

Comprensione della durata della verifica dei dati

DataSync la verifica include un SHA256 checksum sul contenuto dei file e un confronto esatto dei metadati dei file tra le posizioni. La durata della verifica dipende da diversi fattori, tra cui il numero di file o oggetti coinvolti, la dimensione dei dati nei sistemi di storage e le prestazioni di questi sistemi.

Operazione da eseguire

Dati i fattori che possono influire sui tempi di verifica, non dovresti fare nulla. Tuttavia, se l'esecuzione dell'attività sembra bloccata con uno stato di verifica, contatta il Supporto AWS Centro.