As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.
Solucionar problemas de verificação de dados
Por padrão, o AWS DataSync verifica a integridade dos dados no final de uma transferência. Use as informações a seguir para ajudar a diagnosticar erros e avisos comuns de verificação, como arquivos modificados ou excluídos antes que o DataSync termine de verificar os dados
Nos problemas de verificação, frequentemente é útil analisar os logs do CloudWatch (ou relatórios de tarefas), além do erro de execução da tarefa que você está vendo. O DataSync fornece logs estruturados em JSON para tarefas do modo Avançado, enquanto as tarefas do modo Básico têm logs não estruturados.
Há incompatibilidades entre o conteúdo de um arquivo
Quando a execução da tarefa for concluída, você verá o seguinte erro:
Transfer and verification completed. Verification detected mismatches. Files with mismatches are listed in Cloud Watch Logs
Nos logs do CloudWatch, você pode notar falhas nas verificações de conteúdos que diferem entre os locais de origem e de destino. Isso pode acontecer se os arquivos forem modificados durante a transferência.
Por exemplo, os logs a seguir mostram que file1.txt tem diferentes valores mtime, srcHash e dstHash:
- Exemplo de log do modo Básico
-
[NOTICE] Verification failed <> /directory1/directory2/file1.txt [NOTICE] /directory1/directory2/file1.txt srcMeta: type=R mode=0755 uid=65534 gid=65534 size=534528 atime=1633100003/684349800 mtime=1602647222/222919600extAttrsHash=0 [NOTICE] srcHash:0c506c26bd1e43bd3ac346734f1a9c16c4ad100d1b43c2903772ca894fd24e44[NOTICE] /directory1/directory2/file1.txt dstMeta: type=R mode=0755 uid=65534 gid=65534 size=511001 atime=1633100003/684349800 mtime=1633106855/859227500extAttrsHash=0 [NOTICE] dstHash:dbd798929f11a7c0201e97f7a61191a83b4e010a449dfc79fbb8233801067c46
No DataSync, mtime representa a última vez em que um arquivo foi gravado antes da preparação. Ao verificar as transferências, o DataSync compara os valores mtime entre os locais de origem e destino. Uma falha de verificação como essa ocorre se o mtime de um arquivo não for o mesmo para os dois locais. As diferenças entre srcHash e dstHash indicam que o conteúdo do arquivo não coincidem nos dois locais.
Medidas a serem tomadas
Faça o seguinte:
-
Use um conversor de época para determinar se o arquivo ou objeto de origem ou destino foi modificado mais recentemente. Isso pode ajudar a identificar qual versão é atual.
-
Para evitar esse erro novamente, programe a tarefa para ser executada durante uma janela de manutenção quando não houver atividade na origem e no destino.
Há uma incompatibilidade entre os metadados SMB de um arquivo
Quando a execução da tarefa for concluída, você verá o seguinte erro:
Transfer and verification completed. Verification detected mismatches. Files with mismatches are listed in Cloud Watch Logs
Ao transferir entre sistemas de armazenamento que suportam o protocolo Server Message Block (SMB), você pode ver esse erro quando os atributos SMB estendidos de um arquivo não coincidem entre origem e destino.
Por exemplo, os logs a seguir mostram que file1.txt tem um extAttrsHash valor diferente entre os locais, indicando que o conteúdo do arquivo é idêntico, mas os atributos estendidos não foram definidos no destino:
- Exemplo de log do modo Básico
-
[NOTICE] Verification failed <> /directory1/directory2/file1.txt [NOTICE] /directory1/directory2/file1.txt srcMeta: type=R mode=0755 uid=65534 gid=65534 size=1469752 atime=1631354985/174924200 mtime=1536995541/986211400 extAttrsHash=2272191894[NOTICE] srcHash: 38571d42b646ac8f4034b7518636b37dd0899c6fc03cdaa8369be6e81a1a2bb5 [NOTICE] /directory1/directory2/file1.txt dstMeta: type=R mode=0755 uid=65534 gid=65534 size=1469752 atime=1631354985/174924200 mtime=1536995541/986211400 extAttrsHash=3051150340[NOTICE] dstHash: 38571d42b646ac8f4034b7518636b37dd0899c6fc03cdaa8369be6e81a1a2bb5
Você também pode ver uma mensagem de erro relacionada com os atributo estendidos:
[ERROR] Deferred error: WriteFileExtAttr2 failed to setextattrlist(filename="/directory1/directory2/file1.txt"): Input/output error
Ação a realizar
Esse erro geralmente ocorre quando não há permissões suficientes para copiar listas de controle de acesso (ACLs) no destino. Para resolver esse problema, consulte os seguintes guias de configuração com base no tipo de destino:
-
Permissões exigidas com FSx para sistemas de arquivos do Windows File Server
-
Permissões exigidas com FSx para sistemas de arquivos ONTAP que usam SMB
Os arquivos a serem transferidos não estão mais no local de origem
Quando a execução da tarefa for concluída, você verá o seguinte erro:
Transfer and verification completed. Selected files transferred except for files skipped due to errors. If no skipped files are listed in Cloud Watch Logs, please contact AWS Support for further assistance.
Nos logs, você pode ver erros indicando que os arquivos não estão no local de origem. Isso pode acontecer se os arquivos (como file1.dll e file2.dll) forem excluídos após a preparação, mas antes que o DataSync os transfira:
- Exemplo de log do modo Básico
-
[ERROR] Failed to open source file /file1.dll: No such file or directory [ERROR] Failed to open source file /file2.dll: No such file or directory
Ação a realizar
Para evitar essas situações, programe a tarefa para ser executada quando não houver atividade no local de origem.
Por exemplo, você pode executar a tarefa durante uma janela de manutenção quando usuários e aplicações não estiverem trabalhando ativamente com esse local.
Em alguns casos, você pode não ver os logs associados a esse erro. Se isso acontecer, entre em contato com o AWS Support Center
O DataSync não pode verificar os dados de destino
Quando a execução da tarefa for concluída, você verá o seguinte erro:
Transfer and verification completed. Verification detected mismatches. Files with mismatches are listed in Cloud Watch Logs
Nos logs, você pode notar que o DataSync não pode verificar determinadas pastas ou arquivos no local de destino. Esses erros podem ser semelhantes a:
- Exemplo de log do modo Básico
-
[ERROR] Failed to read metadata for destination file /directory1/directory2/file1.txt: No such file or directory
Para arquivos, você pode ver falhas de verificação como estas:
- Exemplo de log do modo Básico
-
[NOTICE] Verification failed <> /directory1/directory2/file1.txt [NOTICE] /directory1/directory2/file1.txt srcMeta: type=R mode=0755 uid=65534 gid=65534 size=61533 atime=1633099987/747713800 mtime=1536995631/894267700 extAttrsHash=232104771 [NOTICE] srcHash: 1426fe40f669a7d36cca1b5329983df31a9aeff8eb9fe3ac885f26de2f8fff6b [NOTICE] /directory1/directory2/file1.txt dstMeta: type=R mode=0755 uid=65534 gid=65534 size=0 atime=0/0 mtime=0/0 extAttrsHash=0 [NOTICE] dstHash: 0000000000000000000000000000000000000000000000000000000000000000
Ação a realizar
Esses logs indicam que os dados de destino foram excluídos após a transferência, mas antes da verificação. (Os logs parecem semelhantes quando os dados são enviados para um local de origem durante o mesmo período.)
Para evitar essas situações, programe a tarefa para ser executada quando não houver atividade no local de destino.
Por exemplo, você pode executar a tarefa durante uma janela de manutenção quando usuários e aplicações não estiverem trabalhando ativamente com esse local.
O DataSync não consegue ler os metadados do objeto
Quando a execução da tarefa for concluída, você verá o seguinte erro:
Transfer and verification completed. Selected files transferred except for files skipped due to errors. If no skipped files are listed in Cloud Watch Logs, please contact AWS Support for further assistance.
Nos logs, você pode notar que o DataSync não consegue ler file1.png devido a uma falha na solicitação do Amazon S3 HeadObject. O DataSync faz solicitações HeadObject com locais do S3 durante a preparação e verificação da tarefa.
- Exemplo de log do modo Básico
-
[WARN] Failed to read metadata for file /file1.png: S3 Head Object Failed
Medidas a serem tomadas
Para corrigir esse problema, verifique se o DataSync tem o nível certo de permissões para trabalhar com o bucket do S3:
-
Certifique-se de que o perfil do IAM que o DataSync usa para acessar os locais do Amazon S3 conceda a permissão
s3:GetObject. Para obter mais informações, consulte Permissões obrigatórias. -
Se o bucket do S3 usar criptografia do lado do servidor, certifique-se de que o DataSync tenha permissão para acessar os objetos nesse bucket. Para obter mais informações, consulte Acessar buckets do S3 usando criptografia no lado do servidor.
Há uma incompatibilidade nos metadados definidos pelo sistema de um objeto
Quando a execução de tarefas no modo avançado entre buckets do S3 termina, você verá o seguinte erro:
Verification failed due to a difference in metadata
Você pode notar nos logs uma incompatibilidade nos metadados definidos pelo sistema Amazon S3 de um objeto. Neste exemplo específico, o objeto de origem não tem metadados Content-Type, mas o objeto de destino sim. Isso aconteceu porque o bucket do S3 de destino aplicou automaticamente os metadados "ContentType":
"application/octet-stream" ao objeto quando o DataSync os transferiu para lá.
- Exemplo de log do modo Avançado
-
{ "Action": "VERIFY", "Source": { "LocationId": "loc-0b3017fc4ba4a2d8d", "RelativePath": "encoding/content-null", "Metadata": { "Type": "Object", "ContentSize": 24, "LastModified": "2024-12-23T15:48:15Z", "S3": { "SystemMetadata": { "ETag": "\"68b9c323bb846841ee491481f576ed4a\"" }, "UserMetadata": {}, "Tags": {} } } }, "Destination": { "LocationId": "loc-abcdef01234567890", "RelativePath": "encoding/content-null", "Metadata": { "Type": "Object", "ContentSize": 24, "LastModified": "2024-12-23T16:00:03Z", "S3": { "SystemMetadata": { "ContentType": "application/octet-stream", "ETag": "\"68b9c323bb846841ee491481f576ed4a\"" }, "UserMetadata": { "file-mtime": "1734968895000" }, "Tags": {} } } }, "TransferType": "CONTENT_AND_METADATA", "ErrorCode": "MetadataDiffers", "ErrorDetail": "Verification failed due to a difference in metadata" }
Ação a realizar
Para evitar esse erro, atualize os objetos de local de origem para incluir a propriedade de metadados Content-Type.
Noções básicas da duração da verificação de dados
A verificação do DataSync inclui uma soma de verificação SHA256 no conteúdo do arquivo e uma comparação exata dos metadados do arquivo entre os locais. A duração da verificação depende de vários fatores, incluindo o número de arquivos ou objetos envolvidos, o tamanho dos dados nos sistemas de armazenamento e o desempenho desses sistemas.
Ação a realizar
Considerando os fatores que podem afetar o tempo de verificação, você não precisará executar ações nesse momento. No entanto, se a execução da tarefa parecer paralisada em um status de verificação, entre em contato com o AWS Support Center