Entendendo como DataSync manipula metadados de arquivos e objetos - AWS DataSync
Metadados no nível de sistemaMetadados copiados nas transferências do Amazon S3Metadados copiados em transferências de NFSMetadados copiados em transferências de SMBMetadados copiados em outros cenários de transferênciaCompreender quando e como DataSync aplica os metadados POSIX padrão

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Entendendo como DataSync manipula metadados de arquivos e objetos

AWS DataSync pode preservar seus metadados de arquivo ou objeto durante uma transferência de dados. A forma como seus metadados são copiados depende dos locais de transferência e se esses locais usam tipos semelhantes de metadados.

Metadados no nível de sistema

Em geral, DataSync não copia metadados no nível do sistema. Por exemplo, ao transferir a partir de um servidor de arquivos SMB, as permissões que você configurou no nível do sistema de arquivos não são copiadas para o sistema de armazenamento de destino.

Há exceções. Ao transferir entre o Amazon S3 e outro armazenamento de objetos DataSync , copia alguns metadados de objetos definidos pelo sistema.

Metadados copiados nas transferências do Amazon S3

As tabelas a seguir descrevem quais metadados DataSync podem ser copiados quando uma transferência envolve uma localização do Amazon S3.

Para o Amazon S3

Ao copiar a partir de um desses locais Para este local DataSync pode copiar

  • NFS

  • Amazon EFS

  • FSx para Lustre

  • FSx para OpenZFS

  • FSx para ONTAP (usando NFS)

  • Amazon S3

O seguinte como metadados do usuário do Amazon S3:

  • Time stamps de modificação de arquivos e pastas

  • Carimbos de data/hora de acesso a arquivos e pastas (só é DataSync possível fazer isso com base no melhor esforço)

  • ID do usuário e ID do grupo

  • Permissões POSIX

Os metadados de arquivo armazenados nos metadados do usuário do Amazon S3 são interoperáveis com compartilhamentos NFS nos gateways de arquivo usando AWS Storage Gateway. Um gateway de arquivos permite o acesso de baixa latência das redes locais aos dados que foram copiados para o Amazon S3 pelo. DataSync Esses metadados também são interoperáveis com FSx o for Lustre.

Quando DataSync copia objetos que contêm esses metadados de volta para um servidor NFS, os metadados do arquivo são restaurados. Restaurar metadados exige conceder permissões elevadas para o servidor NFS. Para obter mais informações, consulte Configurando AWS DataSync transferências com um servidor de arquivos NFS.

Entre o Amazon S3 e outros armazenamentos de objetos

Ao copiar entre esses locais DataSync pode copiar

  • Armazenamento de objetos

  • Amazon S3

  • Metadados do objeto definidos pelo usuário

  • Tags de objetos

  • Os seguintes metadados de objetos definidos pelo sistema:

    • Content-Disposition

    • Content-Encoding

    • Content-Language

    • Content-Type

    Observação: DataSync copia metadados no nível do sistema para todos os objetos durante uma transferência inicial. Se você configurar sua tarefa para transferir somente os dados que foram alterados, DataSync não copiará os metadados do sistema nas transferências subsequentes, a menos que o conteúdo do objeto ou os metadados do usuário também tenham sido modificados.

DataSync não copia outros metadados do objeto, como listas de controle de acesso a objetos (ACLs), versões anteriores do objeto ou a chave da última modificação.

  • Microsoft Azure Blob Storage

  • Amazon S3

Entre o Amazon S3 e o HDFS

Ao copiar entre esses locais DataSync pode copiar

  • Hadoop Distributed File System (HDFS)

  • Amazon S3

O seguinte como metadados do usuário do Amazon S3:

  • Time stamps de modificação de arquivos e pastas

  • Carimbos de data/hora de acesso a arquivos e pastas (só é DataSync possível fazer isso com base no melhor esforço)

  • ID do usuário e ID do grupo

  • Permissões POSIX

O HDFS usa cadeias de caracteres para armazenar a propriedade de usuários e grupos de arquivos e pastas, em vez de identificadores numéricos, como e. UIDs GIDs

Metadados copiados em transferências de NFS

A tabela a seguir descreve quais metadados DataSync podem ser copiados entre locais que usam o Network File System (NFS).

Ao copiar entre esses locais DataSync pode copiar

  • NFS

  • Amazon EFS

  • Amazon FSx para Lustre

  • Amazon FSx para OpenZFS

  • Amazon FSx para NetApp ONTAP (usando NFS)

  • Time stamps de modificação de arquivos e pastas

  • Carimbos de data/hora de acesso a arquivos e pastas (só é DataSync possível fazer isso com base no melhor esforço)

  • ID do usuário (UID) e ID do grupo (GID)

  • Permissões POSIX

Metadados copiados em transferências de SMB

A tabela a seguir descreve quais metadados DataSync podem ser copiados entre locais que usam o Server Message Block (SMB).

Ao copiar entre esses locais DataSync pode copiar

  • SMB

  • Servidor FSx de arquivos Amazon para Windows

  • FSx para ONTAP (usando SMB)

  • Time stamps de arquivo: tempo de acesso, tempo de modificação e tempo de criação

  • Identificador de segurança do proprietário do arquivo (SID)

  • Atributos de arquivo padrão: somente leitura (R), arquivamento (A), sistema (S), oculto (H), compactado (C), não indexado ao conteúdo (I), criptografado (E), temporário (T), off-line (O) e esparso (P)

    DataSync tenta copiar os atributos de arquivamento (A), compactado (C), não indexado ao contexto (I), esparsos (P) e temporários (T) com base no melhor esforço. Se esses atributos não forem aplicados ao destino, eles serão ignorados durante a verificação da tarefa.

  • Listas de acesso discricionário do NTFS (DACLs), que determinam se o acesso a um objeto deve ser concedido.

  • Listas de controle de acesso do sistema NTFS (SACLs), que são usadas pelos administradores para registrar tentativas de acessar um objeto protegido.

    Nota: não SACLs são copiados se você usar a versão 1.0 do SMB.

    Copiar DACLs e SACLs requer a concessão de permissões específicas ao usuário do Windows que DataSync usa para acessar sua localização usando SMB. Para obter mais informações, consulte criar um local para SMB, FSx Windows File Server ou FSx ONTAP (dependendo do tipo de local em sua transferência).

Metadados copiados em outros cenários de transferência

DataSync trata os metadados das seguintes maneiras ao copiar entre esses sistemas de armazenamento (a maioria dos quais tem estruturas de metadados diferentes).

Ao copiar a partir de um desses locais Para um desses locais DataSync pode copiar

  • SMB

  • FSx para Windows File Server

  • FSx para ONTAP (usando SMB)

  • Amazon EFS

  • FSx para Lustre

  • FSx para OpenZFS

  • FSx para ONTAP (usando NFS)

  • Amazon S3

  • Armazenamento de objetos

  • Azure Blob Storage

  • NFS

Metadados POSIX padrão para todos os arquivos e pastas no sistema de arquivos de destino ou objetos no bucket do S3 de destino. Essa abordagem inclui o uso dos valores do ID de usuário POSIX e do ID de grupo.

Metadados baseados em Windows (como ACLs) não são preservados.

  • Armazenamento de objetos

  • Amazon S3

  • Azure Blob Storage

  • Amazon EFS

  • FSx para Lustre

  • FSx para OpenZFS

  • FSx para ONTAP (usando NFS)

Metadados POSIX padrão nos arquivos e nas pastas de destino. Essa abordagem inclui o uso dos valores do ID de usuário POSIX e do ID de grupo.

  • Amazon EFS

  • FSx para Lustre

  • FSx para OpenZFS

  • FSx para ONTAP (usando NFS)

  • Azure Blob Storage

O seguinte é um metadado definido pelo usuário:

  • Time stamps de modificação de arquivos e pastas

  • Carimbos de data/hora de acesso a arquivos e pastas (só é DataSync possível fazer isso com base no melhor esforço)

  • ID do usuário e ID do grupo

  • Permissões POSIX

  • HDFS

  • Amazon EFS

  • FSx para Lustre

  • FSx para OpenZFS

  • FSx para ONTAP (usando NFS)

  • Time stamps de modificação de arquivos e pastas

  • Carimbos de data/hora de acesso a arquivos e pastas (só é DataSync possível fazer isso com base no melhor esforço)

  • Permissões POSIX

O HDFS armazena a propriedade de usuários e grupos de arquivos e pastas como cadeias de caracteres em vez de identificadores numéricos (como e). UIDs GIDs Os valores padrão para UIDs e GIDs são aplicados no sistema de arquivos de destino. Para obter mais informações, consulte Compreender quando e como DataSync aplica os metadados POSIX padrão.

  • Amazon S3

  • Amazon EFS

  • FSx para Lustre

  • FSx para OpenZFS

  • FSx para Windows File Server

  • FSx para ONTAP

  • HDFS

 Data e hora de arquivos e pastas do local de origem. O proprietário do arquivo ou da pasta é definido com base no usuário do HDFS ou na entidade principal do Kerberos que você especificou ao criar o local de transferência do HDFS. A configuração do mapeamento de grupos no cluster do Hadoop determina o grupo.

  • Amazon S3

  • Amazon EFS

  • FSx para Lustre

  • FSx para OpenZFS

  • FSx para ONTAP (usando NFS)

  • Armazenamento de objetos

  • NFS

  • HDFS

  • SMB

  • FSx para Windows File Server

  • FSx para ONTAP (usando SMB)

 Data e hora de arquivos e pastas do local de origem. A propriedade é definida com base no usuário do Windows que foi especificado DataSync para acessar o compartilhamento da Amazon FSx ou SMB. As permissões são herdadas do diretório principal.

  • Azure Blob Storage

  • FSx para Windows File Server

  • FSx para ONTAP (usando SMB)

Compreender quando e como DataSync aplica os metadados POSIX padrão

DataSync aplica metadados POSIX padrão nas seguintes situações:

  • Quando os locais de origem e destino da sua transferência não têm estruturas de metadados semelhantes

  • Quando não há metadados no local de origem

A tabela a seguir descreve como os metadados POSIX padrão são DataSync aplicados durante esses tipos de transferências:

Fonte Destination (Destino) Permissões de arquivo Permissões da pasta UID GID

  • Amazon S31

  • Armazenamento de objetos1

  • Armazenamento de Blobs do Microsoft Azure1

  • Amazon EFS

  • FSx para Lustre

  • FSx para OpenZFS

  • FSx para ONTAP (usando NFS)

  • NFS

0755

 0755

65534

65534

  • SMB

  • Amazon S3

  • Armazenamento de objetos

  • Amazon EFS

  • FSx para Lustre

  • FSx para OpenZFS

  • FSx para ONTAP (usando NFS)

  • NFS

0644

0755

65534

65534

  • HDFS

  • Amazon EFS

  • FSx para Lustre

  • FSx para OpenZFS

  • FSx para ONTAP (usando NFS)

  • NFS

0644

0755

65534

65534

1 Nos casos em que os objetos não têm metadados que foram aplicados anteriormente por DataSync.