As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá. # Transferência de arquivos ou objetos específicos usando um manifesto Um *manifesto* é uma lista de arquivos ou objetos que você AWS DataSync deseja transferir. Por exemplo, em vez de precisar transferir tudo em um bucket do S3 com potencialmente milhões de objetos, DataSync transfere somente os objetos que você lista em seu manifesto. Os manifestos são semelhantes aos [filtros](filtering.md), mas permitem identificar exatamente quais arquivos ou objetos transferir em vez de dados que correspondem a um padrão de filtro. **nota** O tamanho máximo permitido para o arquivo de manifesto com tarefas do modo Avançado é 20 GB. ## Criação do manifesto Um manifesto é um arquivo formatado em valores separados por vírgula (CSV) que lista os arquivos ou objetos no local de origem que você deseja transferir. DataSync Se a origem for um bucket do S3, você também poderá incluir qual versão de um objeto transferir. **Topics** + [Diretrizes](#transferring-with-manifest-guidelines) + [Exemplos de manifesto](#manifest-examples) ### Diretrizes Use essas diretrizes para ajudá-lo a criar um manifesto que funcione com DataSync. ------ #### [ Do ] + Especifique o caminho completo de cada arquivo ou objeto que você deseja transferir. Você não pode especificar apenas um diretório ou uma pasta com a intenção de transferir todo o seu conteúdo. Para essas situações, considere usar um [filtro de inclusão](filtering.md) em vez de um manifesto. + Certifique-se de que cada caminho de arquivo ou objeto seja relativo ao caminho de montagem, pasta, diretório ou prefixo que você especificou ao configurar seu local de DataSync origem. Por exemplo, digamos que você [configure um local do S3](create-s3-location.md#create-s3-location-how-to) com um prefixo denominado `photos`. Esse prefixo inclui um objeto `my-picture.png` que você deseja transferir. No manifesto, você só precisa especificar o objeto (`my-picture.png`) em vez de especificar o prefixo e o objeto (`photos/my-picture.png`). + Para especificar a versão do objeto Amazon S3 IDs, separe o caminho do objeto e o ID da versão usando uma vírgula. O exemplo a seguir mostra uma entrada de manifesto com dois campos. O primeiro campo inclui um objeto denominado `picture1.png`. O segundo campo é separado por vírgula e inclui um ID de versão de `111111`: ``` picture1.png,111111 ``` + Use aspas nas seguintes situações: + Quando um caminho contiver caracteres especiais (vírgulas, aspas e fins de linha): `"filename,with,commas.txt"` + Quando um caminho se estender por várias linhas: ``` "this is a filename.txt" ``` + Quando um caminho incluir aspas: `filename""with""quotes.txt` Isso representa um caminho denominado `filename"with"quotes.txt`. Essas regras de aspas também se aplicam aos campos de ID de versão. Em geral, se um campo de manifesto tiver aspas, você deverá usar outras aspas como caractere de escape. + Separe cada entrada de arquivo ou objeto com uma nova linha. Você pode separar as linhas usando quebras de linha no estilo do Linux (alimentação de linha ou retorno de carro) ou do Windows (retorno de carro seguido por uma alimentação de linha). + Salve o manifesto (por exemplo, `my-manifest.csv` ou `my-manifest.txt`). + Faça upload do manifesto em um bucket do S3 que [DataSync possa ser acessado](#transferring-with-manifest-access). Esse bucket não precisa estar na mesma conta Região da AWS ou na qual você está usando DataSync. ------ #### [ Don't ] + Especifique apenas um diretório ou uma pasta com a intenção de transferir todo o seu conteúdo. Um manifesto pode incluir somente caminhos completos para os arquivos ou os objetos que você deseja transferir. Se você configurar o local de origem para usar um caminho de montagem, pasta, diretório ou prefixo específico, não precisará incluí-lo em seu manifesto. + Especifique um caminho de arquivo ou objeto que exceda 4.096 caracteres. + Especifique um caminho de arquivo, caminho de objeto ou ID de versão de objeto Amazon S3 que exceda 1.024 bytes. + Especifique caminhos duplicados de arquivos ou objetos. + Inclua um ID de versão do objeto se o local de origem não for um bucket do S3. + Inclua mais de dois campos em uma entrada de manifesto. Uma entrada só pode incluir um caminho de arquivo ou objeto e (se aplicável) um ID de versão de objeto Amazon S3. + Inclua caracteres que não estejam em conformidade com a codificação UTF-8. + Inclua espaços não intencionais em seus campos de entrada fora das aspas. ------ ### Exemplos de manifesto Use esses exemplos para ajudá-lo a criar um manifesto que funcione com DataSync o. **Manifesto com caminhos completos de arquivos ou objetos** O exemplo a seguir mostra um manifesto com caminhos completos dos arquivos ou objetos para transferir. ``` photos/picture1.png photos/picture2.png photos/picture3.png ``` **Manifesto somente com chaves de objeto** O exemplo a seguir mostra um manifesto com objetos para transferir de um local de origem do Amazon S3. Como o [local é configurado](create-s3-location.md#create-s3-location-how-to) com o prefixo `photos`, apenas as chaves do objeto são especificadas. ``` picture1.png picture2.png picture3.png ``` **Manifesto com caminhos e versão do objeto IDs** As duas primeiras entradas no exemplo de manifesto a seguir incluem as versões específicas de objetos do Amazon S3 a serem transferidas. ``` photos/picture1.png,111111 photos/picture2.png,121212 photos/picture3.png ``` **Manifesto com caracteres UTF-8** O exemplo a seguir mostra um manifesto com arquivos que incluem caracteres UTF-8. ``` documents/résumé1.pdf documents/résumé2.pdf documents/résumé3.pdf ``` ## Fornecendo DataSync acesso ao seu manifesto Você precisa de uma função AWS Identity and Access Management (IAM) que dê DataSync acesso ao seu manifesto em seu bucket do S3. Esse perfil inclui as seguintes permissões: + `s3:GetObject` + `s3:GetObjectVersion` Você pode gerar essa função automaticamente no DataSync console ou criar a função você mesmo. **nota** Se seu manifesto estiver em um outro Conta da AWS, você deverá criar essa função manualmente. ### Criação automática de um perfil do IAM Ao criar ou iniciar uma tarefa de transferência no console, DataSync pode criar uma função do IAM para você com `s3:GetObject` as `s3:GetObjectVersion` permissões necessárias para acessar seu manifesto. **Permissões necessárias para criar automaticamente o perfil** Para criar automaticamente a função, certifique-se de que a função que você está usando para acessar o DataSync console tenha as seguintes permissões: + `iam:CreateRole` + `iam:CreatePolicy` + `iam:AttachRolePolicy` ### Criação do perfil do IAM (mesma conta) Você pode criar manualmente a função do IAM que DataSync precisa acessar seu manifesto. As instruções a seguir pressupõem que você esteja no mesmo Conta da AWS local em que usa DataSync e que o bucket S3 do seu manifesto esteja localizado. 1. Abra o console do IAM em [https://console.aws.amazon.com/iam/](https://console.aws.amazon.com/iam/). 1. No painel de navegação esquerdo, em **Gerenciamento de acesso**, escolha **Perfis** e, em seguida, escolha **Criar perfil**. 1. Na página **Selecionar entidade confiável**, para **Tipo de entidade confiável**, escolha **AWS service (Serviço da AWS)**. 1. **Em Caso de uso**, escolha **DataSync**na lista suspensa e selecione. **DataSync** Escolha **Próximo**. 1. Na página **Adicionar permissões**, escolha **Próximo**. Forneça um nome ao perfil e escolha **Criar perfil**. 1. Na página **Perfis**, procure o perfil que você acabou de criar e escolha seu nome. 1. Na página do perfil, escolha a guia **Permissões**. Selecione **Adicionar permissões** e, em seguida, **Criar política em linha**. 1. Escolha a guia **JSON** e cole o seguinte exemplo de política no editor de políticas: ------ #### [ JSON ] **** ``` { "Version":"2012-10-17", "Statement": [{ "Sid": "DataSyncAccessManifest", "Effect": "Allow", "Action": [ "s3:GetObject", "s3:GetObjectVersion" ], "Resource": "arn:aws:s3:::amzn-s3-demo-bucket/my-manifest.csv" }] } ``` ------ 1. No exemplo de política que você acabou de colar, substitua os seguintes valores pelos seus: 1. Substitua `amzn-s3-demo-bucket` pelo nome do bucket do S3 que está hospedando o manifesto. 1. Substitua `my-manifest.csv` pelo nome do arquivo do manifesto. 1. Escolha **Próximo**. Digite um nome para a política e escolha **Criar política**. 1. (Recomendado) Para evitar o [problema “confused deputy” entre serviços](cross-service-confused-deputy-prevention.md), faça o seguinte: 1. Na página Detalhes do perfil, escolha a guia **Relações de confiança**. Escolha **Editar política de confiança**. 1. Atualize a política de confiança usando o exemplo a seguir, que inclui as chaves de contexto de condição global `aws:SourceArn` e `aws:SourceAccount`: ------ #### [ JSON ] **** ``` { "Version":"2012-10-17", "Statement": [ { "Effect": "Allow", "Principal": { "Service": "datasync.amazonaws.com" }, "Action": "sts:AssumeRole", "Condition": { "StringEquals": { "aws:SourceAccount": "555555555555" }, "ArnLike": { "aws:SourceArn": "arn:aws:datasync:us-east-1:555555555555:*" } } } ] } ``` ------ + Substitua cada instância `account-id` pelo Conta da AWS ID em que você está usando DataSync. + `region`Substitua pelo Região da AWS local em que você está usando DataSync. 1. Escolha **Atualizar política**. Você criou uma função do IAM que permite DataSync acessar seu manifesto. Especifique esse perfil ao [criar](#manifest-creating-task) ou [iniciar](#manifest-starting-task) a tarefa. ### Criação do perfil do IAM (outra conta) Se seu manifesto estiver em um bucket do S3 que pertença a outro Conta da AWS, você deverá criar manualmente a função do IAM DataSync usada para acessar o manifesto. Em seguida, no Conta da AWS local em que seu manifesto está localizado, você precisa incluir a função na política de bucket do S3. #### Criar a função 1. Abra o console do IAM em [https://console.aws.amazon.com/iam/](https://console.aws.amazon.com/iam/). 1. No painel de navegação esquerdo, em **Gerenciamento de acesso**, escolha **Perfis** e, em seguida, escolha **Criar perfil**. 1. Na página **Selecionar entidade confiável**, para **Tipo de entidade confiável**, escolha **AWS service (Serviço da AWS)**. 1. **Em Caso de uso**, escolha **DataSync**na lista suspensa e selecione. **DataSync** Escolha **Próximo**. 1. Na página **Adicionar permissões**, escolha **Próximo**. Forneça um nome ao perfil e escolha **Criar perfil**. 1. Na página **Perfis**, procure o perfil que você acabou de criar e escolha seu nome. 1. Na página do perfil, escolha a guia **Permissões**. Selecione **Adicionar permissões** e, em seguida, **Criar política em linha**. 1. Escolha a guia **JSON** e cole o seguinte exemplo de política no editor de políticas: ------ #### [ JSON ] **** ``` { "Version":"2012-10-17", "Statement": [{ "Sid": "DataSyncAccessManifest", "Effect": "Allow", "Action": [ "s3:GetObject", "s3:GetObjectVersion" ], "Resource": "arn:aws:s3:::amzn-s3-demo-bucket/my-manifest.csv" }] } ``` ------ 1. No exemplo de política que você acabou de colar, substitua os seguintes valores pelos seus: 1. Substitua `amzn-s3-demo-bucket` pelo nome do bucket do S3 que está hospedando o manifesto. 1. Substitua `my-manifest.csv` pelo nome do arquivo do manifesto. 1. Escolha **Próximo**. Digite um nome para a política e escolha **Criar política**. 1. (Recomendado) Para evitar o [problema “confused deputy” entre serviços](cross-service-confused-deputy-prevention.md), faça o seguinte: 1. Na página Detalhes do perfil, escolha a guia **Relações de confiança**. Escolha **Editar política de confiança**. 1. Atualize a política de confiança usando o exemplo a seguir, que inclui as chaves de contexto de condição global `aws:SourceArn` e `aws:SourceAccount`: ------ #### [ JSON ] **** ``` { "Version":"2012-10-17", "Statement": [ { "Effect": "Allow", "Principal": { "Service": "datasync.amazonaws.com" }, "Action": "sts:AssumeRole", "Condition": { "StringEquals": { "aws:SourceAccount": "000000000000" }, "ArnLike": { "aws:SourceArn": "arn:aws:datasync:us-east-1:000000000000:*" } } } ] } ``` ------ + Substitua cada instância do `account-id` pelo Conta da AWS ID em que você está usando DataSync. + `region`Substitua pelo Região da AWS local em que você está usando DataSync. 1. Escolha **Atualizar política**. Você criou o perfil do IAM que pode incluir na política de bucket do S3. #### Atualização da política de bucket do S3 com o perfil Depois de criar a função do IAM, você deve adicioná-la à política de bucket do S3 no outro Conta da AWS local em que seu manifesto está localizado. 1. No Console de gerenciamento da AWS, mude para a conta com o bucket S3 do seu manifesto. 1. Abra o console do Amazon S3 em [https://console.aws.amazon.com/s3/](https://console.aws.amazon.com/s3/). 1. Na página do perfil, escolha a guia **Permissões**. 1. Em **Política de bucket**, escolha **Editar** e faça o seguinte para modificar sua política de bucket do S3: 1. Atualize o que está no editor para incluir as seguintes declarações de política: ------ #### [ JSON ] **** ``` { "Version":"2012-10-17", "Statement": [ { "Sid": "DataSyncAccessManifestBucket", "Effect": "Allow", "Action": [ "s3:GetObject", "s3:GetObjectVersion" ], "Resource": "arn:aws:s3:::amzn-s3-demo-bucket" } ] } ``` ------ 1. `account-id`Substitua pelo Conta da AWS ID da conta DataSync com a qual você está usando. 1. `datasync-role`Substitua pela função do IAM que você acabou de criar e que DataSync permite acessar seu manifesto. 1. Substitua `amzn-s3-demo-bucket` pelo nome do bucket do S3 que está hospedando o manifesto na outra Conta da AWS. 1. Escolha **Salvar alterações**. Você criou uma função do IAM que permite DataSync acessar seu manifesto na outra conta. Especifique esse perfil ao [criar](#manifest-creating-task) ou [iniciar](#manifest-starting-task) a tarefa. ## Especificação do manifesto ao criar uma tarefa Você pode especificar o manifesto que DataSync deseja usar ao criar uma tarefa. ### Usando o DataSync console 1. Abra o AWS DataSync console em [https://console.aws.amazon.com/datasync/](https://console.aws.amazon.com/datasync/). 1. No painel de navegação esquerdo, escolha **Tarefas** e depois escolha **Criar tarefa**. 1. Configure os locais de origem e destino da sua tarefa. Para obter mais informações, consulte [Para onde posso transferir meus dados AWS DataSync?](working-with-locations.md). 1. Em **Conteúdo a ser varrido**, escolha **Arquivos, objetos e pastas específicos** e selecione **Usando um manifesto**. 1. Em **URI do S3**, escolha seu manifesto hospedado em um bucket do S3. Outra opção é inserir o URI (por exemplo, `s3://bucket/prefix/my-manifest.csv`). 1. Em **Versão do objeto**, escolha a versão do manifesto que você DataSync deseja usar. Por padrão, DataSync usa a versão mais recente do objeto. 1. Em **Perfil de acesso ao manifesto**, faça uma das seguintes alternativas: + Escolha **Autogenerate** DataSync para criar automaticamente uma função do IAM com as permissões necessárias para acessar seu manifesto em seu bucket do S3. + Escolha um perfil do IAM existente que possa acessar o manifesto. Para obter mais informações, consulte [Fornecendo DataSync acesso ao seu manifesto](#transferring-with-manifest-access). 1. Defina todas as outras configurações de tarefa necessárias e escolha **Avançar**. 1. Escolha **Criar tarefa**. ### Usando o AWS CLI 1. Copie o seguinte comando `create-task`: ``` aws datasync create-task \ --source-location-arn arn:aws:datasync:us-east-1:123456789012:location/loc-12345678abcdefgh \ --destination-location-arn arn:aws:datasync:us-east-1:123456789012:location/loc-abcdefgh12345678 \ --manifest-config { "Source": { "S3": { "ManifestObjectPath": "s3-object-key-of-manifest", "BucketAccessRoleArn": "bucket-iam-role", "S3BucketArn": "amzn-s3-demo-bucket-arn", "ManifestObjectVersionId": "manifest-version-to-use" } } } ``` 1. No parâmetro `--source-location-arn`, especifique o nome do recurso da Amazon (ARN) do local de onde você está transferindo os dados. 1. No parâmetro `--destination-location-arn`, especifique o ARN do local para onde você está transferindo os dados. 1. No parâmetro `--manifest-config` faça o seguinte: + `ManifestObjectPath`: especifique a chave de objeto do S3 do manifesto. + `BucketAccessRoleArn`— Especifique a função do IAM que permite DataSync acessar seu manifesto em seu bucket do S3. Para obter mais informações, consulte [Fornecendo DataSync acesso ao seu manifesto](#transferring-with-manifest-access). + `S3BucketArn`: especifique o ARN do bucket do S3 que está hospedando o manifesto. + `ManifestObjectVersionId`— Especifique a versão do manifesto que você DataSync deseja usar. Por padrão, DataSync usa a versão mais recente do objeto. 1. Execute o comando `create-task` para criar sua tarefa. Quando tudo estiver pronto, você poderá [iniciar a tarefa de transferência](run-task.md). ## Especificação do manifesto ao iniciar uma tarefa Você pode especificar o manifesto que DataSync deseja usar ao executar uma tarefa. ### Usando o DataSync console 1. Abra o AWS DataSync console em [https://console.aws.amazon.com/datasync/](https://console.aws.amazon.com/datasync/). 1. No painel de navegação da esquerda, escolha **Tarefas** e depois a tarefa que você deseja iniciar. 1. Na página de visão geral da tarefa, escolha **Iniciar** e depois **Iniciar com opções de substituição**. 1. Em **Conteúdo a ser varrido**, escolha **Arquivos, objetos e pastas específicas** e selecione **Usando um manifesto**. 1. Em **URI do S3**, escolha seu manifesto hospedado em um bucket do S3. Outra opção é inserir o URI (por exemplo, `s3://bucket/prefix/my-manifest.csv`). 1. Em **Versão do objeto**, escolha a versão do manifesto que você DataSync deseja usar. Por padrão, DataSync usa a versão mais recente do objeto. 1. Em **Perfil de acesso ao manifesto**, faça uma das seguintes alternativas: + Escolha **Autogenerate** DataSync para criar automaticamente uma função do IAM para acessar seu manifesto em seu bucket do S3. + Escolha um perfil do IAM existente que possa acessar o manifesto. Para obter mais informações, consulte [Fornecendo DataSync acesso ao seu manifesto](#transferring-with-manifest-access). 1. Escolha **Iniciar** para começar a transferência. ### Usando o AWS CLI 1. Copie o seguinte comando `start-task-execution`: ``` aws datasync start-task-execution \ --task-arn arn:aws:datasync:us-east-1:123456789012:task/task-12345678abcdefgh \ --manifest-config { "Source": { "S3": { "ManifestObjectPath": "s3-object-key-of-manifest", "BucketAccessRoleArn": "bucket-iam-role", "S3BucketArn": "amzn-s3-demo-bucket-arn", "ManifestObjectVersionId": "manifest-version-to-use" } } } ``` 1. No parâmetro `--task-arn`, especifique o nome do recurso da Amazon (ARN) da tarefa que você está iniciando. 1. No parâmetro `--manifest-config` faça o seguinte: + `ManifestObjectPath`: especifique a chave de objeto do S3 do manifesto. + `BucketAccessRoleArn`— Especifique a função do IAM que permite DataSync acessar seu manifesto em seu bucket do S3. Para obter mais informações, consulte [Fornecendo DataSync acesso ao seu manifesto](#transferring-with-manifest-access). + `S3BucketArn`: especifique o ARN do bucket do S3 que está hospedando o manifesto. + `ManifestObjectVersionId`— Especifique a versão do manifesto que você DataSync deseja usar. Por padrão, DataSync usa a versão mais recente do objeto. 1. Execute o comando `start-task-execution` para iniciar a transferência. ## Limitações + Você não pode usar um manifesto junto com [filtros](filtering.md). + Você não pode especificar apenas um diretório ou uma pasta com a intenção de transferir todo o seu conteúdo. Para essas situações, considere usar um [filtro de inclusão](filtering.md) em vez de um manifesto. + Você não pode usar a opção de tarefa **Manter arquivos excluídos** (`PreserveDeletedFiles`na [API](https://docs.aws.amazon.com/datasync/latest/userguide/API_Options.html#DataSync-Type-Options-PreserveDeletedFiles)) para [manter arquivos ou objetos no destino que não estejam na origem](configure-metadata.md). DataSync transfere apenas o que está listado no seu manifesto e não exclui nada no destino. ## Solução de problemas **Erros relacionados a `HeadObject` ou `GetObjectTagging`** Se você estiver transferindo objetos com uma versão específica IDs de um bucket do S3, talvez veja um erro relacionado a `HeadObject` ou. `GetObjectTagging` Por exemplo, aqui está um erro relacionado a `GetObjectTagging`: ``` [WARN] Failed to read metadata for file /picture1.png (versionId: 111111): S3 Get Object Tagging Failed [ERROR] S3 Exception: op=GetObjectTagging photos/picture1.png, code=403, type=15, exception=AccessDenied, msg=Access Denied req-hdrs: content-type=application/xml, x-amz-api-version=2006-03-01 rsp-hdrs: content-type=application/xml, date=Wed, 07 Feb 2024 20:16:14 GMT, server=AmazonS3, transfer-encoding=chunked, x-amz-id-2=IOWQ4fDEXAMPLEQM+ey7N9WgVhSnQ6JEXAMPLEZb7hSQDASK+Jd1vEXAMPLEa3Km, x-amz-request-id=79104EXAMPLEB723 ``` Se você ver algum desses erros, valide se a função do IAM DataSync usada para acessar seu local de origem do S3 tem as seguintes permissões: + `s3:GetObjectVersion` + `s3:GetObjectVersionTagging` Se você precisar atualizar o perfil com essas permissões, consulte [Criação de uma função do IAM DataSync para acessar sua localização no Amazon S3](create-s3-location.md#create-role-manually). **Erro: `ManifestFileDoesNotExist`** Esse erro indica que um arquivo no manifesto não foi encontrado na origem. Analise as [diretrizes](#transferring-with-manifest-guidelines) para criar um manifesto. ## Próximas etapas Se ainda não o fez, [inicie a tarefa](run-task.md). Do contrário, [monitore as atividades da tarefa](monitoring-overview.md).