Como escolher um modo de tarefa para a transferência de dados - DataSync AWS
Como entender as diferenças do modo de tarefaComo escolher um modo de tarefa

Como escolher um modo de tarefa para a transferência de dados

A tarefa do AWS DataSync pode ser executada em um dos seguintes modos:

  • Modo Avançado — Transfira um número praticamente ilimitado de objetos com desempenho superior ao do modo Básico. As tarefas do modo Avançado otimizam o processo de transferência de dados listando, preparando, transferindo e verificando os dados em paralelo. Atualmente, o modo avançado está disponível para transferências entre locais do Amazon S3, transferências entre Azure Blob e o Amazon S3 sem um atendente e transferências entre outras nuvens e o Amazon S3 sem um atendente.

  • Modo Básico — Transfira arquivos ou objetos entre o armazenamento AWS e todos os outros locais compatíveis do DataSync. As tarefas do modo Básico estão sujeitas a cotas no número de arquivos, objetos e diretórios em um conjunto de dados. O modo Básico prepara, transfere e verifica os dados sequencialmente, tornando-se mais lento do que o modo Avançado para a maioria das workloads.

Como entender as diferenças do modo de tarefa

As informações a seguir podem ajudar você a determinar qual modo de tarefa usar.

Recurso Comportamento do modo Avançado Comportamento do modo Básico
Desempenho O DataSync lista, prepara, transfere e verifica os dados paralelamente. Oferece melhor desempenho do que o modo Básico para a maioria das workloads (como a transferência de objetos grandes) O DataSync prepara, transfere e verifica os dados sequencialmente. Desempenho mais lento do que no modo Avançado para a maioria das workloads
Número de itens em um conjunto de dados que o DataSync consegue processar por tarefa

Número praticamente ilimitado de objetos

Cotas se aplicam

Contadores e métricas de transferência de dados

Mais contadores e métricas do que o modo Básico, como o número de objetos que o DataSync encontra no local de origem e quantos objetos são preparados durante a execução de cada tarefa

Menos contadores e métricas do que o modo Avançado

Registro em log de

 Registros estruturados (formato JSON) Registros não estruturados

Locais suportados

 Atualmente, para transferências entre locais do Amazon S3, transferências entre Azure Blob e o Amazon S3 sem um atendente e transferências entre outras nuvens e o Amazon S3 sem um atendente.

Para transferências entre todos os locais com suporte ao DataSync

Opções de verificação de dados

 O DataSync verifica somente os dados transferidos O DataSync verifica todos os dados por padrão
Limite de largura de banda Não aplicável Compatível
Custo Para obter mais informações, consulte a página Definição de preços do DataSync. Para obter mais informações, consulte a página Definição de preços do DataSync.
Tratamento de falhas para tags de objeto não suportadas Para transferências de armazenamento em nuvem de ou para locais que não oferecem suporte à marcação de objetos, a execução da tarefa falhará imediatamente se a opção ObjectTags não for especificada ou definida como PRESERVE. Para transferências de armazenamento em nuvem de ou para locais que não oferecem suporte à marcação de objetos, a execução da tarefa será executada normalmente, mas relatará falhas por objeto para objetos marcados se a opção ObjectTags não for especificada ou definida como PRESERVE.

Como escolher um modo de tarefa

Você pode escolher o modo Avançado somente para transferências entre locais do Amazon S3, transferências entre Azure Blob e o Amazon S3 sem um atendente e transferências entre outras nuvens e o Amazon S3 sem um atendente. Caso contrário, você deve usar o modo Básico. Por exemplo, uma transferência de um local NFS on-premises para um local do S3 requer o modo Básico.

As opções de tarefas e o desempenho podem variar dependendo do modo de tarefa escolhido. Depois de criar a tarefa, não é possível alterar o modo de tarefa.

Permissões obrigatórias

Para criar uma tarefa no modo Avançado, o perfil do IAM com o qual você está usando o DataSync deve ter a permissão iam:CreateServiceLinkedRole.

Para as permissões de usuário do DataSync, considere usar AWSDataSyncFullAccess. Essa é uma política gerenciada pela AWS que: fornece a um usuário acesso total ao DataSync e acesso mínimo às suas dependências.

  1. Abra o console do AWS DataSync em https://console.aws.amazon.com/datasync/.

  2. No painel de navegação esquerdo, expanda Transferência de dados, escolha Tarefas e, em seguida, escolha Criar tarefa.

  3. Configure os locais de origem e destino da sua tarefa.

    Para obter mais informações, consulte . Para onde posso transferir meus dados com AWS DataSync?

  4. Para Modo de tarefa, selecione uma das seguintes opções:

    • Enhanced

    • Básico

    Para obter mais informações, consulte Como entender as diferenças do modo de tarefa.

  5. Ainda na página Definir configurações, escolha outras opções de tarefa ou use as configurações padrão.

    Talvez você esteja interessado em algumas das seguintes opções:

    Quando concluir, selecione Próximo.

  6. Revise a configuração da tarefa e escolha Criar tarefa.

  1. Nas configurações da AWS CLI, certifique-se de que você está usando uma das Regiões da AWS onde planeja transferir dados.

  2. Copie o seguinte comando create-task:

    aws datasync create-task \
  --source-location-arn "arn:aws:datasync:us-east-1:account-id:location/location-id" \
  --destination-location-arn "arn:aws:datasync:us-east-1:account-id:location/location-id" \
  --task-mode "ENHANCED-or-BASIC"

  3. Em --source-location-arn, especifique o nome do recurso da Amazon (ARN) do local de origem na transferência.

  4. Em --destination-location-arn, especifique o ARN do local de destino.

    Se você estiver fazendo transferências entre contas ou Regiões da AWS, certifique-se de que o ARN inclua a ID da outra região ou conta.

  5. Para , especifique ou .

    Para obter mais informações, consulte Como entender as diferenças do modo de tarefa.

  6. Especifique outras opções de tarefa conforme necessário. Talvez você esteja interessado em algumas das seguintes opções:

    Para obter mais opções, consulte create-task. Aqui está um exemplo do comando create-task que especifica o modo Avançado e várias outras opções:

    aws datasync create-task \
  --source-location-arn "arn:aws:datasync:us-east-1:account-id:location/location-id" \
  --destination-location-arn "arn:aws:datasync:us-east-1:account-id:location/location-id" \
  --name "task-name" \
  --task-mode "ENHANCED" \
  --options TransferMode=CHANGED,VerifyMode=ONLY_FILES_TRANSFERRED,ObjectTags=PRESERVE,LogLevel=TRANSFER

  7. Execute o comando create-task.

    Se o comando for bem-sucedido, você receberá uma resposta que mostra o ARN da tarefa que você criou. Por exemplo:

    { 
    "TaskArn": "arn:aws:datasync:us-east-1:111222333444:task/task-08de6e6697796f026" 
}

Você pode especificar o modo de tarefa do DataSync configurando o parâmetro TaskMode na operação CreateTask.