Como planejar transferências de ou para sistemas de armazenamento em nuvem de terceiros - AWS DataSync

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Como planejar transferências de ou para sistemas de armazenamento em nuvem de terceiros

Ao planejar transferências de dados entre nuvens, considere o seguinte:

  • Como usar um atendente: um atendente só precisa acessar o armazenamento em outras nuvens ao usar tarefas do modo Básico. Tarefas do modo Avançado não exigem um atendente. Se você decidir usar um atendente, poderá implantá-lo como uma instância do Amazon EC2 ao transferir de um armazenamento de objetos compatível com S3 de um provedor de nuvem ou como uma Máquina Virtual do Google Compute Engine ou Azure para transferências desses serviços de armazenamento específicos, respectivamente. Ao transferir de sistemas de arquivos no Google e no Azure, recomendamos implantar o atendente como uma VM do Google ou do Azure para que o atendente fique o mais próximo possível do sistema de arquivos. Além disso, o DataSync compacta os dados do atendente para a AWS, o que pode ajudar a reduzir os custos de saída. O DataSync fornece uma lista de locais de nuvem validados que fornecem a compatibilidade com a API Amazon S3 exigida.

  • O endpoint de armazenamento de objetos da outra nuvem: o endpoint de armazenamento para um provedor de nuvem terceirizado geralmente é específico da região ou da conta. O endpoint regional é usado como servidor no local de armazenamento de objetos do DataSync, juntamente com um nome de bucket especificado.

  • Classes de armazenamento dos objetos de origem: assim como o Amazon S3, alguns provedores de nuvem oferecem suporte a uma camada de arquivamento que exige uma restauração antes de poder acessar os objetos arquivados. Por exemplo, objetos na camada de arquivamento do Azure Blob devem ser recuperados para acesso padrão antes de uma transferência de dados. Os objetos na camada de arquivamento do Google Cloud Storage podem ser acessados imediatamente e não precisam ser restaurados, mas há custos de recuperação associados ao acesso direto à camada de arquivamento. Analise a documentação da classe de armazenamento em nuvem para determinar os requisitos de acesso e as taxas de recuperação antes de iniciar a transferência de dados. Para obter mais informações sobre como restaurar objetos arquivados no Amazon S3, consulte Restauração de um objeto arquivado no Guia do Usuário do Amazon Simple Storage Service.

  • Acesso ao armazenamento de objetos: a transferência de dados entre provedores de nuvem terceirizados requer acesso ao armazenamento de objetos da outra nuvem na forma de chaves de autenticação. Por exemplo, para fornecer acesso ao Google Cloud Storage, você configura um local de armazenamento de objetos do DataSync que se conecta à API XML do Google Cloud Storage e autentica usando uma chave de código de autenticação de mensagens por hash (HMAC) para a conta de serviço. Para o armazenamento do Azure Blob, você configura um local dedicado do Azure Blob DataSync que autentica usando tokens SAS. O DataSync usa AWS Secrets Manager para armazenar com segurança as credenciais de armazenamento de objetos. Para obter mais informações, consulte Como proteger as credenciais do local de armazenamento.

  • Suporte para tag de objetos:

    • Ao contrário do Amazon S3, nem todos os provedores de nuvem oferecem suporte a tags de objeto. As tarefas do DataSync poderão falhar ao tentar ler as tags do local de origem se o provedor de nuvem não oferecer suporte a tags de objeto por meio da API do Amazon S3, ou se as credenciais fornecidas forem insuficientes para recuperar as tags. O DataSync oferece uma opção de tarefa para desativar a leitura e a cópia de tags de objeto durante uma transferência, caso as tags de objeto não sejam compatíveis ou você não queira retê-las Consulte a documentação do provedor de nuvem para determinar se as tags de objeto são compatíveis e verifique as configurações de tags de objeto da tarefa de transferência antes de iniciar a transferência.

    • Você pode usar a API do Amazon S3 para verificar se um provedor de nuvem retornará uma solicitação get-object-tagging. Para obter mais informações, consulte get-object-tagging na Referência de comandosAWS CLI.

      Um provedor de nuvem que oferece suporte a tags de objeto retornará uma resposta semelhante ao exemplo a seguir:

      aws s3api get-object-tagging --bucket BUCKET_NAME --endpoint- url=https://BUCKET_ENDPOINT --key prefix/file1
                                    
{

    "TagSet": []

}

      Um provedor de nuvem que não oferece suporte a get-object-tagging retornará a seguinte mensagem:

      aws s3api get-object-tagging --bucket BUCKET_NAME --endpoint- url=https://BUCKET_ENDPOINT --key prefix/file1

An error occurred (OperationNotSupported) when calling the GetObjectTagging operation: The operation is not supported for this resource

  • Custos associados às solicitações e à saída de dados: a transferência de dados do armazenamento de objetos na nuvem tem custos de solicitação e saída associados à leitura e à transferência de dados para fora. As taxas de solicitação variam entre provedores de nuvem e entre classes de armazenamento, quando aplicável. Consulte a documentação do provedor de nuvem sobre os custos específicos das solicitações relacionadas à classe de armazenamento que você planeja ler. Para obter uma visão geral das taxas de solicitação que o DataSync cobra por transferências de dados, consulte Como avaliar os custos de solicitação do S3 ao usar o DataSync e Definição de preços do AWS DataSync. A transferência de dados de provedores de nuvem específicos resulta em taxas de saída. Os custos de transferência de dados variam entre provedores de nuvem e também dependem da região em que os dados estão armazenados.

  • Taxas de solicitação de armazenamento de objetos: os provedores de nuvem têm várias características de desempenho e taxa de solicitação para as plataformas de armazenamento de objetos. Analise as taxas de solicitação do outro provedor de nuvem e determine onde os limites de solicitação são aplicados. Planeje com antecedência transferências altamente paralelizadas que consistem em vários atendentes, onde particionamentos específicos ou aumentos de desempenho são exigidos.

    O Amazon S3 documentou taxas de solicitação com base nas quais você pode criar a solução. As taxas de solicitação do Amazon S3 são por prefixo particionado e são escaláveis em vários prefixos. Para obter mais informações, consulte Padrões de Design de Práticas Recomendadas: como otimizar o desempenho do Amazon S3 no Guia de Usuário do Amazon Simple Storage Service.