Configurar transferências AWS DataSync com o Google Cloud Storage - AWS DataSync
Visão geralCustosPré-requisitosCriar uma chave HMAC para seu bucket do Google Cloud StorageEtapa 2: configure sua redeEtapa 3: crie um atendente do DataSync (opcional)Etapa 4: crie um local de origem do DataSync para seu bucket do Google Cloud StorageEtapa 5: crie um local de destino do DataSync para seu bucket do S3Etapa 6: crie e inicie uma tarefa no DataSync

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Configurar transferências AWS DataSync com o Google Cloud Storage

Com o AWS DataSync, você pode transferir dados entre o Google Cloud Storage e os seguintes serviços de armazenamento da AWS:

  • Amazon S3

  • Amazon EFS

  • Amazon FSx for Windows File Server

  • Amazon FSx para Lustre

  • Amazon FSx para OpenZFS

  • Amazon FSx for NetApp ONTAP

Para começar a configuração da transferência, crie um local para o Google Cloud Storage. Esse local pode servir como origem ou destino da transferência. Um atendente do DataSync é exigido somente quando você transfere dados entre o Google Cloud Storage e o Amazon EFS ou o Amazon FSx, ou ao usar tarefas do modo Básico. As transferências de dados no modo Avançado entre o Google Cloud Storage e o Amazon S3 não exigem um atendente.

nota

Para conectividade de nuvem privada entre o Google Cloud Storage eAWS, use o modo Básico com atendentes.

Visão geral

O DataSync usa a API XML do Google Cloud Storage para transferências de dados. Essa API fornece uma interface compatível com o Amazon S3 para leitura e gravação de dados com buckets do Google Cloud Storage.

Ao usar o modo Básico para transferências, você pode implantar o atendente no Google Cloud Storage ou na Amazon VPC.

Agent in Google Cloud

  1. Você implanta um agente DataSync em seu ambiente do Google Cloud.

  2. O agente lê seu bucket do Google Cloud Storage usando uma chave de código de autenticação de mensagens por hash (HMAC).

  3. Os objetos do bucket do Google Cloud Storage são transferidos em segurança pelo TLS 1.3 para a Nuvem AWS usando um endpoint público.

  4. O serviço DataSync grava os dados no bucket do S3.

O diagrama a seguir ilustra a transferência.

Um exemplo de transferência do DataSync mostra como os dados do objeto são transferidos de um bucket do Google Cloud Storage para um bucket do S3. Primeiro, o agente do DataSync é implantado em seu ambiente do Google Cloud. Em seguida, o agente do DataSync lê o bucket do Google Cloud Storage. Os dados são transferidos com segurança por meio de um endpoint público para AWS, onde o DataSync grava os objetos em um bucket do S3 no mesmo Região da AWS em que você está usando o DataSync.
Agent in your VPC

  1. É possível implantar um agente do DataSync em uma nuvem privada virtual (VPC) no seu ambiente AWS.

  2. O agente lê seu bucket do Google Cloud Storage usando uma chave de código de autenticação de mensagens por hash (HMAC).

  3. Os objetos do seu bucket do Google Cloud Storage são transferidos com segurança pelo TLS 1.3 para o Nuvem AWS usando um endpoint da VPC privada.

  4. O serviço DataSync grava os dados no bucket do S3.

O diagrama a seguir ilustra a transferência.

Um exemplo de transferência do DataSync mostra como os dados do objeto são transferidos de um bucket do Google Cloud Storage para um bucket do S3. Primeiro, o agente DataSync é implantado em uma VPC em AWS. Em seguida, o agente do DataSync lê o bucket do Google Cloud Storage. Os dados são transferidos com segurança por meio de um endpoint da VPC para AWS, onde o DataSync grava os objetos em um bucket do S3 no mesmo Região da AWS que a VPC.

Custos

As taxas associadas a essa migração podem incluir:

  • Executar uma instância de máquina virtual (VM) do Google Compute Engine (se você implantar seu agente do DataSync no Google Cloud)

  • Executar uma instância do Amazon EC2 (se você implantar seu agente do DataSync em uma VPC dentro do AWS)

  • Transferir os dados usando o DataSync, incluindo cobranças de solicitações relacionadas ao Google Cloud Storage e ao Amazon S3 (se o S3 for um dos seus locais de transferência)

  • Transferindo dados para fora do Google Cloud Storage

  • Armazenando dados no Amazon S3

Pré-requisitos

Antes de começar, faça o seguinte, se já não o tiver feito:

Criar uma chave HMAC para seu bucket do Google Cloud Storage

O DataSync usa uma chave HMAC associada à sua conta de serviço do Google para se autenticar com e ler o bucket do qual você está transferindo dados. (Para obter instruções detalhadas sobre como criar chaves HMAC, consulte a Documentação do Google Cloud Storage.)

Para criar uma chave HMAC

  1. Crie uma chave HMAC para sua conta de serviço do Google.

  2. Certifique-se de que sua conta de serviço do Google tenha pelo menos Storage Object Viewer permissões.

  3. Salve o ID da chave de acesso HMAC e o segredo em um local seguro.

    Você precisará desses itens mais tarde para configurar o local de origem do DataSync.

Etapa 2: configure sua rede

A configuração de rede é exigida somente ao usar um atendente do DataSync com a transferência. Os requisitos de rede para essa migração dependem de onde você escolher implantar o atendente.

Se você quiser hospedar seu agente do DataSync no Google Cloud, configure sua rede para allow DataSync transfers through a public endpoint (permitir transferências do DataSync por meio de um endpoint público).

Se você quiser hospedar seu agente em AWS, você precisará de uma VPC com um endpoint de interface. O DataSync usa o endpoint da VPC para facilitar a transferência.

Para configurar sua rede para um endpoint da VPC

  1. Se você não tiver uma, crie uma VPC no mesmo Região da AWS que o bucket do S3.

  2. Crie uma sub-rede privada para sua VPC.

  3. Crie um endpoint de serviço da VPC para o DataSync.

  4. Configure sua rede para permitir transferências do DataSync por um endpoint da VPC.

    Para fazer isso, modifique o grupo de segurança associado com seu endpoint de serviço da VPC.

Etapa 3: crie um atendente do DataSync (opcional)

Um atendente do DataSync é exigido apenas ao usar tarefas do modo Básico. Se você estiver usando o modo Avançado para transferir entre o Google Cloud Storage (GCS) e o Amazon S3, nenhum atendente será exigido. Se você quiser usar o modo Básico, precisará de um atendente do DataSync que possa acessar o bucket do GCS.

Nesse cenário, o agente do DataSync é executado em seu ambiente do Google Cloud.

Antes de começar: instale a CLI do Google Cloud.

Para criar o agente para o Google Cloud

  1. Abra o console AWS DataSync em https://console.aws.amazon.com/datasync/.

  2. No painel de navegação à esquerda, escolha Agents e Create agent.

  3. Para Hypervisor, escolha VMware ESXi e, em seguida, escolha Baixar a imagem para baixar um arquivo .zip que contém o agente.

  4. Abra um terminal do . Descompacte a imagem executando o seguinte comando:

    unzip AWS-DataSync-Agent-VMWare.zip

  5. Extraia o conteúdo do arquivo .ova do agente, começando com aws-datasync, executando o seguinte comando:

    tar -xvf aws-datasync-2.0.1655755445.1-x86_64.xfs.gpt.ova

  6. Importe o arquivo .vmdk do agente para o Google Cloud executando o seguinte comando da CLI do Google Cloud:

    gcloud compute images import aws-datasync-2-test \
   --source-file INCOMPLETE-aws-datasync-2.0.1655755445.1-x86_64.xfs.gpt-disk1.vmdk \
   --os centos-7
    nota

    A importação do arquivo .vmdk pode levar até duas horas.

  7. Crie e inicie uma instância de VM para a imagem do agente que você acabou de importar.

    A instância precisa das seguintes configurações para seu agente. (Para obter instruções detalhadas sobre como criar uma instância, consulte a Documentação do Google Cloud Compute Engine).

    • Em Machine type (Tipo de máquina), selecione uma das seguintes opções:

      • e2-standard-8: para execuções de tarefas do DataSync trabalhando com até 20 milhões de objetos.

      • e2-standard-16: para execuções de tarefas do DataSync trabalhando com mais de 20 milhões de objetos.

    • Para as configurações de inicialização do disco, acesse a seção de imagens personalizadas. Em seguida, escolha a imagem do agente do DataSync que você acabou de importar.

    • Para a configuração da conta de serviço, escolha sua conta de serviço do Google (a mesma conta que você usou na Etapa 1).

    • Para a configuração do firewall, escolha a opção para permitir o tráfego HTTP (porta 80).

      Para ativar seu agente do DataSync, a porta 80 deve estar aberta no agente. A porta não precisa ser acessível publicamente. Depois de ativado, o DataSync fecha a porta.

  8. Depois que a instância de VM estiver em execução, anote seu endereço IP público.

    Você precisará desse endereço IP para ativar o agente.

  9. Retorne ao console do DataSync. Na tela Criar agente, na qual você baixou a imagem do agente, faça o seguinte para ativar seu agente:

    • Para Tipo de endpoint, escolha a opção de endpoints de serviço público (por exemplo, Endpoints de serviço público no leste dos EUA em Ohio).

    • Em Chave de ativação, escolha Obter a chave de ativação com o seu agente automaticamente.

    • Em Endereço do agente, insira o endereço IP público da instância de VM do agente que você acabou de criar.

    • Escolha Obter chave.

  10. Dê um nome ao seu agente e, em seguida, escolha Criar agente.

O agente está online e pronto para transferir dados.

Nesse cenário, o agente é executado como uma instância do Amazon EC2 em uma VPC associada à sua Conta da AWS.

Antes de começar: configure o AWS Command Line Interface (AWS CLI).

Para criar o agente para sua VPC

  1. Abra um terminal do . Certifique-se de configurar seu perfil AWS CLI para usar a conta associada ao seu bucket do S3.

  2. Copie o seguinte comando: Substitua vpc-region pelo Região da AWS onde sua VPC reside (por exemplo, us-east-1).

    aws ssm get-parameter --name /aws/service/datasync/ami --region vpc-region

  3. Execute o comando . Examine o resultado e anote a propriedade "Value".

    Esse valor é o ID do DataSync da Imagem de máquina da Amazon (AMI) da região que você especificou. Por exemplo, uma ID de AMI pode ser semelhante a ami-1234567890abcdef0.

  4. Copie o seguinte URL. Novamente, substitua vpc-region pelo Região da AWS onde sua VPC reside. Depois, substitua ami-id pelo ID da AMI que você anotou na etapa anterior.

    https://console.aws.amazon.com/ec2/v2/home?region=vpc-region#LaunchInstanceWizard:ami=ami-id

  5. Cole o URL no navegador.

    A página de lançamento da instância do Amazon EC2 no Console de gerenciamento da AWS é exibida.

  6. Em Tipo de instância, selecione uma das Instâncias recomendadas do Amazon EC2 para agentes do DataSync.

  7. Em Par de chaves, escolha um par de chaves existente ou crie outro.

  8. Em Configurações de rede, escolha a VPC e a sub-rede em que você deseja implantar o agente.

  9. Escolha Iniciar instância.

  10. Depois que a instância do Amazon EC2 estiver em execução, escolha o endpoint da VPC.

  11. Ative o agente.

Etapa 4: crie um local de origem do DataSync para seu bucket do Google Cloud Storage

Para configurar um local do DataSync para seu bucket do Google Cloud Storage, você precisa do ID de acesso e o segredo da chave HMAC que você criou na Etapa 1.

Para criar o local de origem do DataSync

  1. Abra o AWS DataSync console do em https://console.aws.amazon.com/datasync/.

  2. No painel de navegação esquerdo, expanda Transferência de dados e escolha Locais e Criar local.

  3. Em Tipo de localização, escolha Armazenamento de objetos.

  4. Em Servidor, insirastorage.googleapis.com.

  5. Em Nome do bucket, insira o nome do seu bucket do Google Cloud Storage.

  6. Em Pasta, insira um prefixo de objeto.

    O DataSync copia apenas objetos com esse prefixo.

  7. Se a transferência exigir um atendente, escolha Usar atendentes e escolha o atendente que você criou na Etapa 3.

  8. Expanda Configurações adicionais. Para Protocolo de servidor, escolha HTTPS. Em Porta do servidor, escolha 443.

  9. Role para baixo até a seção Autenticação. Verifique se a caixa de seleção Exige credenciais está marcada e faça o seguinte:

    • Em Chave de acesso, insira o ID de acesso da sua chave HMAC.

    • Em Chave secreta, insira a chave secreta da chave HMAC diretamente ou especifique um segredo do AWS Secrets Manager que contenha a chave. Para obter mais informações, consulte Como fornecer credenciais para locais de armazenamento.

  10. Escolha Criar local.

Etapa 5: crie um local de destino do DataSync para seu bucket do S3

Você precisa de um local do DataSync para onde você deseja que seus dados vão.

Para criar o local de destino do DataSync

  1. Abra o AWS DataSync console do em https://console.aws.amazon.com/datasync/.

  2. No painel de navegação esquerdo, expanda Transferência de dados e escolha Locais e Criar local.

  3. Crie um local no DataSync para o bucket do S3.

    Se você implantou o agente do DataSync em sua VPC, este tutorial presume que o bucket do S3 esteja no mesmo Região da AWS que sua VPC e seu agente do DataSync.

Etapa 6: crie e inicie uma tarefa no DataSync

Com seus locais de origem e destino configurados, você pode começar a mover seus dados para AWS.

Para criar e iniciar a tarefa no DataSync

  1. Abra o console do AWS DataSync em https://console.aws.amazon.com/datasync/.

  2. No painel de navegação esquerdo, expanda Transferência de dados, escolha Tarefas e, em seguida, escolha Criar tarefa.

  3. Na página Configure source location (Configurar local de origem), faça o seguinte:

    1. Escolha Choose an existing location (Escolher um local existente).

    2. Escolha o local de origem que você criou na Etapa 4 e, em seguida, escolha Next (Avançar).

  4. Na página Configure destination location (Configurar local de destino), faça o seguinte:

    1. Escolha Choose an existing location (Escolher um local existente).

    2. Escolha o local de destino que você criou na Etapa 5 e, em seguida, escolha Next (Avançar).

  5. Na página Configure settings (Configurar definições), faça o seguinte:

    1. Em Data transfer configuration (Configuração de transferência de dados), expanda Additional settings (Configurações adicionais) e desmarque a caixa de seleção Copy object tags (Copiar tags de objetos).

      Importante

      Como a API XML do Google Cloud Storage não é compatível com leitura ou gravação de tags de objeto, a tarefa do DataSync poderá falhar se você tentar copiar tags de objeto.

    2. Defina todas as outras configurações de tarefa desejadas e, em seguida, escolha Next (Avançar).

  6. Na página Review (Revisar), revise suas configurações e, em seguida, escolha Criar tarefa.

  7. Na página de detalhes da tarefa, escolha Iniciar e, em seguida, escolha uma das seguintes opções:

    • Para executar a tarefa sem modificação, escolha Iniciar com padrões.

    • Para modificar a tarefa antes de executá-la, escolha Iniciar com opções substitutas.

Quando sua tarefa terminar, você verá os objetos do seu bucket do Google Cloud Storage no seu bucket do S3.