Migre pequenos conjuntos de dados do local para o Amazon S3 usando AWS SFTP - Recomendações da AWS

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Migre pequenos conjuntos de dados do local para o Amazon S3 usando AWS SFTP

Charles Gibson e Sergiy Shevchenko, Amazon Web Services

Resumo

Esse padrão descreve como migrar pequenos conjuntos de dados (5 TB ou menos) de datacenters locais para o Amazon Simple Storage Service (Amazon S3) usando (). AWS Transfer for SFTP AWS SFTP Os dados podem ser despejos de banco de dados ou arquivos simples.

Pré-requisitos e limitações

Pré-requisitos

  • Um ativo Conta da AWS

  • Um AWS Direct Connect link estabelecido entre seu data center e AWS

Limitações

  • Os arquivos de dados devem ter menos de 5 TB. Para arquivos acima de 5 TB, você pode realizar um upload de várias partes para o Amazon S3 ou escolher outro método de transferência de dados. 

Arquitetura

Pilha de tecnologia de origem

  • Arquivos simples on-premises ou despejos de banco de dados

Pilha de tecnologias de destino

  • Amazon S3

Arquitetura de origem e destino

Diagram showing data flow from on-premises servers to Nuvem AWS services via Direct Connect and VPN.

Ferramentas

  • AWS SFTP— Permite a transferência de arquivos diretamente para dentro e para fora do Amazon S3 usando o Secure File Transfer Protocol (SFTP).

  • AWS Direct Connect— Estabelece uma conexão de rede dedicada de seus data centers locais para o. AWS

  • VPC endpoints — permitem que você conecte de forma privada uma VPC a serviços de endpoint de VPC compatíveis Serviços da AWS e fornecidos sem um gateway de internet, dispositivo de tradução AWS PrivateLink de endereços de rede (NAT), conexão VPN ou conexão. Direct Connect As instâncias na VPC não exigem que endereços IP públicos se comuniquem com recursos no serviço.

Épicos

TarefaDescriptionHabilidades necessárias

Documente os requisitos atuais do SFTP.

Proprietário do aplicativo e SA

Identifique os requisitos de autenticação.

Os requisitos podem incluir autenticação baseada em chave, nome de usuário ou senha ou provedor de identidades (IdP).

Proprietário do aplicativo e SA

Identifique os requisitos de integração do aplicativo.

Proprietário do aplicativo

Identifique os usuários que precisam do serviço.

Proprietário do aplicativo

Determine o nome DNS do endpoint do servidor SFTP.

Redes

Determine a estratégia de backup.

SA, DBA (se os dados forem transferidos)

Identifique a migração do aplicativo ou a estratégia de substituição.

Proprietário do aplicativo, SA e DBA
TarefaDescriptionHabilidades necessárias

Crie uma ou mais nuvens privadas virtuais (VPCs) e sub-redes no seu. Conta da AWS

Proprietário do aplicativo e AMS

Criar grupos de segurança e lista de controle de acesso (ACL) de rede.

Segurança, redes e AMS

Crie o bucket do Amazon S3.

Proprietário do aplicativo e AMS

Crie a função AWS Identity and Access Management (IAM).

Crie uma política do IAM que inclua as permissões para permitir o acesso AWS SFTP ao seu bucket do Amazon S3. Essa política do IAM determina o nível de acesso que você fornece aos usuários do SFTP. Crie outra política do IAM com a qual estabelecer uma relação de confiança AWS SFTP.

Segurança e AMS

Associe um domínio registrado (opcional).

Se você tiver seu próprio domínio registrado, poderá associá-lo ao servidor SFTP. Você pode rotear o tráfego do SFTP para o seu endpoint de servidor SFTP de um domínio ou de um subdomínio.

Redes e AMS

Crie um servidor SFTP.

Especifique o tipo de provedor de identidade usado pelo serviço para autenticar seus usuários.

Proprietário do aplicativo e AMS

Abra um cliente SFTP.

Abra um cliente SFTP e configure a conexão para usar o host do endpoint SFTP. AWS SFTP suporta qualquer cliente SFTP padrão. Os clientes SFTP comumente usados incluem OpenSSH, WinSCP, Cyberduck e. FileZilla Você pode obter o nome do host do servidor SFTP no AWS SFTP console.

Proprietário do aplicativo e AMS
TarefaDescriptionHabilidades necessárias

Planeje a migração do aplicativo.

Planeje todas as alterações necessárias na configuração do aplicativo, defina a data da migração e determine o cronograma de testes.

Proprietário do aplicativo e AMS

Teste a infraestrutura.

Teste em um ambiente que não seja de produção.

Proprietário do aplicativo e AMS

Recursos relacionados

Referências

Tutoriais e vídeos