Migre pequeños conjuntos de datos del entorno local a Amazon S3 mediante AWS SFTP - Recomendaciones de AWS

Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.

Migre pequeños conjuntos de datos del entorno local a Amazon S3 mediante AWS SFTP

Charles Gibson y Sergiy Shevchenko, Amazon Web Services

Resumen

Este patrón describe cómo migrar pequeños conjuntos de datos (5 TB o menos) de centros de datos locales a Amazon Simple Storage Service (Amazon S3) mediante AWS Transfer for SFTP ().AWS SFTP Los datos pueden ser volcados de bases de datos o archivos planos.

Requisitos previos y limitaciones

Requisitos previos 

  • Un activo Cuenta de AWS

  • Un AWS Direct Connect enlace establecido entre su centro de datos y AWS

Limitaciones

  • Los archivos de datos deben tener menos de 5 TB. Para archivos de más de 5 TB, puede realizar una carga multiparte a Amazon S3 o elegir otro método de transferencia de datos. 

Arquitectura

Pila de tecnología de origen

  • Archivos planos en las instalaciones o volcados de bases de datos locales

Pila de tecnología de destino

  • Amazon S3

Arquitectura de origen y destino

Diagram showing data flow from on-premises servers to Nube de AWS services via Direct Connect and VPN.

Tools (Herramientas)

  • AWS SFTP— Permite la transferencia de archivos directamente desde y hacia Amazon S3 mediante el Protocolo seguro de transferencia de archivos (SFTP).

  • AWS Direct Connect— Establece una conexión de red dedicada desde sus centros de datos locales a. AWS

  • Puntos de enlace de VPC: le permiten conectar de forma privada una VPC a servicios de punto final de VPC compatibles y alimentados por Servicios de AWS ellos AWS PrivateLink sin una puerta de enlace de Internet, un dispositivo de traducción de direcciones de red (NAT), una conexión VPN o una conexión. Direct Connect Las instancias en una VPC no necesitan direcciones IP públicas para comunicarse con los recursos del servicio.

Epics

TareaDescripciónHabilidades requeridas

Documente los requisitos actuales de SFTP.

Propietario de la aplicación, SA

Identifique los requisitos de autenticación.

Los requisitos pueden incluir la autenticación basada en claves, el nombre de usuario o la contraseña o el proveedor de identidades (IdP).

Propietario de la aplicación, SA

Identifique los requisitos de integración de la aplicación.

Propietario de la aplicación

Identifique a los usuarios que requieren el servicio.

Propietario de la aplicación

Determine el nombre DNS del punto de conexión del servidor SFTP.

Red

Determinar la estrategia de copia de seguridad.

SA, Administrador de base de datos (si se transfieren datos)

Identifique la estrategia de migración o transición de la aplicación.

Propietario de la aplicación, SA, Administrador de base de datos
TareaDescripciónHabilidades requeridas

Cree una o más nubes privadas virtuales (VPCs) y subredes en su. Cuenta de AWS

Propietario de la aplicación, AMS

Crear grupos de seguridad y listas de control de acceso a la red (ACL).

Seguridad, redes, AMS

Cree el bucket de Amazon S3.

Propietario de la aplicación, AMS

Cree el rol AWS Identity and Access Management (IAM).

Cree una política de IAM que incluya los permisos que le permitirán acceder AWS SFTP a su bucket de Amazon S3. Esta política de IAM determina el nivel de acceso que otorga a los usuarios de SFTP. Cree otra política de IAM con la que establecer una relación de confianza. AWS SFTP

Seguridad, AMS

Asocia un dominio registrado (opcional).

Si tiene su propio dominio registrado, puede asociarlo al servidor SFTP. Puede enrutar el tráfico SFTP al punto de conexión de su servidor SFTP desde un dominio o desde un subdominio.

Redes, AMS

Cree un servidor SFTP.

Especifique el tipo del proveedor de identidad que el servicio debe usar para autenticar a los usuarios.

Propietario de la aplicación, AMS

Abrir un cliente SFTP.

Abra un cliente SFTP y configure la conexión para usar el host del punto final SFTP. AWS SFTP es compatible con cualquier cliente SFTP estándar. Los clientes SFTP más utilizados incluyen OpenSSH, WinSCP, Cyberduck y. FileZilla Puede obtener el nombre de host del servidor SFTP desde la consola. AWS SFTP

Propietario de la aplicación, AMS
TareaDescripciónHabilidades requeridas

Planifique la migración de la aplicación.

Planifique los cambios necesarios en la configuración de la aplicación, establezca la fecha de migración y determine el programa de pruebas.

Propietario de la aplicación, AMS

Pruebe la infraestructura.

Realice pruebas en un entorno que no sea de producción.

Propietario de la aplicación, AMS

Recursos relacionados

Referencias

Tutoriales y videos