Planificación de transferencias hacia o desde sistemas de almacenamiento en la nube de terceros - AWS DataSync

Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.

Planificación de transferencias hacia o desde sistemas de almacenamiento en la nube de terceros

Al planificar las transferencias de datos entre nubes, tenga en cuenta lo siguiente:

  • Uso de un agente: solo se necesita un agente para acceder al almacenamiento en otras nubes cuando se utilizan tareas en modo básico. Las tareas del modo mejorado no requieren un agente. Si decides usar un agente, puedes implementarlo como una EC2instancia de Amazon al transferirlo desde un almacenamiento de objetos compatible con S3 de un proveedor de nube, o como una máquina virtual de Google Compute Engine o Azure para las transferencias desde esos servicios de almacenamiento específicos, respectivamente. Al realizar transferencias desde sistemas de archivos de Google y Azure, recomendamos implementar el agente como una máquina virtual de Google o Azure para que el agente esté lo más cerca posible del sistema de archivos. Además, DataSync comprime los datos del agente a, lo que puede ayudar a reducir los costes de AWS salida. DataSync proporciona una lista de ubicaciones en la nube validadas que proporcionan la compatibilidad requerida con la API de Amazon S3.

  • El punto final de almacenamiento de objetos de la otra nube: el punto final de almacenamiento de un proveedor de nube externo suele ser específico de una región o cuenta. El punto final regional se utiliza como servidor en la ubicación de almacenamiento de DataSync objetos, junto con un nombre de depósito específico.

  • Clases de almacenamiento de los objetos de origen: al igual que Amazon S3, algunos proveedores de nube admiten un nivel de archivo que requiere una restauración antes de poder acceder a los objetos archivados. Por ejemplo, los objetos del nivel de archivo Blob de Azure deben recuperarse para un acceso estándar antes de la transferencia de datos. Se puede acceder inmediatamente a los objetos del nivel de archivo de Google Cloud Storage y no es necesario restaurarlos, pero el acceso directo al nivel de archivo conlleva costes de recuperación. Revisa la documentación de tu clase de almacenamiento entre nubes para determinar los requisitos de acceso y las tarifas de recuperación antes de comenzar la transferencia de datos. Para obtener más información sobre la restauración de objetos archivados en Amazon S3, consulte Restauración de un objeto archivado en la Guía del usuario de Amazon Simple Storage Service.

  • Acceso al almacenamiento de objetos: la transferencia de datos entre proveedores de nube externos requiere el acceso al almacenamiento de objetos de la otra nube en forma de claves de autenticación. Por ejemplo, para proporcionar acceso a Google Cloud Storage, debes configurar una ubicación de almacenamiento de DataSync objetos que se conecte a la API XML de Google Cloud Storage y se autentique mediante una clave de código de autenticación de mensajes (HMAC) basada en hash para tu cuenta de servicio. Para el almacenamiento de blobs de Azure, configuras una DataSync ubicación de blobs de Azure dedicada que se autentica mediante tokens SAS. DataSync se utiliza AWS Secrets Manager para almacenar de forma segura las credenciales de almacenamiento de objetos. Para obtener más información, consulte Proteger las credenciales de las ubicaciones de almacenamiento.

  • Compatibilidad con etiquetas de objetos:

    • A diferencia de Amazon S3, no todos los proveedores de nube admiten etiquetas de objetos. DataSync las tareas pueden fallar al intentar leer las etiquetas de la ubicación de origen si el proveedor de la nube no admite etiquetas de objetos a través de la API de Amazon S3 o si las credenciales que proporciona no son suficientes para recuperar las etiquetas. DataSyncofrece una opción de tarea para desactivar la lectura y la copia de etiquetas de objetos durante una transferencia si no se admiten las etiquetas de objetos o si no se desea conservarlas. Revise la documentación de su proveedor de servicios en la nube para determinar si las etiquetas de objeto son compatibles y compruebe la configuración de las etiquetas de objeto de la tarea de transferencia antes de iniciar la transferencia.

    • Puede usar la API de Amazon S3 para comprobar si un proveedor de nube devolverá una get-object-tagging solicitud. Para obtener más información, consulte get-object-tagging en la Referencia de los comandos de AWS CLI .

      Un proveedor de servicios en la nube que admita etiquetas de objetos devolverá una respuesta similar a la del siguiente ejemplo:

      aws s3api get-object-tagging --bucket BUCKET_NAME --endpoint- url=https://BUCKET_ENDPOINT --key prefix/file1
                                    
{

    "TagSet": []

}

      Un proveedor de servicios en la nube que no lo get-object-tagging admita devolverá el siguiente mensaje:

      aws s3api get-object-tagging --bucket BUCKET_NAME --endpoint- url=https://BUCKET_ENDPOINT --key prefix/file1

An error occurred (OperationNotSupported) when calling the GetObjectTagging operation: The operation is not supported for this resource

  • Costes asociados a las solicitudes y a la salida de datos: la transferencia de datos desde un almacenamiento de objetos en la nube conlleva costes de solicitud y salida relacionados con la lectura y la transferencia de datos. Los cargos por solicitud varían entre los proveedores de servicios en la nube y entre las clases de almacenamiento, cuando corresponda. Consulte la documentación de su proveedor de servicios en la nube sobre los costos específicos de las solicitudes relacionadas con la clase de almacenamiento de la que planea leer. Para obtener una descripción general de los cargos por solicitud que DataSync implican las transferencias de datos, consulte Cómo evaluar los costos de las solicitudes de S3 cuando se utiliza DataSync y los AWS DataSync precios. La transferencia de datos desde proveedores de nube específicos genera cargos por salida. Los costos de transferencia de datos varían entre los proveedores de la nube y también dependen de la región en la que se almacenan los datos.

  • Tasas de solicitud de almacenamiento de objetos: los proveedores de servicios en la nube tienen diferentes características de rendimiento y tasa de solicitud para sus plataformas de almacenamiento de objetos. Revise las tasas de solicitud de su otro proveedor de servicios en la nube y determine dónde se aplican los límites de solicitud. Planifique con antelación las transferencias altamente paralelizadas compuestas por varios agentes, en las que podría ser necesario crear particiones específicas o aumentar el rendimiento.

    Amazon S3 ha documentado las tasas de solicitud en función de las cuales puede crear su solución. Las tasas de solicitud de Amazon S3 son por prefijo particionado y se pueden escalar a varios prefijos. Para obtener más información, consulte Patrones de diseño de prácticas recomendadas: optimización del rendimiento de Amazon S3 en la Guía del usuario de Amazon Simple Storage Service.