Crear una tarea para transferir sus datos - AWS DataSync
Creación de su tarea de Estados de las tareasParticionar grandes conjuntos de datos con múltiples tareasSegmentación de los datos transferidos con múltiples tareas

Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.

Crear una tarea para transferir sus datos

Una tarea describe dónde y cómo se AWS DataSync transfieren los datos. Una tarea consta de lo siguiente:

  • Ubicación de origen: el sistema o servicio de almacenamiento desde el que se DataSync transfieren los datos.

  • Ubicación de destino: el sistema o servicio de almacenamiento al que se DataSync transfieren los datos.

  • Opciones de tareas: ajustes como qué archivos transferir, cómo se verifican los datos, cuándo se ejecuta la tarea y más.

  • Ejecuciones de tareas: cuando ejecuta una tarea, esto se llama ejecución de tareas.

Creación de su tarea de

Al crear una DataSync tarea, se especifican las ubicaciones de origen y destino. También puede personalizar la tarea eligiendo qué archivos desea transferir, cómo se gestionan los metadatos, estableciendo un cronograma y mucho más.

Antes de crear la tarea, asegúrate de entender cómo funcionan DataSync las transferencias y revisa las cuotas de tareas.

importante

Si planea transferir datos a o desde una ubicación de Amazon S3, consulte cómo DataSync pueden afectar los cargos por solicitud de S3 y la página de DataSync precios antes de empezar.

  1. Abra la AWS DataSync consola en https://console.aws.amazon.com/datasync/.

  2. Asegúrese de estar en uno de los Regiones de AWS lugares donde planea transferir datos.

  3. En el panel de navegación situado a la izquierda, expanda Transferencia de datos; luego, seleccione Tareas y, a continuación, seleccione Crear tarea.

  4. En la página Configure source location (Configurar ubicación de origen) elija crear o elija una ubicación de origen y después elija Next (Siguiente).

  5. En la página Configurar ubicación de destino, crea o elige una ubicación de destino y, a continuación, selecciona Siguiente.

  6. (Recomendado) En la página de configuración, asigne a la tarea un nombre que pueda recordar.

  7. Mientras se encuentre en la página de configuración, elija las opciones de la tarea o utilice la configuración predeterminada.

    Puede que te interesen algunas de las siguientes opciones:

    Cuando haya terminado, elija Siguiente.

  8. Revise la configuración de la tarea y después elija Crear tarea.

Ya está listo para comenzar su tarea.

Una vez que haya creado las ubicaciones de DataSync origen y destino, podrá crear su tarea.

  1. En AWS CLI la configuración, asegúrate de usar una de las ubicaciones en las Regiones de AWS que planeas transferir los datos.

  2. Copie el siguiente comando create-task:

    aws datasync create-task \
  --source-location-arn "arn:aws:datasync:us-east-1:account-id:location/location-id" \
  --destination-location-arn "arn:aws:datasync:us-east-1:account-id:location/location-id" \
  --name "task-name"

  3. Para --source-location-arn, especifique el nombre de recurso de Amazon (ARN) de la ubicación de origen.

  4. Para --destination-location-arn, especifique el ARN de la ubicación de destino.

    Si realizas una transferencia entre Regiones de AWS nuestras cuentas, asegúrate de que el ARN incluya la otra región o ID de cuenta.

  5. (Recomendado) Para--name, especifique un nombre para la tarea que pueda recordar.

  6. Especifique otras opciones de tareas según sea necesario. Puede que te interesen algunas de las siguientes opciones:

    Para ver más opciones, consulta create-task. A continuación, se muestra un create-task comando de ejemplo que especifica varias opciones:

    aws datasync create-task \
  --source-location-arn "arn:aws:datasync:us-east-1:account-id:location/location-id" \
  --destination-location-arn "arn:aws:datasync:us-east-1:account-id:location/location-id" \
  --cloud-watch-log-group-arn "arn:aws:logs:region:account-id" \
  --name "task-name" \
  --options VerifyMode=NONE,OverwriteMode=NEVER,Atime=BEST_EFFORT,Mtime=PRESERVE,Uid=INT_VALUE,Gid=INT_VALUE,PreserveDevices=PRESERVE,PosixPermissions=PRESERVE,PreserveDeletedFiles=PRESERVE,TaskQueueing=ENABLED,LogLevel=TRANSFER

  7. Ejecute el comando create-task.

    Si el comando se ejecuta correctamente, recibirá una respuesta que le mostrará el ARN de la tarea que creó. Por ejemplo:

    { 
    "TaskArn": "arn:aws:datasync:us-east-1:111222333444:task/task-08de6e6697796f026" 
}

Ya está listo para comenzar su tarea.

Estados de las tareas

Cuando creas una DataSync tarea, puedes comprobar su estado para ver si está lista para ejecutarse.

Estado de la consola Estado de la API Descripción
Disponible

AVAILABLE

La tarea está lista para empezar a transferir datos.
Running

RUNNING

 La ejecución de una tarea está en curso. Para obtener más información, consulte Estados de ejecución de las tareas.

No disponible

UNAVAILABLE

Un DataSync agente utilizado por la tarea está desconectado. Para obtener más información, consulte ¿Qué hago si mi agente está desconectado?

En cola

QUEUED

Se está ejecutando otra tarea en la que se utiliza el mismo DataSync agente. Para obtener más información, consulte Saber cuándo la tarea está en cola.

Particionar grandes conjuntos de datos con múltiples tareas

Si va a transferir un conjunto de datos grande, como migrar millones de archivos u objetos, le recomendamos particionar el conjunto de datos con varias tareas. DataSync Dividir los datos de origen en varias tareas (y, posiblemente, en agentes, según las ubicaciones) ayuda a reducir el tiempo que se tarda en DataSync preparar y transferir los datos.

Considere algunas de las formas en que puede particionar un conjunto de datos grande en varias DataSync tareas:

  • Crea tareas que transfieran carpetas independientes. Por ejemplo, puede crear dos tareas que tengan como destino /FolderA y/FolderB, respectivamente, en el almacenamiento de origen.

  • Cree tareas que transfieran subconjuntos de archivos, objetos y carpetas mediante un manifiesto o filtros.

Tenga en cuenta que este enfoque puede aumentar las operaciones de E/S del almacenamiento y afectar al ancho de banda de la red. Para obtener más información, consulte el blog sobre Cómo acelerar las transferencias de datos con arquitecturas DataSync escalables.

Segmentación de los datos transferidos con múltiples tareas

Si va a transferir diferentes conjuntos de datos al mismo destino, puede crear varias tareas para ayudar a segmentar los datos que transfiere.

Por ejemplo, si va a realizar la transferencia al mismo bucket de S3 denominado MyBucket, puede crear distintos prefijos en el bucket que correspondan a cada tarea. Este enfoque evita que el nombre del archivo entre en conflicto con los conjuntos de datos y te permite establecer diferentes permisos para cada prefijo. A continuación le explicamos cómo puede configurar esto:

  1. Cree tres prefijos en el destino MyBucket denominado task1, task2 ytask3:

    • s3://MyBucket/task1

    • s3://MyBucket/task2

    • s3://MyBucket/task3

  2. Cree tres DataSync tareas task1 denominadas task2 y task3 transfiéralas al prefijo correspondiente en. MyBucket