Copia un prefijo S3 a los adjuntos de trabajo en Deadline Cloud

El paquete de trabajos copy_s3_prefix_to_job_attachments rellena previamente el depósito S3 de adjuntos de trabajos de una cola copiando los archivos desde donde ya están almacenados en Amazon S3. Si va a añadir una granja de Deadline Cloud a un proyecto que ya tiene un gran volumen de datos o va a enviar un trabajo que depende de una gran cantidad de datos nuevos, como el resultado de una simulación fluida, la carga inicial de los archivos adjuntos a los trabajos puede resultar lenta.

Como los adjuntos de trabajos utilizan un almacenamiento con direcciones de contenido y nunca se vuelven a cargar los archivos que ya están en los archivos adjuntos de trabajos, puede utilizar herramientas de carga alternativas, como AWS Snowball, DataSyncAWS o Nimble Studio File Transfer, para copiar primero los datos en Amazon S3 y, a continuación, utilizar este trabajo para copiarlos en el depósito de adjuntos de trabajos de su cola.

Envíe el paquete y elija el número de trabajadores entre los que desea establecer un paralelismo:

deadline bundle submit copy_s3_prefix_to_job_attachments \
    -p S3CopySource=s3://SOURCE_BUCKET_NAME/prefix-to-copy \
    -p Parallelism=20

Añada los siguientes permisos de IAM a su función de IAM de cola. El rol ya tiene permisos para leer y escribir el prefijo del depósito de adjuntos de tareas.

{
    "Effect": "Allow",
    "Sid": "DeadlineQueueReadOnly",
    "Action": [
        "deadline:GetQueue"
    ],
    "Resource": [
        "arn:aws:deadline:REGION:ACCOUNT_ID:farm/FARM_ID/queue/QUEUE_ID"
    ]
},
{
    "Effect": "Allow",
    "Sid": "SourceBucketAccess",
    "Action": [
        "s3:ListBucket",
        "s3:GetObjectTagging",
        "s3:PutObjectTagging",
        "s3:GetObject"
    ],
    "Resource": [
        "arn:aws:s3:::SOURCE_BUCKET_NAME",
        "arn:aws:s3:::SOURCE_BUCKET_NAME/*"
    ]
}

Este trabajo llama a las API de Amazon S3 y copia los datos en el depósito de adjuntos de trabajos de la cola, lo que conlleva costes adicionales. Utilice la página de precios de Amazon S3 y la calculadora de precios de AWS para calcular los costes.