Copia un prefisso S3 negli allegati del lavoro su Deadline Cloud

Il job bundle copy_s3_prefix_to_job_attachments precompila il bucket Job Attachments S3 di una coda copiando i file da dove sono già archiviati in Amazon S3. Se stai aggiungendo una Deadline Cloud farm a un progetto che contiene già un grande volume di dati o stai inviando un lavoro che dipende da molti nuovi dati, come l'output di una simulazione di fluidi, il caricamento iniziale degli allegati del lavoro può essere lento.

Poiché gli allegati dei lavori utilizzano l'archiviazione indirizzata ai contenuti e non caricano mai nuovamente i file già presenti negli allegati del lavoro, puoi utilizzare strumenti di caricamento alternativi come AWS Snowball DataSync, AWS o Nimble Studio File Transfer per copiare prima i dati in Amazon S3, quindi utilizzare questo processo per copiarli nel bucket degli allegati di lavoro per la coda.

Invia il pacchetto e scegli il numero di lavoratori tra cui eseguire la parallelizzazione:

deadline bundle submit copy_s3_prefix_to_job_attachments \
    -p S3CopySource=s3://SOURCE_BUCKET_NAME/prefix-to-copy \
    -p Parallelism=20

Aggiungi le seguenti autorizzazioni IAM al tuo ruolo IAM in coda. Il ruolo dispone già delle autorizzazioni per leggere e scrivere il prefisso del bucket degli allegati del lavoro.

{
    "Effect": "Allow",
    "Sid": "DeadlineQueueReadOnly",
    "Action": [
        "deadline:GetQueue"
    ],
    "Resource": [
        "arn:aws:deadline:REGION:ACCOUNT_ID:farm/FARM_ID/queue/QUEUE_ID"
    ]
},
{
    "Effect": "Allow",
    "Sid": "SourceBucketAccess",
    "Action": [
        "s3:ListBucket",
        "s3:GetObjectTagging",
        "s3:PutObjectTagging",
        "s3:GetObject"
    ],
    "Resource": [
        "arn:aws:s3:::SOURCE_BUCKET_NAME",
        "arn:aws:s3:::SOURCE_BUCKET_NAME/*"
    ]
}

Questo processo richiama le API di Amazon S3 e copia i dati nel bucket degli allegati di lavoro della coda, il che comporta costi aggiuntivi. Utilizza la pagina dei prezzi di Amazon S3 e il calcolatore dei prezzi di AWS per stimare i costi.