Copie um prefixo S3 para anexos de tarefas no Deadline Cloud

O pacote de tarefas copy_s3_prefix_to_job_attachments preenche previamente o bucket S3 de anexos de tarefas de uma fila copiando arquivos de onde eles já estão armazenados no Amazon S3. Se você estiver adicionando um farm do Deadline Cloud a um projeto que já tem um grande volume de dados ou está enviando um trabalho que depende de muitos dados novos, como uma saída de simulação fluida, o upload inicial dos anexos do trabalho pode ser lento.

Como os anexos do trabalho usam armazenamento endereçado ao conteúdo e nunca recarregam arquivos que já estão nos anexos do trabalho, você pode usar ferramentas alternativas de upload, como AWS Snowball, AWS ou Nimble Studio File Transfer,para copiar primeiro os dados para o Amazon S3 e DataSync, em seguida, usar esse trabalho para copiá-los no bucket de anexos do trabalho para sua fila.

Envie o pacote e escolha quantos trabalhadores deseja paralelizar:

deadline bundle submit copy_s3_prefix_to_job_attachments \
    -p S3CopySource=s3://SOURCE_BUCKET_NAME/prefix-to-copy \
    -p Parallelism=20

Adicione as seguintes permissões do IAM à sua função do IAM de fila. A função já tem permissões para ler e gravar o prefixo do bucket de anexos do trabalho.

{
    "Effect": "Allow",
    "Sid": "DeadlineQueueReadOnly",
    "Action": [
        "deadline:GetQueue"
    ],
    "Resource": [
        "arn:aws:deadline:REGION:ACCOUNT_ID:farm/FARM_ID/queue/QUEUE_ID"
    ]
},
{
    "Effect": "Allow",
    "Sid": "SourceBucketAccess",
    "Action": [
        "s3:ListBucket",
        "s3:GetObjectTagging",
        "s3:PutObjectTagging",
        "s3:GetObject"
    ],
    "Resource": [
        "arn:aws:s3:::SOURCE_BUCKET_NAME",
        "arn:aws:s3:::SOURCE_BUCKET_NAME/*"
    ]
}

Esse trabalho chama as APIs do Amazon S3 e copia os dados para o bucket de anexos do trabalho da sua fila, o que gera custos adicionais. Use a página de preços do Amazon S3 e a calculadora de preços da AWS para estimar os custos.