View a markdown version of this page

Copier un préfixe S3 dans les pièces jointes aux tâches sur Deadline Cloud - Deadline Cloud

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Copier un préfixe S3 dans les pièces jointes aux tâches sur Deadline Cloud

Le bundle de tâches copy_s3_prefix_to_job_attachments préremplit le compartiment S3 des pièces jointes aux tâches d'une file d'attente en copiant les fichiers à partir de l'endroit où ils sont déjà stockés dans Amazon S3. Si vous ajoutez une ferme Deadline Cloud à un projet qui contient déjà un volume important de données, ou si vous soumettez une tâche qui dépend d'un grand nombre de nouvelles données, telle qu'une sortie de simulation de fluide, le téléchargement initial des pièces jointes aux tâches peut être lent.

Comme les pièces jointes aux tâches utilisent le stockage dédié au contenu et ne rechargent jamais les fichiers qui se trouvent déjà dans les pièces jointes aux tâches, vous pouvez utiliser d'autres outils de téléchargement tels qu'AWS Snowball, DataSyncAWS ou Nimble Studio File Transfer pour copier d'abord les données dans Amazon S3, puis utiliser cette tâche pour les copier dans le compartiment des pièces jointes de votre file d'attente.

Soumettez le bundle et choisissez le nombre de travailleurs à utiliser en parallèle :

deadline bundle submit copy_s3_prefix_to_job_attachments \
    -p S3CopySource=s3://SOURCE_BUCKET_NAME/prefix-to-copy \
    -p Parallelism=20

Ajoutez les autorisations IAM suivantes à votre rôle IAM dans la file d'attente. Le rôle dispose déjà des autorisations nécessaires pour lire et écrire le préfixe du compartiment des pièces jointes aux tâches.

{
    "Effect": "Allow",
    "Sid": "DeadlineQueueReadOnly",
    "Action": [
        "deadline:GetQueue"
    ],
    "Resource": [
        "arn:aws:deadline:REGION:ACCOUNT_ID:farm/FARM_ID/queue/QUEUE_ID"
    ]
},
{
    "Effect": "Allow",
    "Sid": "SourceBucketAccess",
    "Action": [
        "s3:ListBucket",
        "s3:GetObjectTagging",
        "s3:PutObjectTagging",
        "s3:GetObject"
    ],
    "Resource": [
        "arn:aws:s3:::SOURCE_BUCKET_NAME",
        "arn:aws:s3:::SOURCE_BUCKET_NAME/*"
    ]
}

Cette tâche appelle les API Amazon S3 et copie les données dans le compartiment des pièces jointes aux tâches de votre file d'attente, ce qui entraîne des coûts supplémentaires. Utilisez la page de tarification d'Amazon S3 et le calculateur de prix AWS pour estimer les coûts.