Kopieren Sie ein S3-Präfix in Jobanhänge in Deadline Cloud

Das Job-Bundle copy_s3_prefix_to_job_attachments füllt den S3-Bucket für Auftragsanhänge einer Warteschlange vorab aus, indem es Dateien von dort kopiert, wo sie bereits in Amazon S3 gespeichert sind. Wenn Sie eine Deadline Cloud-Farm zu einem Projekt hinzufügen, das bereits über ein großes Datenvolumen verfügt, oder wenn Sie einen Job einreichen, der von vielen neuen Daten abhängt, wie z. B. einer Fluid-Simulationsausgabe, kann der anfängliche Upload der Jobanhänge langsam sein.

Da Job Attachments inhaltsadressierten Speicher verwendet und niemals Dateien erneut hochlädt, die sich bereits in Job-Anhängen befinden, können Sie alternative Upload-Tools wie AWS Snowball, AWS oder Nimble Studio File Transfer verwenden DataSync, um Daten zuerst in Amazon S3 zu kopieren und sie dann mit diesem Job in den Bucket für Jobanhänge für Ihre Warteschlange zu kopieren.

Reichen Sie das Paket ein und wählen Sie aus, für wie viele Worker parallelisiert werden soll:

deadline bundle submit copy_s3_prefix_to_job_attachments \
    -p S3CopySource=s3://SOURCE_BUCKET_NAME/prefix-to-copy \
    -p Parallelism=20

Fügen Sie Ihrer Warteschlangen-IAM-Rolle die folgenden IAM-Berechtigungen hinzu. Die Rolle ist bereits berechtigt, das Bucket-Präfix für Jobanhänge zu lesen und zu schreiben.

{
    "Effect": "Allow",
    "Sid": "DeadlineQueueReadOnly",
    "Action": [
        "deadline:GetQueue"
    ],
    "Resource": [
        "arn:aws:deadline:REGION:ACCOUNT_ID:farm/FARM_ID/queue/QUEUE_ID"
    ]
},
{
    "Effect": "Allow",
    "Sid": "SourceBucketAccess",
    "Action": [
        "s3:ListBucket",
        "s3:GetObjectTagging",
        "s3:PutObjectTagging",
        "s3:GetObject"
    ],
    "Resource": [
        "arn:aws:s3:::SOURCE_BUCKET_NAME",
        "arn:aws:s3:::SOURCE_BUCKET_NAME/*"
    ]
}

Dieser Job ruft Amazon S3 S3-APIs auf und kopiert Daten in den Bucket für Auftragsanhänge Ihrer Warteschlange, was zusätzliche Kosten verursacht. Verwenden Sie die Amazon S3 S3-Preisseite und den AWS-Preisrechner, um die Kosten zu schätzen.