Salin awalan S3 ke lampiran pekerjaan di Deadline Cloud

Bundel pekerjaan copy_s3_prefix_to_job_attachments mengisi bucket S3 lampiran pekerjaan antrian dengan menyalin file dari tempat mereka sudah disimpan di Amazon S3. Jika Anda menambahkan pertanian Deadline Cloud ke proyek yang sudah memiliki volume data yang besar, atau mengirimkan pekerjaan yang bergantung pada banyak data baru seperti keluaran simulasi yang lancar, unggahan lampiran pekerjaan awal bisa lambat.

Karena lampiran pekerjaan menggunakan penyimpanan yang dialamatkan konten dan tidak pernah mengunggah ulang file yang sudah ada di lampiran pekerjaan, Anda dapat menggunakan alat unggah alternatif seperti AWS Snowball, AWS DataSync, atau Transfer File Nimble Studio untuk menyalin data ke Amazon S3 terlebih dahulu, lalu gunakan pekerjaan ini untuk menyalinnya ke bucket lampiran pekerjaan untuk antrian Anda.

Kirim bundel dan pilih berapa banyak pekerja yang akan diparalelkan:

deadline bundle submit copy_s3_prefix_to_job_attachments \
    -p S3CopySource=s3://SOURCE_BUCKET_NAME/prefix-to-copy \
    -p Parallelism=20

Tambahkan izin IAM berikut ke peran IAM antrian Anda. Peran tersebut sudah memiliki izin untuk membaca dan menulis awalan bucket lampiran pekerjaan.

{
    "Effect": "Allow",
    "Sid": "DeadlineQueueReadOnly",
    "Action": [
        "deadline:GetQueue"
    ],
    "Resource": [
        "arn:aws:deadline:REGION:ACCOUNT_ID:farm/FARM_ID/queue/QUEUE_ID"
    ]
},
{
    "Effect": "Allow",
    "Sid": "SourceBucketAccess",
    "Action": [
        "s3:ListBucket",
        "s3:GetObjectTagging",
        "s3:PutObjectTagging",
        "s3:GetObject"
    ],
    "Resource": [
        "arn:aws:s3:::SOURCE_BUCKET_NAME",
        "arn:aws:s3:::SOURCE_BUCKET_NAME/*"
    ]
}

Pekerjaan ini memanggil Amazon S3 API dan menyalin data ke dalam keranjang lampiran pekerjaan antrian Anda, yang menimbulkan biaya tambahan. Gunakan halaman harga Amazon S3 dan Kalkulator Harga AWS untuk memperkirakan biaya.