S3 접두사를 Deadline Cloud의 작업 연결에 복사

copy_s3_prefix_to_job_attachments 작업 번들은 Amazon S3에 이미 저장된 파일에서 파일을 복사하여 대기열의 작업 첨부 파일 Amazon S3 버킷을 미리 채웁니다. 이미 대량의 데이터가 있는 프로젝트에 Deadline Cloud 팜을 추가하거나 유체 시뮬레이션 출력과 같은 많은 새 데이터에 의존하는 작업을 제출하는 경우 초기 작업 첨부 파일 업로드가 느려질 수 있습니다.

작업 첨부 파일은 콘텐츠 주소 스토리지를 사용하고 이미 작업 첨부 파일에 있는 파일을 다시 업로드하지 않으므로 AWS Snowball, AWS DataSync 또는 Nimble Studio File Transfer와 같은 대체 업로드 도구를 사용하여 데이터를 Amazon S3에 먼저 복사한 다음이 작업을 사용하여 대기열의 작업 첨부 파일 버킷에 복사할 수 있습니다.

번들을 제출하고 병렬화할 작업자 수를 선택합니다.

deadline bundle submit copy_s3_prefix_to_job_attachments \
    -p S3CopySource=s3://SOURCE_BUCKET_NAME/prefix-to-copy \
    -p Parallelism=20

대기열 IAM 역할에 다음 IAM 권한을 추가합니다. 역할에는 이미 작업 첨부 파일 버킷 접두사를 읽고 쓸 수 있는 권한이 있습니다.

{
    "Effect": "Allow",
    "Sid": "DeadlineQueueReadOnly",
    "Action": [
        "deadline:GetQueue"
    ],
    "Resource": [
        "arn:aws:deadline:REGION:ACCOUNT_ID:farm/FARM_ID/queue/QUEUE_ID"
    ]
},
{
    "Effect": "Allow",
    "Sid": "SourceBucketAccess",
    "Action": [
        "s3:ListBucket",
        "s3:GetObjectTagging",
        "s3:PutObjectTagging",
        "s3:GetObject"
    ],
    "Resource": [
        "arn:aws:s3:::SOURCE_BUCKET_NAME",
        "arn:aws:s3:::SOURCE_BUCKET_NAME/*"
    ]
}

이 작업은 Amazon S3 APIs 호출하고 대기열의 작업 연결 버킷에 데이터를 복사하므로 추가 비용이 발생합니다. Amazon S3 요금 페이지와 AWS 요금 계산기를 사용하여 비용을 추정합니다.