Deadline Cloud のジョブアタッチメントに S3 プレフィックスをコピーする

copy_s3_prefix_to_job_attachments ジョブバンドルは、Amazon S3 にAmazon S3バケットに事前入力します。すでに大量のデータがあるプロジェクトに Deadline Cloud ファームを追加する場合、または流体シミュレーション出力などの多くの新しいデータに依存するジョブを送信する場合、最初のジョブアタッチメントのアップロードが遅くなる可能性があります。

ジョブアタッチメントはコンテンツアドレスストレージを使用し、すでにジョブアタッチメントにあるファイルは再アップロードされないため、AWS Snowball、AWS DataSync、Nimble Studio File Transfer などの代替アップロードツールを使用して、最初に Amazon S3 にデータをコピーしてから、このジョブを使用してキューのジョブアタッチメントバケットにコピーできます。

バンドルを送信し、並列化するワーカーの数を選択します。

deadline bundle submit copy_s3_prefix_to_job_attachments \
    -p S3CopySource=s3://SOURCE_BUCKET_NAME/prefix-to-copy \
    -p Parallelism=20

キュー IAM ロールに次の IAM アクセス許可を追加します。ロールには、ジョブアタッチメントバケットプレフィックスを読み書きするアクセス許可が既にあります。

{
    "Effect": "Allow",
    "Sid": "DeadlineQueueReadOnly",
    "Action": [
        "deadline:GetQueue"
    ],
    "Resource": [
        "arn:aws:deadline:REGION:ACCOUNT_ID:farm/FARM_ID/queue/QUEUE_ID"
    ]
},
{
    "Effect": "Allow",
    "Sid": "SourceBucketAccess",
    "Action": [
        "s3:ListBucket",
        "s3:GetObjectTagging",
        "s3:PutObjectTagging",
        "s3:GetObject"
    ],
    "Resource": [
        "arn:aws:s3:::SOURCE_BUCKET_NAME",
        "arn:aws:s3:::SOURCE_BUCKET_NAME/*"
    ]
}

このジョブは Amazon S3 API を呼び出し、キューのジョブアタッチメントバケットにデータをコピーするため、追加コストが発生します。 APIs Amazon S3 の料金ページと AWS 料金計算ツールを使用してコストを見積もります。