View a markdown version of this page

将文件上传到截止日期云作业附件 - 截止日期云

本文属于机器翻译版本。若本译文内容与英语原文存在差异，则一律以英文原文为准。

将文件上传到截止日期云作业附件

upload_to_job_ attachments Python 脚本以内容可寻址的存储格式将文件和目录从您的工作站上传到 Deadline Cloud 作业附件 Amazon S3 存储桶。文件上传后，引用这些文件的作业无需再次上传。该脚本对于使用大型数据集预先填充作业附件非常有用。

该脚本提供以下内容：

  • 递归上传文件或整个目录。

  • Multi-threaded 转移。

  • 自动重复数据删除，可跳过 Amazon S3 中已有的文件。

  • 使用指数退避重试逻辑。

  • 两种配置模式：直接 Amazon S3 规范或队列查询。

通过指定队列进行上传：

python upload_to_job_attachments.py \
    --farm-id farm-1234567890abcdef \
    --queue-id queue-1234567890abcdef \
    --paths /path/to/files /path/to/directory

或者直接上传到 Amazon S3 存储桶并添加前缀：

python upload_to_job_attachments.py \
    --s3-bucket my-bucket \
    --s3-prefix job-attachments \
    --paths /path/to/files

对于高带宽网络，请增加--threads和。--max-concurrency对于带宽受限的环境，--max-bandwidth请设置为限制上传。对于大文件，请增加--multipart-chunksize。

有关在 Amazon S3 存储桶之间复制文件的基于任务的替代方案，请参阅。将 S3 前缀复制到 Deadline Cloud 上的作业附件