在服务托管队列中使用作业附件 - 截止日期云
选择文件系统模式优化传输性能下载作业输出

本文属于机器翻译版本。若本译文内容与英语原文存在差异，则一律以英文原文为准。

在服务托管队列中使用作业附件

作业附件使用亚马逊简单存储服务 (Amazon S3) Service 在您的工作站和 Deadline Cloud 工作人员之间传输文件。您可以单独使用作业附件，也可以与共享存储一起使用，将辅助数据附加到未与其他作业共享的作业，例如作业脚本、配置文件或存储在本地的项目资产。

有关作业附件的工作原理的信息，请参阅 De adline Cloud 用户指南中的作业附件。有关在作业捆绑包中指定输入和输出文件的详细信息，请参阅使用作业附件共享文件。

选择文件系统模式

提交带附件的作业时，您可以通过设置fileSystem属性来选择工作人员如何从 Amazon S3 加载文件：

  • 已复制（默认）-在任务开始之前将所有文件下载到本地磁盘。最好在每项任务都需要大多数输入文件时使用。

  • 虚拟-装载按需下载文件的虚拟文件系统。当任务只需要输入文件的子集时，效果最好。仅在 Linux SMF 工作程序上可用。

重要

虚拟模式缓存会增加内存消耗，并且并未针对所有工作负载进行优化。我们建议您在运行生产作业之前测试工作负载。

有关配置文件系统模式的详细信息，请参阅 De adline Cloud 用户指南中的虚拟文件系统。

优化传输性能

将文件从 Amazon S3 同步到 SMF 工作程序的速度取决于您的队列的亚马逊弹性区块存储 (Amazon EBS) Block Store 卷配置。默认情况下，SMF 工作程序使用具有基准性能设置的 gp3 Amazon EBS 卷。对于具有大型输入文件或许多小文件的工作负载，您可以通过提高 Amazon EBS 吞吐量和 IOPS 设置来提高传输速度。您可以使用 AWS Command Line Interface (AWS CLI) 更新这些设置。

吞吐量（MiB/s）

从卷读取或写入数据的速率。gp3 卷MiB/s, maximum is 1,000 MiB/s的默认值为 125。对于大型顺序文件传输，请增加。

IOPS

每秒输入/输出操作数。默认值为 3,000 IOPS，gp3 卷的最大值为 16,000 IOPS。传输许多小文件时增加。

注意

增加 Amazon EBS 吞吐量和 IOPS 会增加机队成本。有关价格信息，请参阅 De adline Cloud 定价。

要在现有队列上更新 Amazon EBS 设置，请使用 AWS CLI

  • 运行如下命令：

    aws deadline update-fleet \
  --farm-id farm-0123456789abcdef0 \
  --fleet-id fleet-0123456789abcdef0 \
  --configuration '{
    "serviceManagedEc2": {
      "instanceCapabilities": {
        "vCpuCount": {"min": 4},
        "memoryMiB": {"min": 8192},
        "osFamily": "linux",
        "cpuArchitectureType": "x86_64",
        "rootEbsVolume": {
          "sizeGiB": 250,
          "iops": 6000,
          "throughputMiB": 500
        }
      },
      "instanceMarketOptions": {"type": "spot"}
    }
  }'

下载作业输出

任务完成后，使用 Deadline Cloud CLI 或 AWS Deadline Cloud 监控器（Deadline Cloud 监控器）下载输出文件：

deadline job download-output --job-id job-0123456789abcdef0

要在作业完成后自动下载输出，请参阅 De adline Cloud 用户指南中的自动下载。