将 Amazon EC2 启动模板与 AWS Batch 结合使用 - AWS Batch

将 Amazon EC2 启动模板与 AWS Batch 结合使用

AWS Batch 支持在 EC2 计算环境中使用 Amazon EC2 启动模板。启动模板支持允许您修改 AWS Batch 计算资源的默认配置,而无需您创建自定义的 AMI。

注意

AWS Fargate 资源不支持启动模板。

您必须先创建启动模板,然后才能将其与计算环境关联。您可以在 Amazon EC2 控制台创建启动模板。或者,您可以使用 AWS CLI 或 AWS SDK。例如,下面的 JSON 文件表示一个启动模板,它为默认 AWS Batch 计算资源 AMI 调整 Docker 数据卷的大小,并将其设置为加密。

{ "LaunchTemplateName": "increase-container-volume-encrypt", "LaunchTemplateData": { "BlockDeviceMappings": [ { "DeviceName": "/dev/xvda", "Ebs": { "Encrypted": true, "VolumeSize": 100, "VolumeType": "gp2" } } ] } }

您可以通过将 JSON 保存到名为 lt-data.json 的文件并运行以下 AWS CLI 命令来创建上述启动模板:

aws ec2 --region <region> create-launch-template --cli-input-json file://lt-data.json

有关启动模板的更多信息,请参阅《Amazon EC2 用户指南》中的从启动模板启动实例

如果使用启动模板来创建计算环境,则可以将以下现有计算环境参数移至启动模板:

注意

假设在启动模板和计算环境配置中同时指定其中任意参数(Amazon EC2 标签除外)。然后,计算环境参数优先。Amazon EC2 标签在启动模板和计算环境配置之间合并。如果标签键发生冲突,则计算环境配置中的值优先。

  • Amazon EC2 密钥对

  • Amazon EC2 AMI ID

  • 安全组 ID

  • Amazon EC2 标签

以下启动模板参数将被 AWS Batch 忽略

  • 实例类型(在创建计算环境时指定所需的实例类型)

  • 实例角色(在创建计算环境时指定所需的实例角色)

  • 网络接口子网(在创建计算环境时指定所需的子网)

  • 实例市场选项(AWS Batch 必须控制竞价型实例配置)

  • 禁用 API 终止(AWS Batch 必须控制实例生命周期)

AWS Batch 仅在基础架构更新期间使用新启动模板版本更新启动模板。有关更多信息,请参阅 在 AWS Batch 中更新计算环境

默认启动模板和覆盖启动模板

您可以为计算环境定义默认启动模板,并为特定实例类型和系列定义覆盖启动模板。这可能会非常实用,因此计算环境中的大多数实例类型都使用默认模板。

可以使用替换变量 $Default$Latest,而不指定特定的版本。如果未提供覆盖启动模板,则会自动应用默认启动模板。

如果您使用 $Default$Latest 变量,则 AWS Batch 将在创建计算环境时应用当前信息。如果未来默认版本或最新版本发生更改,则必须通过 UpdateComputeEnvironment 或通过 AWS 管理控制台 - AWS Batch.更新相关信息。

为提供更好的灵活性,您可以定义将应用于特定计算实例类型或系列的覆盖启动模板。

注意

您最多可以为每个计算环境指定十(10)个覆盖启动模板。

使用 targetInstanceTypes 参数来选择应使用此覆盖启动模板的实例类型或系列。实例类型或系列必须首先由 instanceTypes 参数标识。

如果您定义了覆盖启动模板,后来决定将其移除,则可以在 UpdateComputeEnvironment API 操作中传递一个空数组来取消设置 overrides 参数。您也可以选择在提交 UpdateComputeEnvironment API 操作时不包含 overrides 参数。有关更多信息,请参阅 LaunchTemplateSpecification.overrides

有关更多信息,请参阅 AWS Batch API 参考指南中的 LaunchTemplateSpecificationOverride.targetInstanceTypes

启动模板中的 Amazon EC2 用户数据

在启动实例时,您可以使用由cloud-init运行的启动模板中提供 Amazon EC2 用户数据。您的用户数据可以执行常见的配置方案,包括但不限于:

启动模板中用于托管节点组的 Amazon EC2 用户数据必须采用 MIME 分段归档格式。这是因为您的用户数据与配置计算资源所需的其他 AWS Batch 用户数据合并。您可以将多个用户数据块合并到一个 MIME 分段文件中。例如,您可能希望将配置 Docker 进程守护程序的云 boothook 与为 Amazon ECS 容器代理写入配置信息的用户数据 Shell 脚本合并。

如果您使用的是 AWS CloudFormation,AWS::CloudFormation::Init 类型可以与 cfn-init 帮助程序脚本一起使用,以执行常见的配置方案。

MIME 分段文件包含以下组成部分:

  • 内容类型和段边界声明:Content-Type: multipart/mixed; boundary="==BOUNDARY=="

  • MIME 版本声明:MIME-Version: 1.0

  • 一个或多个用户数据块,其包含以下组成部分:

    • 开口边界,表示用户数据块的开头:--==BOUNDARY==必须将此边界之前的行留空。

    • 数据块的内容类型声明:Content-Type: text/cloud-config; charset="us-ascii"。有关内容类型的更多信息,请参阅 Cloud-Init 文档。必须将内容类型声明之后的行留空。

    • 用户数据的内容,例如,Shell 命令或 cloud-init 指令的列表。

  • 封闭边界,表示 MIME 分段文件的结尾:--==BOUNDARY==--必须将此闭合边界之前的行留空。

注意

如果将用户数据添加到 Amazon EC2 控制台中的启动模板,则可以将其作为纯文本粘贴或从文件进行上载。或者,您可以从文件上传它。如果您使用 AWS CLI 或 AWS SDK,则必须先对用户数据进行 base64 编码,然后在调用 CreateLaunchTemplate 时将该字符串作为 UserData 参数的值提交,如此 JSON 文件所示。

{ "LaunchTemplateName": "base64-user-data", "LaunchTemplateData": { "UserData": "ewogICAgIkxhdW5jaFRlbXBsYXRlTmFtZSI6ICJpbmNyZWFzZS1jb250YWluZXItdm9sdW..." } }