开始使用 Amazon EKS 上的 AWS Batch

Amazon EKS 上的 AWS Batch 是一项托管服务，用于将批处理工作负载调度和扩展到现有 Amazon EKS 集群中。AWS Batch 不会代表您创建、管理或执行您的 Amazon EKS 集群生命周期操作。AWS Batch 编排纵向扩展和缩减由 AWS Batch 管理的节点，并在这些节点上运行容器组（pod）。

AWS Batch 不会触及与 Amazon EKS 集群中的 AWS Batch 计算环境无关的节点、自动扩缩节点组或容器组（pod）生命周期。为了 AWS Batch 有效运行，其服务相关角色需要在现有 Amazon EKS 集群中具有 Kubernetes 基于角色的访问控制（RBAC)）权限。有关更多信息，请参阅 Kubernetes 文档中的使用 RBAC 授权。

AWS Batch 需要一个 Kubernetes 命名空间，它可以在其中将容器组（pod）限定为 AWS Batch 作业。我们建议使用专用的命名空间将 AWS Batch 容器组（pod）与其他集群工作负载隔离开来。

AWS Batch 获得 RBAC 访问权限并建立命名空间后，您可以使用 CreateComputeEnvironment API 操作将该 Amazon EKS 集群关联到 AWS Batch 计算环境。作业队列可以与这个新的 Amazon EKS 计算环境相关联。使用 SubmitJob API 操作基于 Amazon EKS 作业定义将 AWS Batch 作业提交到作业队列。然后 AWS Batch 启动 AWS Batch 托管节点，并将作业队列中的作业作为 Kubernetes 容器组（pod）放入与 AWS Batch 计算环境关联的 EKS 集群中。

以下各节介绍如何在 Amazon EKS 上设置好 AWS Batch。

概览

本教程展示了如何使用 AWS CLI、kubectl 和 eksctl 设置将 AWS Batch 与 Amazon EKS 结合使用。

先决条件

在开始使用本教程之前，您必须安装并配置创建和管理 AWS Batch 和 Amazon EKS 资源所需的以下工具和资源。

第 1 步：为 AWS Batch 创建 Amazon EKS 集群

完成前提条件安装后，您需要使用 eksctl 创建集群。集群创建可能需要 10–15 分钟时间。

$  eksctl create cluster --name my-cluster-name --region region-code

请在上述命令中执行以下替换：

本教程的后面部分将需要该集群名称和区域。

第 2 步：为 AWS Batch 准备您的 Amazon EKS 集群

必须完成所有步骤。

第 3 步：创建 Amazon EKS 计算环境

AWS Batch 计算环境定义计算资源参数以满足您的批处理工作负载需求。在托管计算环境中，AWS Batch 用以管理您的 Amazon EKS 集群中计算资源（Kubernetes 节点）的容量和实例类型。这是基于您在创建计算环境时定义的计算资源规范。您可以使用 EC2 按需型实例或 EC2 竞价型实例。

由于 AWSServiceRoleForBatch 服务相关角色可以访问您的 Amazon EKS 集群，您可以创建 AWS Batch 资源。首先，创建一个指向 Amazon EKS 集群的计算环境。

$ cat <<EOF > ./batch-eks-compute-environment.json
{
  "computeEnvironmentName": "My-Eks-CE1",
  "type": "MANAGED",
  "state": "ENABLED",
  "eksConfiguration": {
    "eksClusterArn": "arn:aws:eks:region-code:your-account-number:cluster/my-cluster-name",
    "kubernetesNamespace": "my-aws-batch-namespace"
  },
  "computeResources": {
    "type": "EC2",
    "allocationStrategy": "BEST_FIT_PROGRESSIVE",
    "minvCpus": 0,
    "maxvCpus": 128,
    "instanceTypes": [
        "m5"
    ],
    "subnets": [
        "<eks-cluster-subnets-with-access-to-internet-for-image-pull>"
    ],
    "securityGroupIds": [
        "<eks-cluster-sg>"
    ],
    "instanceRole": "<eks-instance-profile>"
  }
}
EOF

$ aws batch create-compute-environment --cli-input-json file://./batch-eks-compute-environment.json

第 4 步：创建作业队列并连接计算环境

$ aws batch describe-compute-environments --compute-environments My-Eks-CE1

提交到这个新作业队列的作业在加入与您的计算环境关联的 Amazon EKS 集群的 AWS Batch 托管节点上以容器组（pod）的形式运行。

$ cat <<EOF > ./batch-eks-job-queue.json
 {
    "jobQueueName": "My-Eks-JQ1",
    "priority": 10,
    "computeEnvironmentOrder": [
      {
        "order": 1,
        "computeEnvironment": "My-Eks-CE1"
      }
    ]
  }
EOF

$ aws batch create-job-queue --cli-input-json file://./batch-eks-job-queue.json

步骤 5：创建作业定义

以下作业定义会指示该容器组睡眠 60 秒。

$ cat <<EOF > ./batch-eks-job-definition.json
{
  "jobDefinitionName": "MyJobOnEks_Sleep",
  "type": "container",
  "eksProperties": {
    "podProperties": {
      "hostNetwork": true,
      "containers": [
        {
          "image": "public.ecr.aws/amazonlinux/amazonlinux:2",
          "command": [
            "sleep",
            "60"
          ],
          "resources": {
            "limits": {
              "cpu": "1",
              "memory": "1024Mi"
            }
          }
        }
      ],
      "metadata": {
        "labels": {
          "environment": "test"
        }
      }
    }
  }
}
EOF

$ aws batch register-job-definition --cli-input-json file://./batch-eks-job-definition.json

第 6 步：提交作业

运行以下 AWS CLI 命令提交一个新作业。

$ aws batch submit-job --job-queue My-Eks-JQ1 \
    --job-definition MyJobOnEks_Sleep --job-name My-Eks-Job1

检查作业状态：

$ aws batch describe-jobs --job <jobId-from-submit-response>

第 7 步：查看作业输出

要查看作业输出，请执行以下操作：

第 8 步：（可选）提交带覆盖的作业

此作业会覆盖传递给容器的命令。AWS Batch 在作业完成后会积极清理容器组以减少 Kubernetes 的负载。要检查作业的详细信息，必须配置日志记录。有关更多信息，请参阅 使用 CloudWatch Logs 监控 Amazon EKS 作业的 AWS Batch。

$ cat <<EOF > ./submit-job-override.json
{
  "jobName": "EksWithOverrides",
  "jobQueue": "My-Eks-JQ1",
  "jobDefinition": "MyJobOnEks_Sleep",
  "eksPropertiesOverride": {
    "podProperties": {
      "containers": [
        {
          "command": [
            "/bin/sh"
          ],
          "args": [
            "-c",
            "echo hello world"
          ]
        }
      ]
    }
  }
}
EOF

$ aws batch submit-job --cli-input-json file://./submit-job-override.json

要查看作业输出，请执行以下操作：

第 9 步：清理教程资源

启用 Amazon EC2 实例后，您需要为该实例付费。您可以删除实例以停止产生费用。

要删除您创建的资源，请执行以下操作：

其他资源

完成本教程后，您可以探索以下主题：