在 Amazon EKS AWS Batch 上開始使用

AWS Batch on Amazon EKS 是一項受管服務，可將批次工作負載排程和擴展至現有的 Amazon EKS 叢集。 AWS Batch 不會代表您建立、管理或執行 Amazon EKS 叢集的生命週期操作。 AWS Batch 協調會擴展和縮減由 管理的節點 AWS Batch ，並在這些節點上執行 Pod。

AWS Batch 不會觸控與 Amazon EKS 叢集內 AWS Batch 運算環境無關的節點、自動擴展節點群組或 Pod 生命週期。為了 AWS Batch 讓 有效運作，其服務連結角色需要現有 Amazon EKS 叢集中Kubernetes的角色型存取控制 (RBAC) 許可。如需詳細資訊，請參閱 Kubernetes 文件中的使用 RBAC 授權。

AWS Batch 需要Kubernetes命名空間，其可將 Pod 作為 AWS Batch 任務的範圍限制在其中。我們建議您使用專用命名空間來隔離 AWS Batch Pod 與其他叢集工作負載。

在 AWS Batch 獲得 RBAC 存取權並建立命名空間之後，您可以使用 CreateComputeEnvironment API 操作將該 Amazon EKS 叢集與 AWS Batch 運算環境建立關聯。任務佇列可以與此新的 Amazon EKS 運算環境相關聯。任務 AWS Batch 會根據 Amazon EKS 任務定義，使用 SubmitJob API 操作提交至任務佇列。 AWS Batch 然後啟動 AWS Batch 受管節點，並將任務從任務佇列做為 Pod Kubernetes 放入與 AWS Batch 運算環境相關聯的 EKS 叢集。

下列各節說明如何在 Amazon EKS AWS Batch 上設定 。

概觀

本教學課程示範如何使用 AWS CLI、 kubectl和 AWS Batch 設定 Amazon EKSeksctl。

先決條件

開始本教學課程之前，您必須安裝並設定建立和管理 AWS Batch 和 Amazon EKS 資源所需的下列工具和資源。

步驟 1：建立 的 Amazon EKS 叢集 AWS Batch

安裝先決條件之後，您需要使用 建立叢集eksctl。建立叢集可能需要 10-15 分鐘。

$  eksctl create cluster --name my-cluster-name --region region-code

在上述命令中取代：

本教學課程稍後需要叢集名稱和區域。

步驟 2：準備您的 Amazon EKS 叢集 AWS Batch

所有步驟都是必要的。

步驟 3：建立 Amazon EKS 運算環境

AWS Batch 運算環境定義運算資源參數，以滿足批次工作負載需求。在受管運算環境中， AWS Batch 可協助您管理 Amazon EKS 叢集內運算資源 (Kubernetes節點） 的容量和執行個體類型。這是以您在建立運算環境時定義的運算資源規格為基礎。您可以使用 EC2 隨需執行個體或 EC2 Spot 執行個體。

現在AWSServiceRoleForBatch服務連結角色可存取您的 Amazon EKS 叢集，您可以建立 AWS Batch 資源。首先，建立指向 Amazon EKS 叢集的運算環境。

$ cat <<EOF > ./batch-eks-compute-environment.json
{
  "computeEnvironmentName": "My-Eks-CE1",
  "type": "MANAGED",
  "state": "ENABLED",
  "eksConfiguration": {
    "eksClusterArn": "arn:aws:eks:region-code:your-account-number:cluster/my-cluster-name",
    "kubernetesNamespace": "my-aws-batch-namespace"
  },
  "computeResources": {
    "type": "EC2",
    "allocationStrategy": "BEST_FIT_PROGRESSIVE",
    "minvCpus": 0,
    "maxvCpus": 128,
    "instanceTypes": [
        "m5"
    ],
    "subnets": [
        "<eks-cluster-subnets-with-access-to-internet-for-image-pull>"
    ],
    "securityGroupIds": [
        "<eks-cluster-sg>"
    ],
    "instanceRole": "<eks-instance-profile>"
  }
}
EOF

$ aws batch create-compute-environment --cli-input-json file://./batch-eks-compute-environment.json

步驟 4：建立任務佇列並連接運算環境

$ aws batch describe-compute-environments --compute-environments My-Eks-CE1

提交至此新任務佇列的任務會在加入與您運算環境相關聯之 Amazon EKS 叢集的 AWS Batch 受管節點上，以 Pod 的形式執行。

$ cat <<EOF > ./batch-eks-job-queue.json
 {
    "jobQueueName": "My-Eks-JQ1",
    "priority": 10,
    "computeEnvironmentOrder": [
      {
        "order": 1,
        "computeEnvironment": "My-Eks-CE1"
      }
    ]
  }
EOF

$ aws batch create-job-queue --cli-input-json file://./batch-eks-job-queue.json

步驟 5：建立任務定義

下列任務定義會指示 Pod 休眠 60 秒。

$ cat <<EOF > ./batch-eks-job-definition.json
{
  "jobDefinitionName": "MyJobOnEks_Sleep",
  "type": "container",
  "eksProperties": {
    "podProperties": {
      "hostNetwork": true,
      "containers": [
        {
          "image": "public.ecr.aws/amazonlinux/amazonlinux:2",
          "command": [
            "sleep",
            "60"
          ],
          "resources": {
            "limits": {
              "cpu": "1",
              "memory": "1024Mi"
            }
          }
        }
      ],
      "metadata": {
        "labels": {
          "environment": "test"
        }
      }
    }
  }
}
EOF

$ aws batch register-job-definition --cli-input-json file://./batch-eks-job-definition.json

步驟 6：提交任務

執行下列 AWS CLI 命令以提交新的任務。

$ aws batch submit-job --job-queue My-Eks-JQ1 \
    --job-definition MyJobOnEks_Sleep --job-name My-Eks-Job1

若要檢查任務的狀態：

$ aws batch describe-jobs --job <jobId-from-submit-response>

步驟 7：檢視任務的輸出

若要檢視任務的輸出，請執行下列動作：

步驟 8：（選用） 提交具有覆寫的任務

此任務會覆寫傳遞至 container 的命令。任務完成後， 會 AWS Batch 積極地清除 Pod，以減少對 的負載Kubernetes。若要檢查任務的詳細資訊，必須設定記錄。如需詳細資訊，請參閱使用 CloudWatch Logs 監控 AWS Batch Amazon EKS 任務。

$ cat <<EOF > ./submit-job-override.json
{
  "jobName": "EksWithOverrides",
  "jobQueue": "My-Eks-JQ1",
  "jobDefinition": "MyJobOnEks_Sleep",
  "eksPropertiesOverride": {
    "podProperties": {
      "containers": [
        {
          "command": [
            "/bin/sh"
          ],
          "args": [
            "-c",
            "echo hello world"
          ]
        }
      ]
    }
  }
}
EOF

$ aws batch submit-job --cli-input-json file://./submit-job-override.json

若要檢視任務的輸出，請執行下列動作：

步驟 9：清除您的教學課程資源

您需支付啟用 Amazon EC2 執行個體的費用。您可以刪除執行個體以停止產生費用。

若要刪除您建立的資源，請執行下列動作：

其他資源

完成教學課程後，您可能想要探索下列主題：