Amazon EKS で AWS Batch のご利用開始にあたって

Amazon EKS における AWS Batch は、既存の Amazon EKS クラスターにバッチワークロードをスケジュールおよびスケーリングするためのマネージドサービスです。AWS Batch が、ユーザーに代わって Amazon EKS クラスターの作成、管理、ライフサイクル操作を行うことはありません。AWS Batch オーケストレーションは、AWS Batch が管理するノードのスケールアップとスケールダウンを行い、それらのノード上でポッドを実行します。

AWS Batch は、Amazon EKS クラスター内の AWS Batch コンピューティング環境に関連付けられていないノード、自動スケーリングノードグループ、またはポッドライフサイクルには影響しません。AWS Batch を効果的に動作させるには、そのサービスにリンクされたロールに、既存の Amazon EKS クラスター内における Kubernetes ロールベースのアクセス制御 (RBAC) 権限が必要になります。詳細については、「Kubernetes ドキュメント」の「RBAC 認可を使用する」を参照してください。

AWS Batch には、ポッドを Kubernetes ジョブとしてスコープできる AWS Batch 名前空間が必要です。AWS Batch ポッドを他のクラスターワークロードから分離するために、専用の名前空間を使用することをお勧めします。

AWS Batch に RBAC アクセス権が付与され、名前空間が確立されたら、CreateComputeEnvironment API オペレーションを使用してその Amazon EKS クラスターを AWS Batch コンピューティング環境に関連付けることができます。ジョブキューをこの新しい Amazon EKS コンピューティング環境に関連付けることができます。AWS Batch ジョブは、SubmitJob API オペレーションを使用して Amazon EKS ジョブ定義に基づいてジョブキューに送信されます。次に、AWS Batch は AWS Batch マネージドノードを起動し、ジョブキューにあるジョブを Kubernetes ポッドとして AWS Batch コンピューティング環境に関連付けられた EKS クラスターに配置します。

以下のセクションでは、Amazon EKS で AWS Batch を設定する方法について説明します。

概要

このチュートリアルでは、AWS CLI、kubectl、eksctl を使用して Amazon EKS で AWS Batch を設定する方法について説明します。

前提条件

このチュートリアルを開始する前に、AWS Batch と Amazon EKS リソースの両方を作成して管理する上で必要な次のツールとリソースを、インストールおよび設定しておく必要があります。

ステップ 1: AWS Batch の Amazon EKS クラスターを作成する

前提条件をインストールしたら、eksctl を使用してクラスターを作成する必要があります。クラスターの作成には 10～15 分かかる場合があります。

$  eksctl create cluster --name my-cluster-name --region region-code

上記のコマンドでは:

このチュートリアルの後半では、クラスター名とリージョンが必要です。

AWS Batch の Amazon EKS クラスターを準備する

すべての手順を実行する必要があります。

ステップ 3: Amazon EKS コンピューティング環境を作成する

AWS Batch コンピューティング環境は、バッチワークロードのニーズを満たすコンピューティングリソースパラメータを定義します。マネージドコンピューティング環境では、AWS Batch はAmazon EKS クラスター内のコンピューティングリソース (Kubernetes ノード) の容量とインスタンスタイプを管理します。これは、コンピューティング環境の作成時に定義するコンピューティングリソースの仕様に基づいています。EC2 オンデマンドインスタンスまたは EC2 スポットインスタンスを選択できます。

AWSServiceRoleForBatch サービスにリンクされたロールが Amazon EKS クラスターにアクセスできるようになったので、AWS Batch リソースを作成できます。まず、Amazon EKS クラスターを指すコンピューティング環境を作成します。

$ cat <<EOF > ./batch-eks-compute-environment.json
{
  "computeEnvironmentName": "My-Eks-CE1",
  "type": "MANAGED",
  "state": "ENABLED",
  "eksConfiguration": {
    "eksClusterArn": "arn:aws:eks:region-code:your-account-number:cluster/my-cluster-name",
    "kubernetesNamespace": "my-aws-batch-namespace"
  },
  "computeResources": {
    "type": "EC2",
    "allocationStrategy": "BEST_FIT_PROGRESSIVE",
    "minvCpus": 0,
    "maxvCpus": 128,
    "instanceTypes": [
        "m5"
    ],
    "subnets": [
        "<eks-cluster-subnets-with-access-to-internet-for-image-pull>"
    ],
    "securityGroupIds": [
        "<eks-cluster-sg>"
    ],
    "instanceRole": "<eks-instance-profile>"
  }
}
EOF

$ aws batch create-compute-environment --cli-input-json file://./batch-eks-compute-environment.json

ステップ 4: ジョブキューを作成してコンピューティング環境をアタッチする

$ aws batch describe-compute-environments --compute-environments My-Eks-CE1

この新しいジョブキューに送信されたジョブは、コンピューティング環境に関連付けられた Amazon EKS クラスターに結合された AWS Batch マネージドノードでポッドとして実行されます。

$ cat <<EOF > ./batch-eks-job-queue.json
 {
    "jobQueueName": "My-Eks-JQ1",
    "priority": 10,
    "computeEnvironmentOrder": [
      {
        "order": 1,
        "computeEnvironment": "My-Eks-CE1"
      }
    ]
  }
EOF

$ aws batch create-job-queue --cli-input-json file://./batch-eks-job-queue.json

ステップ 5: ジョブ定義を作成する

次のジョブ定義は、ポッドに 60 秒間スリープするように指示します。

$ cat <<EOF > ./batch-eks-job-definition.json
{
  "jobDefinitionName": "MyJobOnEks_Sleep",
  "type": "container",
  "eksProperties": {
    "podProperties": {
      "hostNetwork": true,
      "containers": [
        {
          "image": "public.ecr.aws/amazonlinux/amazonlinux:2",
          "command": [
            "sleep",
            "60"
          ],
          "resources": {
            "limits": {
              "cpu": "1",
              "memory": "1024Mi"
            }
          }
        }
      ],
      "metadata": {
        "labels": {
          "environment": "test"
        }
      }
    }
  }
}
EOF

$ aws batch register-job-definition --cli-input-json file://./batch-eks-job-definition.json

ステップ 6: ジョブを送信する

新しいジョブを送信するには、以下の AWS CLI コマンドを実行します。

$ aws batch submit-job --job-queue My-Eks-JQ1 \
    --job-definition MyJobOnEks_Sleep --job-name My-Eks-Job1

ジョブのステータスを確認するには:

$ aws batch describe-jobs --job <jobId-from-submit-response>

ステップ 7: ジョブの出力を表示する

ジョブの出力を表示するには、以下を実行します。

ステップ 8: (オプション) オーバーライドを含むジョブを送信する

このジョブは、コンテナに渡されたコマンドを上書きします。AWS Batch は、ジョブの完了後にポッドを積極的にクリーンアップして、Kubernetes に対する負荷を軽減します。ジョブの詳細を確認するには、ログ記録を設定する必要があります。詳細については、「CloudWatch Logs を使用して Amazon EKS ジョブにおける AWS Batch をモニタリングする」を参照してください。

$ cat <<EOF > ./submit-job-override.json
{
  "jobName": "EksWithOverrides",
  "jobQueue": "My-Eks-JQ1",
  "jobDefinition": "MyJobOnEks_Sleep",
  "eksPropertiesOverride": {
    "podProperties": {
      "containers": [
        {
          "command": [
            "/bin/sh"
          ],
          "args": [
            "-c",
            "echo hello world"
          ]
        }
      ]
    }
  }
}
EOF

$ aws batch submit-job --cli-input-json file://./submit-job-override.json

ジョブの出力を表示するには、以下を実行します。

ステップ 9: チュートリアルのリソースをクリーンアップする

Amazon EC2 インスタンスが有効になっている間は課金されます。インスタンスを削除して、料金の発生を停止できます。

作成したリソースを削除するには、次の作業を行います。

その他のリソース

チュートリアルが完了したら、次のトピックを試すことができます。