Introducción a AWS Batch en Amazon EKSEKS

AWS Batch en Amazon EKS es un servicio administrado para programar y escalar cargas de trabajo por lotes en clústeres de Amazon EKS existentes. AWS Batch no crea, administra ni realiza las operaciones del ciclo de vida de los clústeres de Amazon EKS en su nombre. La orquestación AWS Batch amplía y reduce los nodos gestionados por AWS Batch y ejecuta pods en dichos nodos.

AWS Batch no afecta a los nodos, ni a los grupos de nodos con escalado automático ni a los ciclos de vida de los pods que no estén asociados a los entornos de computación AWS Batch de su clúster de Amazon EKS. Para que AWS Batch funcione de forma eficaz, su función vinculada a los servicios necesita permisos de control de acceso Kubernetes basado en funciones (RBAC) en el clúster de Amazon EKS existente. Para obtener más información, consulte Utilización de la autorización de RBAC en la documentación Kubernetes.

AWS Batch requiere un espacio de nombres Kubernetes en el que pueda clasificar los pods como trabajos AWS Batch. Recomendamos un espacio de nombres dedicado para aislar los pods AWS Batch de las demás cargas de trabajo del clúster.

Una vez se haya otorgado acceso RBAC a AWS Batch y se haya establecido un espacio de nombres, puede asociar ese clúster de Amazon EKS a un entorno de computación de AWS Batch mediante la operación de API CreateComputeEnvironment. Se puede asociar una cola de trabajos a este nuevo entorno de computación de Amazon EKS. Los trabajos AWS Batch se envían a la cola de trabajos en función de una definición de trabajo de Amazon EKS mediante la operación de API SubmitJob. A continuación, AWS Batch lanza los nodos administrados por AWS Batch y coloca los trabajos de la cola de trabajos en forma de pods Kubernetes en el clúster de EKS asociado a un entorno de computación de AWS Batch.

En las siguientes secciones, se explica cómo configurar AWS Batch en Amazon EKS.

Descripción general

En este tutorial se muestra cómo configurar AWS Batch con Amazon EKS mediante AWS CLI, kubectl y eksctl.

Requisitos previos

Antes de comenzar este tutorial, debe instalar y configurar las siguientes herramientas y recursos que necesita para crear y administrar recursos tanto de AWS Batch como de Amazon EKS.

Paso 1: Crear el clúster de Amazon EKS para AWS Batch

Tras haber instalado los requisitos previos, debe crear su clúster con eksctl. Crear el clúster puede tardar entre 10 y 15 minutos.

$  eksctl create cluster --name my-cluster-name --region region-code

Sustituya en el comando anterior:

El nombre y la región del clúster serán necesarios en otro momento para este tutorial.

Paso 2: Preparar el clúster de Amazon EKS para AWS Batch

Todos los pasos son obligatorios.

Paso 3: Crear un entorno de computación de Amazon EKS

AWS Batch Los entornos de computación definen los parámetros de los recursos de computación para satisfacer sus necesidades de carga de trabajo por lotes. En un entorno de computación administrado, AWS Batch le ayuda a administrar la capacidad y los tipos de instancias de los recursos de computación (nodos Kubernetes) dentro de su clúster de Amazon EKS. Se basa en la especificación de recursos de computación que se define al crear el entorno de computación. Puede utilizar instancias bajo demanda EC2 o instancias de spot EC2.

Ahora que el rol vinculado al servicio AWSServiceRoleForBatch tiene acceso a su clúster de Amazon EKS, puede crear recursos de AWS Batch. En primer lugar, cree un entorno de computación que apunte a su clúster de Amazon EKS.

$ cat <<EOF > ./batch-eks-compute-environment.json
{
  "computeEnvironmentName": "My-Eks-CE1",
  "type": "MANAGED",
  "state": "ENABLED",
  "eksConfiguration": {
    "eksClusterArn": "arn:aws:eks:region-code:your-account-number:cluster/my-cluster-name",
    "kubernetesNamespace": "my-aws-batch-namespace"
  },
  "computeResources": {
    "type": "EC2",
    "allocationStrategy": "BEST_FIT_PROGRESSIVE",
    "minvCpus": 0,
    "maxvCpus": 128,
    "instanceTypes": [
        "m5"
    ],
    "subnets": [
        "<eks-cluster-subnets-with-access-to-internet-for-image-pull>"
    ],
    "securityGroupIds": [
        "<eks-cluster-sg>"
    ],
    "instanceRole": "<eks-instance-profile>"
  }
}
EOF

$ aws batch create-compute-environment --cli-input-json file://./batch-eks-compute-environment.json

Paso 4: cree una cola de trabajos y adjunte el entorno de computación

$ aws batch describe-compute-environments --compute-environments My-Eks-CE1

Los trabajos enviados a esta nueva cola de trabajos se ejecutan como pods en los nodos administrados AWS Batch que se unieron al clúster de Amazon EKS asociado a su entorno de computación.

$ cat <<EOF > ./batch-eks-job-queue.json
 {
    "jobQueueName": "My-Eks-JQ1",
    "priority": 10,
    "computeEnvironmentOrder": [
      {
        "order": 1,
        "computeEnvironment": "My-Eks-CE1"
      }
    ]
  }
EOF

$ aws batch create-job-queue --cli-input-json file://./batch-eks-job-queue.json

Paso 5: crear una definición de trabajo

La siguiente definición de trabajo le indica al pod que permanezca en espera durante 60 segundos.

$ cat <<EOF > ./batch-eks-job-definition.json
{
  "jobDefinitionName": "MyJobOnEks_Sleep",
  "type": "container",
  "eksProperties": {
    "podProperties": {
      "hostNetwork": true,
      "containers": [
        {
          "image": "public.ecr.aws/amazonlinux/amazonlinux:2",
          "command": [
            "sleep",
            "60"
          ],
          "resources": {
            "limits": {
              "cpu": "1",
              "memory": "1024Mi"
            }
          }
        }
      ],
      "metadata": {
        "labels": {
          "environment": "test"
        }
      }
    }
  }
}
EOF

$ aws batch register-job-definition --cli-input-json file://./batch-eks-job-definition.json

Paso 6: presentar un trabajo

Ejecute el siguiente comando AWS CLI para enviar un trabajo nuevo.

$ aws batch submit-job --job-queue My-Eks-JQ1 \
    --job-definition MyJobOnEks_Sleep --job-name My-Eks-Job1

Cómo comprobar el estado de un trabajo:

$ aws batch describe-jobs --job <jobId-from-submit-response>

Paso 7: Ver la salida del trabajo

Para ver la salida del trabajo, realice lo siguiente:

Paso 8: (opcional) Enviar un trabajo con anulaciones

Este trabajo anula el comando pasado al contenedor. AWS Batch elimina decididamente los pod una vez finalizadas las tareas para reducir la carga a Kubernetes. Para examinar los detalles de un trabajo, se debe configurar el registro. Para obtener más información, consulte Utilice los Registros de CloudWatch para supervisar AWS Batch en los trabajos de Amazon EKS.

$ cat <<EOF > ./submit-job-override.json
{
  "jobName": "EksWithOverrides",
  "jobQueue": "My-Eks-JQ1",
  "jobDefinition": "MyJobOnEks_Sleep",
  "eksPropertiesOverride": {
    "podProperties": {
      "containers": [
        {
          "command": [
            "/bin/sh"
          ],
          "args": [
            "-c",
            "echo hello world"
          ]
        }
      ]
    }
  }
}
EOF

$ aws batch submit-job --cli-input-json file://./submit-job-override.json

Para ver la salida del trabajo, realice lo siguiente:

Paso 9: Eliminar los recursos del tutorial

Se le cobrará por la instancia de Amazon EC2 mientras esté habilitada. Puede eliminar la instancia para dejar de generar cargos.

Para eliminar los recursos que usted creó, haga lo que se indica a continuación:

Recursos adicionales

Después de completar el tutorial, recomendamos consultar alguno de los siguientes temas: