Cómo empezar a utilizar AWS Batch Amazon EKS Private Clusters

AWS Batch es un servicio gestionado que organiza las cargas de trabajo por lotes en los clústeres de Amazon Elastic Kubernetes Service (Amazon EKS). Esto incluye la creación de colas, el seguimiento de dependencias, la gestión de reintentos y las prioridades de los trabajos, la gestión de pods y el escalado de nodos. Esta función conecta su clúster privado de Amazon EKS existente con el AWS Batch fin de ejecutar sus trabajos a escala. Puede utilizar eksctl(una interfaz de línea de comandos para Amazon EKS), la AWS consola o la AWS Command Line Interfacepara crear un clúster privado de Amazon EKS con todos los demás recursos necesarios.

De forma predeterminada, los clústeres privados de Amazon EKS no tienen acceso a inbound/outbound Internet y solo puede acceder al servidor de API desde su VPC o desde una red conectada. Los puntos de enlace de Amazon VPC se utilizan para permitir el acceso privado a otros servicios. AWS eksctladmite la creación de clústeres totalmente privados mediante una Amazon VPC y subredes preexistentes. eksctltambién crea puntos de enlace de Amazon VPC en la Amazon VPC suministrada y modifica las tablas de enrutamiento de las subredes suministradas.

Cada subred debe tener asociada una tabla de enrutamiento explícita, ya que eksctl no modifica la tabla de enrutamiento principal. El clúster debe extraer imágenes de un registro de contenedores que esté en su VPC de Amazon. Además, puede crear un Amazon Elastic Container Registry en su VPC de Amazon y copiar las imágenes del contenedor para que sus nodos puedan extraerlas. Para obtener más información, consulte Copiar una imagen de contenedor de un repositorio en otro repositorio. Para empezar a utilizar los repositorios privados de Amazon ECR, consulte Repositorios privados de Amazon ECR.

También puede crear una regla de caché de extracción con Amazon ECR. Una vez creada una regla de extracción de caché para un registro público externo, puede extraer una imagen de ese registro público externo mediante el identificador uniforme de recursos (URI) del registro privado de Amazon ECR. A continuación, Amazon ECR crea un repositorio y almacena la imagen en la caché. Cuando se extrae una imagen en caché mediante el URI del registro privado de Amazon ECR, Amazon ECR verifica el registro remoto para ver si hay una nueva versión de la imagen y actualiza su registro privado hasta una vez cada 24 horas.

Descripción general

En este tutorial se muestra cómo realizar la configuración AWS Batch con un Amazon EKS privado mediante AWS CloudShell, kubectl yeksctl.

Requisitos previos

Este tutorial AWS CloudShell utiliza un shell preautenticado y basado en un navegador que se inicia directamente desde. AWS Management Console Esto permite acceder al clúster una vez que deje de tener acceso público a Internet. El AWS CLIkubectl, y eksctl puede que ya estén instalados como parte de AWS CloudShell. Para obtener más información al respecto AWS CloudShell, consulte la Guía AWS CloudShell del usuario. Una alternativa AWS CloudShell es conectarse a la VPC del clúster o a una red conectada.

Para ejecutar comandos de kubectl, necesitará acceso privado a su clúster de Amazon EKS. Esto significa que todo el tráfico al servidor de la API del clúster debe proceder de dentro de la VPC de su clúster o de una red conectada.

Paso 1: Cree su clúster de EKS para AWS Batch

Le recomendamos que utilice eksctl el siguiente archivo de configuración para crear el clúster. Para configurar el clúster manualmente, siga las instrucciones de la sección Implementación de clústeres privados con acceso limitado a Internet de la Guía del usuario de Amazon EKS.

Paso 2: Prepare su clúster EKS para AWS Batch

Todos los pasos son obligatorios y deben realizarse en él AWS CloudShell.

Paso 3: Crear un entorno informático Amazon EKS

AWS Batch los entornos informáticos definen los parámetros de los recursos informáticos para satisfacer sus necesidades de carga de trabajo por lotes. En un entorno informático gestionado, le AWS Batch ayuda a gestionar la capacidad y los tipos de instancia de los recursos informáticos (Kubernetesnodos) de su clúster de Amazon EKS. Se basa en la especificación de recursos de computación que se define al crear el entorno de computación. Puede utilizar instancias EC2 bajo demanda o instancias EC2 puntuales.

Ahora que el rol AWSServiceRoleForBatchvinculado al servicio tiene acceso a su clúster de Amazon EKS, puede crear AWS Batch recursos. En primer lugar, cree un entorno de computación que apunte a su clúster de Amazon EKS.

$ cat <<EOF > ./batch-eks-compute-environment.json
{
  "computeEnvironmentName": "My-Eks-CE1",
  "type": "MANAGED",
  "state": "ENABLED",
  "eksConfiguration": {
    "eksClusterArn": "arn:aws:eks:us-east-1:<your-account-ID>:cluster/my-test-cluster",
    "kubernetesNamespace": "my-aws-batch-namespace"
  },
  "computeResources": {
    "type": "EC2",
    "allocationStrategy": "BEST_FIT_PROGRESSIVE",
    "minvCpus": 0,
    "maxvCpus": 128,
    "instanceTypes": [
        "m5"
    ],
    "subnets": [
        "<eks-cluster-subnets-with-access-to-the-image-for-image-pull>"
    ],
    "securityGroupIds": [
        "<eks-cluster-sg>"
    ],
    "instanceRole": "<eks-instance-profile>"
  }
}
EOF
        

$ aws batch create-compute-environment --cli-input-json file://./batch-eks-compute-environment.json

Paso 4: Cree una cola de trabajos y adjunte el entorno informático

$ aws batch describe-compute-environments --compute-environments My-Eks-CE1

Los trabajos enviados a esta nueva cola de trabajos se ejecutan como pods en los nodos AWS Batch gestionados que se unieron al clúster de Amazon EKS asociado a su entorno informático.

$ cat <<EOF > ./batch-eks-job-queue.json
 {
    "jobQueueName": "My-Eks-JQ1",
    "priority": 10,
    "computeEnvironmentOrder": [
      {
        "order": 1,
        "computeEnvironment": "My-Eks-CE1"
      }
    ]
  }
EOF

$ aws batch create-job-queue --cli-input-json file://./batch-eks-job-queue.json

Paso 5: Cree un Amazon ECR con caché de extracción

Como el clúster no tiene acceso público a Internet, debe crear un Amazon ECR para las imágenes del contenedor. Las siguientes instrucciones crean un Amazon ECR con una regla de caché desplegable para almacenar la imagen.

Paso 6: Registrar una definición de trabajo

La siguiente definición de Job indica al módulo que duerma durante 60 segundos.

En el campo de imagen de la definición del trabajo, en lugar de proporcionar un enlace a la imagen de un repositorio de ECR público, facilite el enlace a la imagen almacenada en nuestro repositorio de ECR privado. Consulte el siguiente ejemplo de definición de trabajo:

$ cat <<EOF > ./batch-eks-job-definition.json
{
  "jobDefinitionName": "MyJobOnEks_Sleep",
  "type": "container",
  "eksProperties": {
    "podProperties": {
      "hostNetwork": true,
      "containers": [
        {
          "image": "<your-account-ID>.dkr.ecr.us-east-1.amazonaws.com/my-prefix/amazonlinux/amazonlinux:2",
          "command": [
            "sleep",
            "60"
          ],
          "resources": {
            "limits": {
              "cpu": "1",
              "memory": "1024Mi"
            }
          }
        }
      ],
      "metadata": {
        "labels": {
          "environment": "test"
        }
      }
    }
  }
}
EOF

$ aws batch register-job-definition --cli-input-json file://./batch-eks-job-definition.json

Paso 7: envíe un trabajo para ejecutarlo

Ejecuta el siguiente AWS CLI comando AWS CloudShell para enviar un nuevo trabajo y devuelve el JoBid único.

$ aws batch submit-job --job-queue My-Eks-JQ1 \
    --job-definition MyJobOnEks_Sleep - -job-name My-Eks-Job1

Paso 8: Ver el resultado del trabajo

Para comprobar el estado de un Job:

$ aws batch describe-jobs --job <JobID-from-submit-response>

Los startedAt y stoppedAt deben estar separados por un minuto.

Paso 9: (Opcional) Envía un trabajo con sustituciones

Este trabajo anula el comando transferido al contenedor.

$ cat <<EOF > ./submit-job-override.json
{
  "jobName": "EksWithOverrides",
  "jobQueue": "My-Eks-JQ1",
  "jobDefinition": "MyJobOnEks_Sleep",
  "eksPropertiesOverride": {
    "podProperties": {
      "containers": [
        {
          "command": [
            "/bin/sh"
          ],
          "args": [
            "-c",
            "echo hello world"
          ]
        }
      ]
    }
  }
}
EOF
        

$ aws batch submit-job - -cli-input-json file://./submit-job-override.json

Paso 10: Limpia los recursos de tu tutorial

Se te cobrará por la EC2 instancia de Amazon mientras esté habilitada. Puedes eliminar la instancia para dejar de incurrir en cargos.

Para eliminar los recursos que ha creado, haga lo siguiente:

Recursos adicionales

Después de completar el tutorial, es posible que desee explorar los siguientes temas:

Solución de problemas

Si los nodos lanzados por AWS Batch no tienen acceso al repositorio de Amazon ECR (o a ningún otro repositorio) que almacene su imagen, sus trabajos podrían permanecer en el estado STARTING. Esto se debe a que el pod no podrá descargar la imagen ni ejecutar su AWS Batch trabajo. Si haces clic en el nombre del pod lanzado por, AWS Batch deberías poder ver el mensaje de error y confirmar el problema. El mensaje de error debería ser similar al siguiente:

Failed to pull image "public.ecr.aws/amazonlinux/amazonlinux:2": rpc error: code =
Unknown desc = failed to pull and unpack image
"public.ecr.aws/amazonlinux/amazonlinux:2": failed to resolve reference
"public.ecr.aws/amazonlinux/amazonlinux:2": failed to do request: Head
"https://public.ecr.aws/v2/amazonlinux/amazonlinux/manifests/2": dial tcp: i/o timeout

Para ver otros escenarios de solución de problemas comunes, consulte Solución de problemas de AWS Batch. Para obtener información sobre la solución de problemas en función del estado del pod, consulte ¿Cómo soluciono los problemas del estado del pod en Amazon EKS? .