Conceitos básicos do AWS Batch no Amazon EKS

O AWS Batch no Amazon EKS é um serviço gerenciado para programar e escalar workloads em lotes em clusters do Amazon EKS existentes. O AWS Batch não cria, administra nem executa operações de ciclo de vida de seus clusters do Amazon EKS em seu nome. A orquestração do AWS Batch aumenta e diminui os nós gerenciados pelo AWS Batch e executa pods nesses nós.

O AWS Batch não toca em nós, grupos de nós com ajuste de escala automático ou ciclos de vida de pods que não estejam associados a ambientes de computação do AWS Batch em seu cluster do Amazon EKS. Para o AWS Batch operar de forma eficaz, sua perfil vinculada ao serviço precisa de permissões de controle de acesso com base em perfil (RBAC) do Kubernetes em seu cluster do Amazon EKS existente. Para obter mais informações, consulte Usar autorização RBAC na documentação do Kubernetes.

O AWS Batch requer um namespace do Kubernetes em que possa incluir pods como trabalhos do AWS Batch. Recomendamos um namespace dedicado para isolar os pods do AWS Batch das outras workloads do cluster.

Depois do AWS Batch receber acesso RBAC e de um namespace ser estabelecido, você pode associar esse cluster do Amazon EKS a um ambiente de computação do AWS Batch usando a operação de API CreateComputeEnvironment. Uma fila de trabalhos pode ser associada a esse novo ambiente de computação do Amazon EKS. Os trabalhos do AWS Batch são enviados para a fila de trabalhos com base em uma definição de trabalho do Amazon EKS usando a operação da API SubmitJob. O AWS Batch então inicia os nós gerenciados do AWS Batch e coloca os trabalhos da fila de trabalhos como pods do Kubernetes no cluster do EKS associado a um ambiente de computação do AWS Batch.

As seções a seguir abordam como se preparar para usar o AWS Batch no Amazon EKS.

Visão geral

Este tutorial demonstra como configurar AWS Batch com um Amazon EKS usando o AWS CLI, kubectl e eksctl.

Pré-requisitos

Antes de iniciar este tutorial, você deve instalar e configurar as ferramentas e os recursos a seguir necessários para criar e gerenciar os recursos do AWS Batch e do Amazon EKS.

Etapa 1: criar o cluster do Amazon EKS para AWS Batch

Depois de instalar os pré-requisitos, você precisará criar seu cluster usando o eksctl. Criar o cluster pode levar de 10 a 15 minutos.

$  eksctl create cluster --name my-cluster-name --region region-code

No comando anterior, substitua:

O nome e a região do cluster são necessários para um momento posterior deste tutorial.

Etapa 2: preparar seu cluster do Amazon EKS para o AWS Batch

Todas as etapas são necessárias.

Etapa 3: criar um ambiente computacional do Amazon EKS

Ambientes de computação do AWS Batch definem parâmetros de recursos de computação para atender às suas necessidades de workload em lote. Em um ambiente de computação gerenciado, o AWS Batch ajuda a gerenciar os tipos de capacidade e instância dos recursos de computação (nós do Kubernetes) dentro do seu cluster do Amazon EKS. Isso se baseia na especificação do recurso de computação que você define ao criar o ambiente de computação. Você pode usar instâncias sob demanda do EC2 ou instâncias spot do EC2.

Agora que a função AWSServiceRoleForBatch vinculada ao serviço tem acesso ao seu cluster do Amazon EKS, você pode criar recursos do AWS Batch. Primeiro, crie um ambiente computacional que aponte para seu cluster do Amazon EKS.

$ cat <<EOF > ./batch-eks-compute-environment.json
{
  "computeEnvironmentName": "My-Eks-CE1",
  "type": "MANAGED",
  "state": "ENABLED",
  "eksConfiguration": {
    "eksClusterArn": "arn:aws:eks:region-code:your-account-number:cluster/my-cluster-name",
    "kubernetesNamespace": "my-aws-batch-namespace"
  },
  "computeResources": {
    "type": "EC2",
    "allocationStrategy": "BEST_FIT_PROGRESSIVE",
    "minvCpus": 0,
    "maxvCpus": 128,
    "instanceTypes": [
        "m5"
    ],
    "subnets": [
        "<eks-cluster-subnets-with-access-to-internet-for-image-pull>"
    ],
    "securityGroupIds": [
        "<eks-cluster-sg>"
    ],
    "instanceRole": "<eks-instance-profile>"
  }
}
EOF

$ aws batch create-compute-environment --cli-input-json file://./batch-eks-compute-environment.json

Etapa 4: Criar uma fila de trabalhos e anexar o ambiente de computação

$ aws batch describe-compute-environments --compute-environments My-Eks-CE1

Os trabalhos enviados para essa nova fila de trabalhos são executados como pods em nós gerenciados do AWS Batch que se juntaram ao cluster do Amazon EKS associado ao seu ambiente computacional.

$ cat <<EOF > ./batch-eks-job-queue.json
 {
    "jobQueueName": "My-Eks-JQ1",
    "priority": 10,
    "computeEnvironmentOrder": [
      {
        "order": 1,
        "computeEnvironment": "My-Eks-CE1"
      }
    ]
  }
EOF

$ aws batch create-job-queue --cli-input-json file://./batch-eks-job-queue.json

Etapa 5: Criar uma definição de trabalho

A definição de trabalho a seguir instrui o pod a dormir por 60 segundos.

$ cat <<EOF > ./batch-eks-job-definition.json
{
  "jobDefinitionName": "MyJobOnEks_Sleep",
  "type": "container",
  "eksProperties": {
    "podProperties": {
      "hostNetwork": true,
      "containers": [
        {
          "image": "public.ecr.aws/amazonlinux/amazonlinux:2",
          "command": [
            "sleep",
            "60"
          ],
          "resources": {
            "limits": {
              "cpu": "1",
              "memory": "1024Mi"
            }
          }
        }
      ],
      "metadata": {
        "labels": {
          "environment": "test"
        }
      }
    }
  }
}
EOF

$ aws batch register-job-definition --cli-input-json file://./batch-eks-job-definition.json

Etapa 6: Enviar um trabalho

Execute o comando AWS CLI a seguir para enviar um novo Trabalho.

$ aws batch submit-job --job-queue My-Eks-JQ1 \
    --job-definition MyJobOnEks_Sleep --job-name My-Eks-Job1

Para verificar o status de um trabalho:

$ aws batch describe-jobs --job <jobId-from-submit-response>

Etapa 7: ver a saída do trabalho

Para ver o resultado do trabalho, faça o seguinte:

Etapa 8: (Opcional) Enviar um trabalho com substituições

Esse trabalho substitui o comando passado para o contêiner. O AWS Batch limpa agressivamente os pods após a conclusão dos trabalhos para reduzir a carga para o Kubernetes. Para examinar os detalhes de um trabalho, o log deve ser configurado. Para obter mais informações, consulte Use o CloudWatch Logs para monitorar AWS Batch trabalhos do Amazon EKS.

$ cat <<EOF > ./submit-job-override.json
{
  "jobName": "EksWithOverrides",
  "jobQueue": "My-Eks-JQ1",
  "jobDefinition": "MyJobOnEks_Sleep",
  "eksPropertiesOverride": {
    "podProperties": {
      "containers": [
        {
          "command": [
            "/bin/sh"
          ],
          "args": [
            "-c",
            "echo hello world"
          ]
        }
      ]
    }
  }
}
EOF

$ aws batch submit-job --cli-input-json file://./submit-job-override.json

Para ver o resultado do trabalho, faça o seguinte:

Etapa 9: limpar os recursos do tutorial

Você será cobrado pela instância do Amazon EC2 enquanto ela estiver ativada. É possível excluir a instância para não incorrer mais em cobranças.

Para excluir os recursos criados, faça o seguinte:

Recursos adicionais

Depois de concluir o tutorial, você pode querer explorar os seguintes tópicos: