Conceitos básicos do AWS Batch em clusters privados do Amazon EKS

O AWS Batch é um serviço gerenciado que orquestra workloads em lote nos seus clusters do Amazon Elastic Kubernetes Service (Amazon EKS). Isso inclui enfileiramento, monitoramento de dependências, tentativas e prioridades gerenciadas de tarefas, gerenciamento de pods e nós em escala. Esse recurso conecta seu cluster privado existente do Amazon EKS com o AWS Batch para executar seus trabalhos em grande escala. É possível usar o eksctl (uma interface de linha de comando para o Amazon EKS), o console do AWS ou a AWS Command Line Interface para criar um cluster privado do Amazon EKS com todos os outros recursos necessários.

Por padrão, os clusters privados do Amazon EKS não têm acesso de entrada/saída à Internet, e você só pode acessar o servidor de API pela VPC ou por uma rede conectada. Endpoints da VPC Amazon são usados para permitir o acesso privado a outros serviços da AWS. O eksctl oferece suporte à criação de clusters totalmente privados usando uma Amazon VPC e sub-redes pré-existentes. O eksctl também cria endpoints da Amazon VPC na Amazon VPC fornecida e modifica as tabelas de rotas para as sub-redes fornecidas.

Cada sub-rede deve ter uma tabela de rotas explícita associada a ela, pois o eksctl não modifica a tabela de rotas principal. O cluster deve extrair imagens de um registro de contêiner que esteja na Amazon VPC. Você também pode criar um Amazon Elastic Container Registry na Amazon VPC e copiar para ele as imagens de contêiner para que os nós as extrai dali. Para obter mais informações, consulte Copiar uma imagem de contêiner de um repositório para outro. Para começar a usar repositórios privados do Amazon ECR, consulte Repositórios privados do Amazon ECR.

Opcionalmente, é possível criar uma regra de cache de pullthrough com o Amazon ECR. Depois que uma regra de cache de pullthrough é criada para um registro público externo, é possível extrair uma imagem desse registro público externo usando seu URI (Identificador de recursos uriformes) de registro privado do Amazon ECR. Em seguida, o Amazon ECR cria um repositório e armazena a imagem no cache. Quando uma imagem em cache é extraída usando o URI de registro privado do Amazon ECR, o Amazon ECR verifica o registro remoto para ver se há uma nova versão da imagem e atualiza seu registro privado até uma vez a cada 24 horas.

Visão geral

Este tutorial demonstra como configurar AWS Batch com um Amazon EKS privado usando o AWS CloudShell, kubectl e eksctl.

Pré-requisitos

Este tutorial usa o AWS CloudShell, que é um shell pré-autenticado baseado em navegador que você pode iniciar diretamente do Console de gerenciamento da AWS. Isso permite o acesso ao cluster quando ele não tem mais acesso público à Internet. O AWS CLI, kubectl e eksctl podem já estar instalados como parte do AWS CloudShell. Para obter mais informações sobre o AWS CloudShell, consulte o AWS CloudShellGuia do usuário. Uma alternativa ao AWS CloudShell é conectar-se à VPC do seu cluster ou a uma rede conectada.

Para executar comandos kubectl, você precisará de acesso privado ao cluster do Amazon EKS. Isso significa que todo o tráfego para o servidor de API do cluster deve vir da VPC do cluster ou de uma rede conectada.

Etapa 1: criar seu cluster EKS para AWS Batch

Recomendamos que você use eksctl e o seguinte arquivo de configuração para criar seu cluster. Para configurar manualmente seu cluster, siga as instruções em Implantar clusters privados com acesso limitado à Internet no Guia do usuário do Amazon EKS.

Etapa 2: preparando seu cluster EKS para o AWS Batch

Todas as etapas são obrigatórias e devem ser executadas no AWS CloudShell.

Etapa 3: criar um ambiente computacional do Amazon EKS

Ambientes de computação do AWS Batch definem parâmetros de recursos de computação para atender às suas necessidades de workload em lote. Em um ambiente de computação gerenciado, o AWS Batch ajuda a gerenciar os tipos de capacidade e instância dos recursos de computação (nós do Kubernetes) dentro do seu cluster do Amazon EKS. Isso se baseia na especificação do recurso de computação que você define ao criar o ambiente de computação. Você pode usar instâncias sob demanda do EC2 ou instâncias spot do EC2.

Agora que a função AWSServiceRoleForBatch vinculada ao serviço tem acesso ao seu cluster do Amazon EKS, você pode criar recursos do AWS Batch. Primeiro, crie um ambiente computacional que aponte para seu cluster do Amazon EKS.

$ cat <<EOF > ./batch-eks-compute-environment.json
{
  "computeEnvironmentName": "My-Eks-CE1",
  "type": "MANAGED",
  "state": "ENABLED",
  "eksConfiguration": {
    "eksClusterArn": "arn:aws:eks:us-east-1:<your-account-ID>:cluster/my-test-cluster",
    "kubernetesNamespace": "my-aws-batch-namespace"
  },
  "computeResources": {
    "type": "EC2",
    "allocationStrategy": "BEST_FIT_PROGRESSIVE",
    "minvCpus": 0,
    "maxvCpus": 128,
    "instanceTypes": [
        "m5"
    ],
    "subnets": [
        "<eks-cluster-subnets-with-access-to-the-image-for-image-pull>"
    ],
    "securityGroupIds": [
        "<eks-cluster-sg>"
    ],
    "instanceRole": "<eks-instance-profile>"
  }
}
EOF
        

$ aws batch create-compute-environment --cli-input-json file://./batch-eks-compute-environment.json

Etapa 4: Criar uma fila de trabalhos e anexar o ambiente de computação

$ aws batch describe-compute-environments --compute-environments My-Eks-CE1

Os trabalhos enviados para essa nova fila de trabalhos são executados como pods em nós gerenciados do AWS Batch que se juntaram ao cluster do Amazon EKS associado ao seu ambiente computacional.

$ cat <<EOF > ./batch-eks-job-queue.json
 {
    "jobQueueName": "My-Eks-JQ1",
    "priority": 10,
    "computeEnvironmentOrder": [
      {
        "order": 1,
        "computeEnvironment": "My-Eks-CE1"
      }
    ]
  }
EOF

$ aws batch create-job-queue --cli-input-json file://./batch-eks-job-queue.json

Etapa 5: criar um Amazon ECR com cache pull through

Como o cluster não tem acesso público à Internet, você precisa criar um Amazon ECR para imagens de contêineres. As instruções a seguir criam um Amazon ECR com uma regra de cache pull-through para armazenar a imagem.

Etapa 6: registrar uma definição de trabalho

A definição de trabalho a seguir instrui o pod a dormir por 60 segundos.

No campo de imagem da definição do trabalho, em vez de fornecer um link para a imagem em um repositório do ECR público, forneça o link para a imagem armazenada no nosso repositório do ECR privado. Veja o exemplo de definição de trabalho a seguir:

$ cat <<EOF > ./batch-eks-job-definition.json
{
  "jobDefinitionName": "MyJobOnEks_Sleep",
  "type": "container",
  "eksProperties": {
    "podProperties": {
      "hostNetwork": true,
      "containers": [
        {
          "image": "<your-account-ID>.dkr.ecr.us-east-1.amazonaws.com/my-prefix/amazonlinux/amazonlinux:2",
          "command": [
            "sleep",
            "60"
          ],
          "resources": {
            "limits": {
              "cpu": "1",
              "memory": "1024Mi"
            }
          }
        }
      ],
      "metadata": {
        "labels": {
          "environment": "test"
        }
      }
    }
  }
}
EOF

$ aws batch register-job-definition --cli-input-json file://./batch-eks-job-definition.json

Etapa 7: enviar um trabalho para execução

Execute o comando AWS CLI a seguir no AWS CloudShell para enviar um novo trabalho e retornar o JobID exclusivo.

$ aws batch submit-job --job-queue My-Eks-JQ1 \
    --job-definition MyJobOnEks_Sleep - -job-name My-Eks-Job1

Etapa 8: ver a saída do trabalho

Para verificar o status de um trabalho:

$ aws batch describe-jobs --job <JobID-from-submit-response>

startedAt e stoppedAt devem ter um minuto de diferença.

Etapa 9: (Opcional) Enviar um trabalho com substituições

Esse trabalho substitui o comando passado para o contêiner.

$ cat <<EOF > ./submit-job-override.json
{
  "jobName": "EksWithOverrides",
  "jobQueue": "My-Eks-JQ1",
  "jobDefinition": "MyJobOnEks_Sleep",
  "eksPropertiesOverride": {
    "podProperties": {
      "containers": [
        {
          "command": [
            "/bin/sh"
          ],
          "args": [
            "-c",
            "echo hello world"
          ]
        }
      ]
    }
  }
}
EOF
        

$ aws batch submit-job - -cli-input-json file://./submit-job-override.json

Etapa 10: limpar os recursos do tutorial

Você será cobrado pela instância do Amazon EC2 enquanto ela estiver ativada. É possível excluir a instância para não incorrer mais em cobranças.

Para excluir os recursos criados, faça o seguinte:

Recursos adicionais

Depois de concluir o tutorial, você pode querer explorar os seguintes tópicos:

Solução de problemas

Se os nós inicializados pelo AWS Batch não tiverem acesso ao repositório do Amazon ECR (ou a qualquer outro repositório) que armazena sua imagem, seus trabalhos poderão permanecer no estado STARTING. Isso ocorre porque o pod não conseguirá fazer download da imagem e executar seu trabalho do AWS Batch. Se você clicar no nome do pod iniciado pelo AWS Batch, poderá ver a mensagem de erro e confirmar o problema. A mensagem de erro deve ser semelhante à seguinte:

Failed to pull image "public.ecr.aws/amazonlinux/amazonlinux:2": rpc error: code =
Unknown desc = failed to pull and unpack image
"public.ecr.aws/amazonlinux/amazonlinux:2": failed to resolve reference
"public.ecr.aws/amazonlinux/amazonlinux:2": failed to do request: Head
"https://public.ecr.aws/v2/amazonlinux/amazonlinux/manifests/2": dial tcp: i/o timeout

Para outros cenários comuns de solução de problemas, consulte Solução de problemas com o AWS Batch. Para solução de problemas com base no status do pod, consulte Como solucionar problemas do status do pod no Amazon EKS?.