Introdução aos AWS Batch clusters privados do Amazon EKS

AWS Batch é um serviço gerenciado que orquestra cargas de trabalho em lotes em seus clusters do Amazon Elastic Kubernetes Service (Amazon EKS). Isso inclui enfileiramento, monitoramento de dependências, tentativas e prioridades gerenciadas de tarefas, gerenciamento de pods e nós em escala. Esse recurso conecta seu cluster privado existente do Amazon EKS AWS Batch para executar seus trabalhos em grande escala. Você pode usar eksctl(uma interface de linha de comando para o Amazon EKS), o AWS console ou o AWS Command Line Interfacepara criar um cluster privado do Amazon EKS com todos os outros recursos necessários.

Por padrão, os clusters privados do Amazon EKS não têm acesso à inbound/outbound Internet, e você só pode acessar o servidor de API de dentro da sua VPC ou de uma rede conectada. Os endpoints do Amazon VPC são usados para permitir o acesso privado a outros serviços. AWS eksctlsuporta a criação de clusters totalmente privados usando uma Amazon VPC e sub-redes preexistentes. eksctltambém cria endpoints da Amazon VPC na Amazon VPC fornecida e modifica as tabelas de rotas para as sub-redes fornecidas.

Cada sub-rede deve ter uma tabela de rotas explícita associada a ela, pois o eksctl não modifica a tabela de rotas principal. O cluster deve extrair imagens de um registro de contêiner que esteja na Amazon VPC. Você também pode criar um Amazon Elastic Container Registry na Amazon VPC e copiar para ele as imagens de contêiner para que os nós as extrai dali. Para obter mais informações, consulte Copiar uma imagem de contêiner de um repositório para outro. Para começar a usar repositórios privados do Amazon ECR, consulte Repositórios privados do Amazon ECR.

Opcionalmente, é possível criar uma regra de cache de pullthrough com o Amazon ECR. Depois que uma regra de cache pull through é criada para um registro público externo, você pode extrair uma imagem desse registro público externo usando o identificador uniforme de recursos (URI) do registro privado do Amazon ECR. Em seguida, o Amazon ECR cria um repositório e armazena a imagem no cache. Quando uma imagem em cache é extraída usando o URI de registro privado do Amazon ECR, o Amazon ECR verifica o registro remoto para ver se há uma nova versão da imagem e atualiza seu registro privado até uma vez a cada 24 horas.

Visão geral

Este tutorial demonstra como configurar AWS Batch com um Amazon EKS privado usando o AWS CloudShell, kubectl e. eksctl

Pré-requisitos

Este tutorial usa AWS CloudShell um shell pré-autenticado baseado em navegador que você inicia diretamente do. AWS Management Console Isso permite o acesso ao cluster quando ele não tem mais acesso público à Internet. O AWS CLI,kubectl, e eksctl pode já estar instalado como parte do AWS CloudShell. Para obter mais informações sobre AWS CloudShell, consulte o Guia AWS CloudShell do usuário. Uma alternativa AWS CloudShell é conectar-se à VPC do seu cluster ou a uma rede conectada.

Para executar comandos kubectl, você precisará de acesso privado ao cluster do Amazon EKS. Isso significa que todo o tráfego para o servidor de API do cluster deve vir da VPC do cluster ou de uma rede conectada.

Etapa 1: Crie seu cluster EKS para AWS Batch

Recomendamos que você use eksctl o seguinte arquivo de configuração para criar seu cluster. Para configurar manualmente seu cluster, siga as instruções em Implantar clusters privados com acesso limitado à Internet no Guia do usuário do Amazon EKS.

Etapa 2: Preparar seu cluster EKS para AWS Batch

Todas as etapas são obrigatórias e devem ser executadas em AWS CloudShell.

Etapa 3: criar um ambiente computacional Amazon EKS

AWS Batch ambientes computacionais definem parâmetros de recursos computacionais para atender às suas necessidades de carga de trabalho em lotes. Em um ambiente computacional gerenciado, AWS Batch ajuda você a gerenciar a capacidade e os tipos de instância dos recursos computacionais (Kubernetesnós) dentro do seu cluster Amazon EKS. Isso se baseia na especificação do recurso de computação que você define ao criar o ambiente de computação. Você pode usar instâncias EC2 sob demanda ou instâncias EC2 spot.

Agora que a função AWSServiceRoleForBatchvinculada ao serviço tem acesso ao seu cluster Amazon EKS, você pode criar AWS Batch recursos. Primeiro, crie um ambiente computacional que aponte para seu cluster do Amazon EKS.

$ cat <<EOF > ./batch-eks-compute-environment.json
{
  "computeEnvironmentName": "My-Eks-CE1",
  "type": "MANAGED",
  "state": "ENABLED",
  "eksConfiguration": {
    "eksClusterArn": "arn:aws:eks:us-east-1:<your-account-ID>:cluster/my-test-cluster",
    "kubernetesNamespace": "my-aws-batch-namespace"
  },
  "computeResources": {
    "type": "EC2",
    "allocationStrategy": "BEST_FIT_PROGRESSIVE",
    "minvCpus": 0,
    "maxvCpus": 128,
    "instanceTypes": [
        "m5"
    ],
    "subnets": [
        "<eks-cluster-subnets-with-access-to-the-image-for-image-pull>"
    ],
    "securityGroupIds": [
        "<eks-cluster-sg>"
    ],
    "instanceRole": "<eks-instance-profile>"
  }
}
EOF
        

$ aws batch create-compute-environment --cli-input-json file://./batch-eks-compute-environment.json

Etapa 4: criar uma fila de trabalhos e conectar o ambiente computacional

$ aws batch describe-compute-environments --compute-environments My-Eks-CE1

Os trabalhos enviados para essa nova fila de trabalhos são executados como pods em nós AWS Batch gerenciados que se juntaram ao cluster Amazon EKS associado ao seu ambiente computacional.

$ cat <<EOF > ./batch-eks-job-queue.json
 {
    "jobQueueName": "My-Eks-JQ1",
    "priority": 10,
    "computeEnvironmentOrder": [
      {
        "order": 1,
        "computeEnvironment": "My-Eks-CE1"
      }
    ]
  }
EOF

$ aws batch create-job-queue --cli-input-json file://./batch-eks-job-queue.json

Etapa 5: Crie um Amazon ECR com cache pull through

Como o cluster não tem acesso público à Internet, você precisa criar um Amazon ECR para imagens de contêineres. As instruções a seguir criam um Amazon ECR com uma regra de cache pull-through para armazenar a imagem.

Etapa 6: registrar uma definição de trabalho

A definição de Job a seguir instrui o pod a dormir por 60 segundos.

No campo de imagem da definição do trabalho, em vez de fornecer um link para a imagem em um repositório do ECR público, forneça o link para a imagem armazenada no nosso repositório do ECR privado. Veja o exemplo de definição de tarefa a seguir:

$ cat <<EOF > ./batch-eks-job-definition.json
{
  "jobDefinitionName": "MyJobOnEks_Sleep",
  "type": "container",
  "eksProperties": {
    "podProperties": {
      "hostNetwork": true,
      "containers": [
        {
          "image": "<your-account-ID>.dkr.ecr.us-east-1.amazonaws.com/my-prefix/amazonlinux/amazonlinux:2",
          "command": [
            "sleep",
            "60"
          ],
          "resources": {
            "limits": {
              "cpu": "1",
              "memory": "1024Mi"
            }
          }
        }
      ],
      "metadata": {
        "labels": {
          "environment": "test"
        }
      }
    }
  }
}
EOF

$ aws batch register-job-definition --cli-input-json file://./batch-eks-job-definition.json

Etapa 7: enviar um trabalho para execução

Execute o AWS CLI comando a seguir AWS CloudShell para enviar um novo Job e retornar o JobID exclusivo.

$ aws batch submit-job --job-queue My-Eks-JQ1 \
    --job-definition MyJobOnEks_Sleep - -job-name My-Eks-Job1

Etapa 8: Exibir a saída do trabalho

Para verificar o status de um Job:

$ aws batch describe-jobs --job <JobID-from-submit-response>

A startedAt banda stoppedAt deve ter um minuto de diferença.

Etapa 9: (Opcional) Enviar um trabalho com substituições

Esse trabalho substitui o comando passado para o contêiner.

$ cat <<EOF > ./submit-job-override.json
{
  "jobName": "EksWithOverrides",
  "jobQueue": "My-Eks-JQ1",
  "jobDefinition": "MyJobOnEks_Sleep",
  "eksPropertiesOverride": {
    "podProperties": {
      "containers": [
        {
          "command": [
            "/bin/sh"
          ],
          "args": [
            "-c",
            "echo hello world"
          ]
        }
      ]
    }
  }
}
EOF
        

$ aws batch submit-job - -cli-input-json file://./submit-job-override.json

Etapa 10: Limpe os recursos do seu tutorial

Você será cobrado pela EC2 instância da Amazon enquanto ela estiver ativada. Você pode excluir a instância para parar de incorrer em cobranças.

Para excluir os recursos que você criou, faça o seguinte:

Recursos adicionais

Depois de concluir o tutorial, talvez você queira explorar os seguintes tópicos:

Solução de problemas

Se os nós lançados por AWS Batch não tiverem acesso ao repositório Amazon ECR (ou a qualquer outro repositório) que armazena sua imagem, seus trabalhos poderão permanecer no estado STARTING. Isso ocorre porque o pod não conseguirá baixar a imagem e executar seu AWS Batch trabalho. Se você clicar no nome do pod lançado por AWS Batch , poderá ver a mensagem de erro e confirmar o problema. A mensagem de erro deve ser semelhante à seguinte:

Failed to pull image "public.ecr.aws/amazonlinux/amazonlinux:2": rpc error: code =
Unknown desc = failed to pull and unpack image
"public.ecr.aws/amazonlinux/amazonlinux:2": failed to resolve reference
"public.ecr.aws/amazonlinux/amazonlinux:2": failed to do request: Head
"https://public.ecr.aws/v2/amazonlinux/amazonlinux/manifests/2": dial tcp: i/o timeout

Para outros cenários comuns de solução de problemas, consulte Solução de problemas com o AWS Batch. Para solucionar problemas com base no status do pod, consulte Como eu soluciono o status do pod no Amazon EKS? .