Guida introduttiva ad AWS Batch Amazon EKS Private Clusters

AWS Batch è un servizio gestito che orchestra carichi di lavoro in batch nei cluster Amazon Elastic Kubernetes Service (Amazon EKS). Ciò include l'accodamento, il monitoraggio delle dipendenze, la gestione delle priorità e dei nuovi tentativi di lavoro, la gestione dei pod e il ridimensionamento dei nodi. Questa funzionalità collega il tuo cluster privato esistente di Amazon EKS AWS Batch per eseguire i tuoi lavori su larga scala. Puoi utilizzare eksctl(un'interfaccia a riga di comando per Amazon EKS), la AWS console o AWS Command Line Interfacecreare un cluster Amazon EKS privato con tutte le altre risorse necessarie.

Per impostazione predefinita, i cluster solo privati di Amazon EKS non hanno accesso a inbound/outbound Internet e puoi accedere al server API solo dall'interno del tuo VPC o da una rete connessa. Gli endpoint Amazon VPC vengono utilizzati per consentire l'accesso privato ad altri servizi. AWS eksctlsupporta la creazione di cluster completamente privati utilizzando un Amazon VPC e sottoreti preesistenti. eksctlcrea inoltre endpoint Amazon VPC nell'Amazon VPC fornito e modifica le tabelle di routing per le sottoreti fornite.

A ogni sottorete deve essere associata una tabella di routing esplicita, poiché eksctl non modifica la tabella di routing principale. Il tuo cluster deve estrarre immagini da un registro di container che si trova nel tuo Amazon VPC. Inoltre, puoi creare un Amazon Elastic Container Registry nel tuo Amazon VPC e copiarvi le immagini dei container per i nodi da cui estrarre. Per ulteriori informazioni, consulta Copiare l'immagine di un contenitore da un repository a un altro. Per iniziare a usare gli archivi privati di Amazon ECR, consulta la sezione Archivi privati di Amazon ECR.

Facoltativamente, puoi creare una regola pull through cache con Amazon ECR. Una volta creata una regola pull through cache per un registro pubblico esterno, puoi estrarre un'immagine da quel registro pubblico esterno utilizzando il tuo URI (Uniform Resource Identifier) del registro privato Amazon ECR. Quindi Amazon ECR crea un repository e memorizza l'immagine nella cache. Quando un'immagine memorizzata nella cache viene estratta utilizzando l'URI del registro privato Amazon ECR, Amazon ECR controlla il registro remoto per verificare se è disponibile una nuova versione dell'immagine e aggiorna il registro privato fino a una volta ogni 24 ore.

Panoramica

Questo tutorial dimostra come eseguire la configurazione AWS Batch con un Amazon EKS privato utilizzando AWS CloudShell, kubectl eeksctl.

Prerequisiti

Questo tutorial utilizza AWS CloudShell una shell preautenticata basata su browser che si avvia direttamente da. AWS Management Console Ciò consente l'accesso al cluster una volta che non dispone più dell'accesso pubblico a Internet. AWS CLIkubectl, e eksctl potrebbe essere già installato come parte di AWS CloudShell. Per ulteriori informazioni su AWS CloudShell, consulta la Guida AWS CloudShell per l'utente. Un'alternativa AWS CloudShell è connettersi al VPC del cluster o a una rete connessa.

Per eseguire i comandi kubectl, è necessario l'accesso privato al cluster Amazon EKS. Ciò significa che tutto il traffico verso il server API del cluster deve provenire dal VPC del cluster o da una rete connessa.

Fase 1: Crea il tuo cluster EKS per AWS Batch

Ti consigliamo di utilizzare eksctl il seguente file di configurazione per creare il cluster. Per configurare manualmente il cluster, segui le istruzioni in Distribuisci cluster privati con accesso limitato a Internet nella Amazon EKS User Guide.

Fase 2: Preparare il cluster EKS per AWS Batch

Tutti i passaggi sono obbligatori e devono essere eseguiti in AWS CloudShell.

Fase 3: creare un ambiente di calcolo Amazon EKS

AWS Batch gli ambienti di calcolo definiscono i parametri delle risorse di calcolo per soddisfare le esigenze di carico di lavoro in batch. In un ambiente di elaborazione gestito, ti AWS Batch aiuta a gestire la capacità e i tipi di istanze delle risorse di calcolo (Kubernetesnodi) all'interno del tuo cluster Amazon EKS. Si basa sulla specifica delle risorse di calcolo che definisci al momento della creazione dell'ambiente di calcolo. È possibile utilizzare istanze EC2 On-Demand o Istanze Spot. EC2

Ora che il ruolo AWSServiceRoleForBatchcollegato al servizio ha accesso al tuo cluster Amazon EKS, puoi creare AWS Batch risorse. Innanzitutto, crea un ambiente di elaborazione che punti al tuo cluster Amazon EKS.

$ cat <<EOF > ./batch-eks-compute-environment.json
{
  "computeEnvironmentName": "My-Eks-CE1",
  "type": "MANAGED",
  "state": "ENABLED",
  "eksConfiguration": {
    "eksClusterArn": "arn:aws:eks:us-east-1:<your-account-ID>:cluster/my-test-cluster",
    "kubernetesNamespace": "my-aws-batch-namespace"
  },
  "computeResources": {
    "type": "EC2",
    "allocationStrategy": "BEST_FIT_PROGRESSIVE",
    "minvCpus": 0,
    "maxvCpus": 128,
    "instanceTypes": [
        "m5"
    ],
    "subnets": [
        "<eks-cluster-subnets-with-access-to-the-image-for-image-pull>"
    ],
    "securityGroupIds": [
        "<eks-cluster-sg>"
    ],
    "instanceRole": "<eks-instance-profile>"
  }
}
EOF
        

$ aws batch create-compute-environment --cli-input-json file://./batch-eks-compute-environment.json

Fase 4: Creare una coda di lavoro e collegare l'ambiente di elaborazione

$ aws batch describe-compute-environments --compute-environments My-Eks-CE1

I lavori inviati a questa nuova coda di lavoro vengono eseguiti come pod su nodi AWS Batch gestiti che si sono uniti al cluster Amazon EKS associato al tuo ambiente di elaborazione.

$ cat <<EOF > ./batch-eks-job-queue.json
 {
    "jobQueueName": "My-Eks-JQ1",
    "priority": 10,
    "computeEnvironmentOrder": [
      {
        "order": 1,
        "computeEnvironment": "My-Eks-CE1"
      }
    ]
  }
EOF

$ aws batch create-job-queue --cli-input-json file://./batch-eks-job-queue.json

Fase 5: creare un Amazon ECR con cache pull through

Poiché il cluster non dispone di accesso pubblico a Internet, è necessario creare un Amazon ECR per le immagini dei container. Le seguenti istruzioni creano un Amazon ECR con una regola di cache pull-through per archiviare l'immagine.

Fase 6: Registrare una definizione di lavoro

La seguente definizione di Job indica al pod di dormire per 60 secondi.

Nel campo immagine della definizione del processo, invece di fornire un collegamento all'immagine in un archivio ECR pubblico, inserisci il link all'immagine memorizzata nel nostro archivio ECR privato. Vedi la seguente definizione di processo di esempio:

$ cat <<EOF > ./batch-eks-job-definition.json
{
  "jobDefinitionName": "MyJobOnEks_Sleep",
  "type": "container",
  "eksProperties": {
    "podProperties": {
      "hostNetwork": true,
      "containers": [
        {
          "image": "<your-account-ID>.dkr.ecr.us-east-1.amazonaws.com/my-prefix/amazonlinux/amazonlinux:2",
          "command": [
            "sleep",
            "60"
          ],
          "resources": {
            "limits": {
              "cpu": "1",
              "memory": "1024Mi"
            }
          }
        }
      ],
      "metadata": {
        "labels": {
          "environment": "test"
        }
      }
    }
  }
}
EOF

$ aws batch register-job-definition --cli-input-json file://./batch-eks-job-definition.json

Fase 7: Inviare un lavoro da eseguire

Esegui il seguente AWS CLI comando AWS CloudShell per inviare un nuovo Job e restituisce l'unico JobID.

$ aws batch submit-job --job-queue My-Eks-JQ1 \
    --job-definition MyJobOnEks_Sleep - -job-name My-Eks-Job1

Fase 8: Visualizza l'output del job

Per verificare lo stato di un Job:

$ aws batch describe-jobs --job <JobID-from-submit-response>

I startedAt due stoppedAt dovrebbero trovarsi a un minuto di distanza l'uno dall'altro.

Fase 9: (Facoltativo) Inviare un'offerta di lavoro con modifiche

Questo lavoro sostituisce il comando passato al contenitore.

$ cat <<EOF > ./submit-job-override.json
{
  "jobName": "EksWithOverrides",
  "jobQueue": "My-Eks-JQ1",
  "jobDefinition": "MyJobOnEks_Sleep",
  "eksPropertiesOverride": {
    "podProperties": {
      "containers": [
        {
          "command": [
            "/bin/sh"
          ],
          "args": [
            "-c",
            "echo hello world"
          ]
        }
      ]
    }
  }
}
EOF
        

$ aws batch submit-job - -cli-input-json file://./submit-job-override.json

Passaggio 10: ripulisci le risorse del tutorial

Ti viene addebitato il costo dell' EC2 istanza Amazon mentre è abilitata. Puoi eliminare l'istanza per evitare di incorrere in addebiti.

Per eliminare le risorse che hai creato, procedi come segue:

Risorse aggiuntive

Dopo aver completato il tutorial, potresti voler esplorare i seguenti argomenti:

Risoluzione dei problemi

Se i nodi avviati da AWS Batch non hanno accesso al repository Amazon ECR (o a qualsiasi altro repository) che memorizza l'immagine, i lavori potrebbero rimanere nello stato STARTING. Questo perché il pod non sarà in grado di scaricare l'immagine ed eseguire il processo. AWS Batch Se fai clic sul nome del pod lanciato da, AWS Batch dovresti essere in grado di vedere il messaggio di errore e confermare il problema. Il messaggio di errore dovrebbe essere simile al seguente:

Failed to pull image "public.ecr.aws/amazonlinux/amazonlinux:2": rpc error: code =
Unknown desc = failed to pull and unpack image
"public.ecr.aws/amazonlinux/amazonlinux:2": failed to resolve reference
"public.ecr.aws/amazonlinux/amazonlinux:2": failed to do request: Head
"https://public.ecr.aws/v2/amazonlinux/amazonlinux/manifests/2": dial tcp: i/o timeout

Per altri scenari di risoluzione dei problemi comuni, consulta Risoluzione dei problemi AWS Batch. Per la risoluzione dei problemi in base allo stato del pod, vedi Come posso risolvere lo stato del pod in Amazon EKS? .