Guida introduttiva ad AWS Batch Amazon EKS

AWS Batch su Amazon EKS è un servizio gestito per la pianificazione e la scalabilità dei carichi di lavoro in batch in cluster Amazon EKS esistenti. AWS Batch non crea, amministra o esegue operazioni sul ciclo di vita dei tuoi cluster Amazon EKS per tuo conto. AWS Batch l'orchestrazione ridimensiona verso l'alto e verso il basso i nodi gestiti da AWS Batch ed esegue i pod su tali nodi.

AWS Batch non tocca nodi, gruppi di nodi con scalabilità automatica o cicli di vita dei pod che non sono associati agli ambienti di AWS Batch elaborazione all'interno del cluster Amazon EKS. AWS Batch Per funzionare in modo efficace, il suo ruolo collegato ai servizi necessita di autorizzazioni di controllo degli accessi Kubernetes in base al ruolo (RBAC) nel cluster Amazon EKS esistente. Per ulteriori informazioni, consulta Using RBAC Authorization nella documentazione. Kubernetes

AWS Batch richiede uno spazio Kubernetes dei nomi in cui possa definire i pod come job. AWS Batch Consigliamo uno spazio dei nomi dedicato per isolare i AWS Batch pod dagli altri carichi di lavoro del cluster.

Dopo AWS Batch aver ottenuto l'accesso RBAC e aver stabilito uno spazio dei nomi, puoi associare il cluster Amazon EKS a un ambiente di AWS Batch calcolo utilizzando l'operazione API. CreateComputeEnvironment Una coda di lavoro può essere associata a questo nuovo ambiente di calcolo Amazon EKS. AWS Batch i lavori vengono inviati alla coda dei lavori in base a una definizione di processo Amazon EKS utilizzando l'operazione SubmitJobAPI. AWS Batch quindi avvia i nodi AWS Batch gestiti e inserisce i lavori dalla coda dei lavori come Kubernetes pod nel cluster EKS associato a un ambiente di elaborazione. AWS Batch

Le seguenti sezioni spiegano come eseguire la configurazione AWS Batch su Amazon EKS.

Panoramica

Questo tutorial dimostra come eseguire la configurazione AWS Batch con Amazon EKS utilizzando AWS CLI, kubectl eeksctl.

Prerequisiti

Prima di iniziare questo tutorial, devi installare e configurare i seguenti strumenti e risorse necessari per creare e gestire sia AWS Batch le risorse Amazon EKS che quelle di Amazon EKS.

Fase 1: crea il tuo cluster Amazon EKS per AWS Batch

Dopo aver installato i prerequisiti, è necessario creare il cluster utilizzando. eksctl La creazione del cluster può richiedere dai 10 ai 15 minuti.

$  eksctl create cluster --name my-cluster-name --region region-code

Nel comando precedente sostituisci:

Il nome e la regione del cluster sono necessari per la parte successiva di questo tutorial.

Fase 2: prepara il cluster Amazon EKS per AWS Batch

Tutti i passaggi sono obbligatori.

Fase 3: creare un ambiente di calcolo Amazon EKS

AWS Batch gli ambienti di calcolo definiscono i parametri delle risorse di calcolo per soddisfare le esigenze di carico di lavoro in batch. In un ambiente di elaborazione gestito, ti AWS Batch aiuta a gestire la capacità e i tipi di istanze delle risorse di calcolo (Kubernetesnodi) all'interno del tuo cluster Amazon EKS. Si basa sulla specifica delle risorse di calcolo che definisci al momento della creazione dell'ambiente di calcolo. È possibile utilizzare istanze EC2 On-Demand o Istanze Spot. EC2

Ora che il ruolo AWSServiceRoleForBatchcollegato al servizio ha accesso al tuo cluster Amazon EKS, puoi creare AWS Batch risorse. Innanzitutto, crea un ambiente di elaborazione che punti al tuo cluster Amazon EKS.

$ cat <<EOF > ./batch-eks-compute-environment.json
{
  "computeEnvironmentName": "My-Eks-CE1",
  "type": "MANAGED",
  "state": "ENABLED",
  "eksConfiguration": {
    "eksClusterArn": "arn:aws:eks:region-code:your-account-number:cluster/my-cluster-name",
    "kubernetesNamespace": "my-aws-batch-namespace"
  },
  "computeResources": {
    "type": "EC2",
    "allocationStrategy": "BEST_FIT_PROGRESSIVE",
    "minvCpus": 0,
    "maxvCpus": 128,
    "instanceTypes": [
        "m5"
    ],
    "subnets": [
        "<eks-cluster-subnets-with-access-to-internet-for-image-pull>"
    ],
    "securityGroupIds": [
        "<eks-cluster-sg>"
    ],
    "instanceRole": "<eks-instance-profile>"
  }
}
EOF

$ aws batch create-compute-environment --cli-input-json file://./batch-eks-compute-environment.json

Fase 4: creare una coda di lavoro e collegare l'ambiente di calcolo

$ aws batch describe-compute-environments --compute-environments My-Eks-CE1

I lavori inviati a questa nuova coda di lavoro vengono eseguiti come pod su nodi AWS Batch gestiti che si sono uniti al cluster Amazon EKS associato al tuo ambiente di elaborazione.

$ cat <<EOF > ./batch-eks-job-queue.json
 {
    "jobQueueName": "My-Eks-JQ1",
    "priority": 10,
    "computeEnvironmentOrder": [
      {
        "order": 1,
        "computeEnvironment": "My-Eks-CE1"
      }
    ]
  }
EOF

$ aws batch create-job-queue --cli-input-json file://./batch-eks-job-queue.json

Fase 5: Creare una definizione di lavoro

La seguente definizione di Job indica al pod di dormire per 60 secondi.

$ cat <<EOF > ./batch-eks-job-definition.json
{
  "jobDefinitionName": "MyJobOnEks_Sleep",
  "type": "container",
  "eksProperties": {
    "podProperties": {
      "hostNetwork": true,
      "containers": [
        {
          "image": "public.ecr.aws/amazonlinux/amazonlinux:2",
          "command": [
            "sleep",
            "60"
          ],
          "resources": {
            "limits": {
              "cpu": "1",
              "memory": "1024Mi"
            }
          }
        }
      ],
      "metadata": {
        "labels": {
          "environment": "test"
        }
      }
    }
  }
}
EOF

$ aws batch register-job-definition --cli-input-json file://./batch-eks-job-definition.json

Fase 6: Inviare un lavoro

Esegui il AWS CLI comando seguente per inviare un nuovo Job.

$ aws batch submit-job --job-queue My-Eks-JQ1 \
    --job-definition MyJobOnEks_Sleep --job-name My-Eks-Job1

Per verificare lo stato di un Job:

$ aws batch describe-jobs --job <jobId-from-submit-response>

Fase 7: Visualizza l'output del job

Per visualizzare l'output del Job, procedi come segue:

Fase 8: (Facoltativo) Inviare un lavoro con eccezioni

Questo lavoro sostituisce il comando passato al contenitore. AWS Batch pulisce in modo aggressivo i pod dopo il completamento dei lavori per ridurre il carico a. Kubernetes Per esaminare i dettagli di un lavoro, è necessario configurare la registrazione. Per ulteriori informazioni, consulta Usa CloudWatch Logs per monitorare i lavori AWS Batch su Amazon EKS.

$ cat <<EOF > ./submit-job-override.json
{
  "jobName": "EksWithOverrides",
  "jobQueue": "My-Eks-JQ1",
  "jobDefinition": "MyJobOnEks_Sleep",
  "eksPropertiesOverride": {
    "podProperties": {
      "containers": [
        {
          "command": [
            "/bin/sh"
          ],
          "args": [
            "-c",
            "echo hello world"
          ]
        }
      ]
    }
  }
}
EOF

$ aws batch submit-job --cli-input-json file://./submit-job-override.json

Per visualizzare l'output del job, effettuate le seguenti operazioni:

Fase 9: Pulisci le risorse del tutorial

Ti viene addebitato il costo dell' EC2 istanza Amazon mentre è abilitata. Puoi eliminare l'istanza per evitare di incorrere in addebiti.

Per eliminare le risorse che hai creato, procedi come segue:

Risorse aggiuntive

Dopo aver completato il tutorial, potresti voler esplorare i seguenti argomenti: