Erste Schritte mit AWS Batch auf Amazon EKS

AWS Batch on Amazon EKS ist ein verwalteter Service für die Planung und Skalierung von Batch-Workloads in bestehenden Amazon EKS-Clustern. AWS Batch erstellt, verwaltet oder führt keine Lebenszyklusoperationen Ihrer Amazon EKS-Cluster in Ihrem Namen durch. AWS Batch Orchestration skaliert Knoten, die von diesen Knoten verwaltet werden, nach oben und unten AWS Batch und führt Pods auf diesen Knoten aus.

AWS Batch berührt keine Knoten, Autoscaling-Knotengruppen oder Pod-Lebenszyklen, die nicht mit AWS Batch Rechenumgebungen in Ihrem Amazon EKS-Cluster verknüpft sind. Für AWS Batch einen effektiven Betrieb benötigt die serviceverknüpfte Rolle Kubernetes rollenbasierte Zugriffskontrollberechtigungen (RBAC) in Ihrem vorhandenen Amazon EKS-Cluster. Weitere Informationen finden Sie in der Dokumentation unter Verwenden der RBAC-Autorisierung. Kubernetes

AWS Batch benötigt einen Kubernetes Namespace, in dem Pods als AWS Batch Jobs definiert werden können. Wir empfehlen einen dedizierten Namespace, um die AWS Batch Pods von Ihren anderen Cluster-Workloads zu isolieren.

Nachdem AWS Batch Sie RBAC-Zugriff erhalten und ein Namespace eingerichtet wurde, können Sie diesen Amazon EKS-Cluster mithilfe der API-Operation einer AWS Batch Rechenumgebung zuordnen. CreateComputeEnvironment Dieser neuen Amazon EKS-Rechenumgebung kann eine Auftragswarteschlange zugeordnet werden. AWS Batch Jobs werden auf der Grundlage einer Amazon EKS-Auftragsdefinition mithilfe des SubmitJob API-Vorgangs an die Job-Warteschlange übermittelt. AWS Batch startet dann AWS Batch verwaltete Knoten und platziert Jobs aus der Auftragswarteschlange als Kubernetes Pods in den EKS-Cluster, der einer AWS Batch Rechenumgebung zugeordnet ist.

In den folgenden Abschnitten wird beschrieben, wie Sie AWS Batch Amazon EKS einrichten.

-Übersicht

Dieses Tutorial zeigt, wie Sie Amazon EKS mithilfe von AWS CLI, kubectl und einrichten AWS Batch eksctl.

Voraussetzungen

Bevor Sie mit diesem Tutorial beginnen, müssen Sie die folgenden Tools und Ressourcen installieren und konfigurieren, die Sie zum Erstellen und Verwalten von AWS Batch Amazon EKS-Ressourcen benötigen.

Schritt 1: Erstellen Sie Ihren Amazon EKS-Cluster für AWS Batch

Sobald Sie die Voraussetzungen installiert haben, mit denen Sie Ihren Cluster erstellen müsseneksctl. Das Erstellen des Clusters kann zwischen 10 und 15 Minuten dauern.

$  eksctl create cluster --name my-cluster-name --region region-code

Ersetzen Sie im vorherigen Befehl:

Der Clustername und die Region werden für später in diesem Tutorial benötigt.

Schritt 2: Bereiten Sie Ihren Amazon EKS-Cluster vor für AWS Batch

Alle Schritte sind erforderlich.

Schritt 3: Erstellen Sie eine Amazon EKS-Rechenumgebung

AWS Batch Rechenumgebungen definieren Rechenressourcenparameter, um Ihre Batch-Workload-Anforderungen zu erfüllen. In einer verwalteten Rechenumgebung AWS Batch hilft es Ihnen bei der Verwaltung der Kapazität und der Instanztypen der Rechenressourcen (KubernetesKnoten) in Ihrem Amazon EKS-Cluster. Dies basiert auf der Rechenressourcenspezifikation, die Sie bei der Erstellung der Rechenumgebung definieren. Sie können On-Demand EC2-Instances oder EC2-Spot-Instances verwenden.

Jetzt, da die AWSServiceRoleForBatch serviceverknüpfte Rolle Zugriff auf Ihren Amazon EKS-Cluster hat, können Sie Ressourcen erstellen. AWS Batch Erstellen Sie zunächst eine Rechenumgebung, die auf Ihren Amazon EKS-Cluster verweist.

$ cat <<EOF > ./batch-eks-compute-environment.json
{
  "computeEnvironmentName": "My-Eks-CE1",
  "type": "MANAGED",
  "state": "ENABLED",
  "eksConfiguration": {
    "eksClusterArn": "arn:aws:eks:region-code:your-account-number:cluster/my-cluster-name",
    "kubernetesNamespace": "my-aws-batch-namespace"
  },
  "computeResources": {
    "type": "EC2",
    "allocationStrategy": "BEST_FIT_PROGRESSIVE",
    "minvCpus": 0,
    "maxvCpus": 128,
    "instanceTypes": [
        "m5"
    ],
    "subnets": [
        "<eks-cluster-subnets-with-access-to-internet-for-image-pull>"
    ],
    "securityGroupIds": [
        "<eks-cluster-sg>"
    ],
    "instanceRole": "<eks-instance-profile>"
  }
}
EOF

$ aws batch create-compute-environment --cli-input-json file://./batch-eks-compute-environment.json

Schritt 4: Erstellen Sie eine Auftragswarteschlange und fügen Sie die Rechenumgebung hinzu

$ aws batch describe-compute-environments --compute-environments My-Eks-CE1

Jobs, die an diese neue Auftragswarteschlange gesendet werden, werden als Pods auf AWS Batch verwalteten Knoten ausgeführt, die dem Amazon EKS-Cluster beigetreten sind, der Ihrer Rechenumgebung zugeordnet ist.

$ cat <<EOF > ./batch-eks-job-queue.json
 {
    "jobQueueName": "My-Eks-JQ1",
    "priority": 10,
    "computeEnvironmentOrder": [
      {
        "order": 1,
        "computeEnvironment": "My-Eks-CE1"
      }
    ]
  }
EOF

$ aws batch create-job-queue --cli-input-json file://./batch-eks-job-queue.json

Schritt 5: Erstellen Sie eine Jobdefinition

Die folgende Jobdefinition weist den Pod an, 60 Sekunden lang in den Ruhezustand zu versetzen.

$ cat <<EOF > ./batch-eks-job-definition.json
{
  "jobDefinitionName": "MyJobOnEks_Sleep",
  "type": "container",
  "eksProperties": {
    "podProperties": {
      "hostNetwork": true,
      "containers": [
        {
          "image": "public.ecr.aws/amazonlinux/amazonlinux:2",
          "command": [
            "sleep",
            "60"
          ],
          "resources": {
            "limits": {
              "cpu": "1",
              "memory": "1024Mi"
            }
          }
        }
      ],
      "metadata": {
        "labels": {
          "environment": "test"
        }
      }
    }
  }
}
EOF

$ aws batch register-job-definition --cli-input-json file://./batch-eks-job-definition.json

Schritt 6: Einen Job einreichen

Führen Sie den folgenden AWS CLI Befehl aus, um einen neuen Job einzureichen.

$ aws batch submit-job --job-queue My-Eks-JQ1 \
    --job-definition MyJobOnEks_Sleep --job-name My-Eks-Job1

Um den Status eines Jobs zu überprüfen:

$ aws batch describe-jobs --job <jobId-from-submit-response>

Schritt 7: Sehen Sie sich die Ausgabe des Jobs an

Gehen Sie wie folgt vor, um die Ausgabe des Jobs anzuzeigen:

Schritt 8: (Optional) Reichen Sie einen Job mit Überschreibungen ein

Dieser Job überschreibt den an den Container übergebenen Befehl. AWS Batch räumt die Pods nach Abschluss der Jobs aggressiv auf, um die Last auf Folgendes zu reduzieren. Kubernetes Um die Details eines Jobs überprüfen zu können, muss die Protokollierung konfiguriert werden. Weitere Informationen finden Sie unter Verwenden Sie CloudWatch Logs, um AWS Batch Amazon EKS-Jobs zu überwachen.

$ cat <<EOF > ./submit-job-override.json
{
  "jobName": "EksWithOverrides",
  "jobQueue": "My-Eks-JQ1",
  "jobDefinition": "MyJobOnEks_Sleep",
  "eksPropertiesOverride": {
    "podProperties": {
      "containers": [
        {
          "command": [
            "/bin/sh"
          ],
          "args": [
            "-c",
            "echo hello world"
          ]
        }
      ]
    }
  }
}
EOF

$ aws batch submit-job --cli-input-json file://./submit-job-override.json

Gehen Sie wie folgt vor, um die Ausgabe des Jobs anzuzeigen:

Schritt 9: Bereinigen Sie Ihre Tutorial-Ressourcen

Die Amazon EC2-Instance wird Ihnen in Rechnung gestellt, solange sie aktiviert ist. Sie können die Instance löschen, um zu verhindern, dass Gebühren anfallen.

Gehen Sie wie folgt vor, um die von Ihnen erstellten Ressourcen zu löschen:

Weitere Ressourcen

Nachdem Sie das Tutorial abgeschlossen haben, möchten Sie sich vielleicht mit den folgenden Themen befassen: