Memulai dengan AWS Batch di Amazon EKS

AWS Batch di Amazon EKS adalah layanan terkelola untuk menjadwalkan dan menskalakan beban kerja batch ke dalam klaster Amazon EKS yang ada. AWS Batch tidak membuat, mengelola, atau menjalankan operasi siklus hidup klaster Amazon EKS Anda atas nama Anda. AWS Batch skala orkestrasi naik dan turun node yang dikelola oleh AWS Batch dan menjalankan pod pada node tersebut.

AWS Batch tidak menyentuh node, grup node penskalaan otomatis, atau siklus hidup pod yang tidak terkait dengan AWS Batch lingkungan komputasi dalam klaster Amazon EKS Anda. AWS Batch Agar dapat beroperasi secara efektif, peran terkait layanannya memerlukan izin kontrol akses Kubernetes berbasis peran (RBAC) di klaster Amazon EKS Anda yang ada. Untuk informasi selengkapnya, lihat Menggunakan Otorisasi RBAC dalam dokumentasi. Kubernetes

AWS Batch membutuhkan Kubernetes namespace di mana ia dapat mencakup pod sebagai AWS Batch pekerjaan ke dalam. Kami merekomendasikan namespace khusus untuk mengisolasi AWS Batch pod dari beban kerja klaster Anda yang lain.

Setelah AWS Batch diberi akses RBAC dan namespace telah dibuat, Anda dapat mengaitkan klaster Amazon EKS tersebut ke lingkungan AWS Batch komputasi menggunakan operasi API. CreateComputeEnvironment Antrian pekerjaan dapat dikaitkan dengan lingkungan komputasi Amazon EKS yang baru ini. AWS Batch pekerjaan dikirimkan ke antrian pekerjaan berdasarkan definisi pekerjaan Amazon EKS menggunakan operasi SubmitJobAPI. AWS Batch kemudian meluncurkan node AWS Batch terkelola dan menempatkan pekerjaan dari antrian pekerjaan sebagai Kubernetes pod ke dalam cluster EKS yang terkait dengan lingkungan AWS Batch komputasi.

Bagian berikut mencakup cara menyiapkan AWS Batch di Amazon EKS.

Gambaran Umum

Tutorial ini menunjukkan bagaimana untuk setup AWS Batch dengan Amazon EKS menggunakan AWS CLI, kubectl daneksctl.

Prasyarat

Sebelum memulai tutorial ini, Anda harus menginstal dan mengkonfigurasi alat dan sumber daya berikut yang Anda butuhkan untuk membuat AWS Batch dan mengelola sumber daya Amazon EKS.

Langkah 1: Buat cluster Amazon EKS Anda AWS Batch

Setelah Anda menginstal prasyarat yang Anda butuhkan untuk membuat cluster Anda menggunakan. eksctl Membuat cluster dapat memakan waktu antara 10-15 menit.

$  eksctl create cluster --name my-cluster-name --region region-code

Pada perintah sebelumnya ganti:

Nama cluster dan wilayah diperlukan untuk nanti dalam tutorial ini.

Langkah 2: Siapkan cluster Amazon EKS Anda AWS Batch

Semua langkah diperlukan.

Langkah 3: Buat lingkungan komputasi Amazon EKS

AWS Batch lingkungan komputasi menentukan parameter sumber daya komputasi untuk memenuhi kebutuhan beban kerja batch Anda. Di lingkungan komputasi terkelola, AWS Batch membantu Anda mengelola kapasitas dan jenis instans sumber daya komputasi (Kubernetesnode) dalam klaster Amazon EKS Anda. Ini didasarkan pada spesifikasi sumber daya komputasi yang Anda tentukan ketika membuat lingkungan komputasi. Anda dapat menggunakan Instans EC2 Sesuai Permintaan atau Instans EC2 Spot.

Sekarang peran AWSServiceRoleForBatchterkait layanan memiliki akses ke kluster Amazon EKS Anda, Anda dapat membuat AWS Batch sumber daya. Pertama, buat lingkungan komputasi yang mengarah ke cluster Amazon EKS Anda.

$ cat <<EOF > ./batch-eks-compute-environment.json
{
  "computeEnvironmentName": "My-Eks-CE1",
  "type": "MANAGED",
  "state": "ENABLED",
  "eksConfiguration": {
    "eksClusterArn": "arn:aws:eks:region-code:your-account-number:cluster/my-cluster-name",
    "kubernetesNamespace": "my-aws-batch-namespace"
  },
  "computeResources": {
    "type": "EC2",
    "allocationStrategy": "BEST_FIT_PROGRESSIVE",
    "minvCpus": 0,
    "maxvCpus": 128,
    "instanceTypes": [
        "m5"
    ],
    "subnets": [
        "<eks-cluster-subnets-with-access-to-internet-for-image-pull>"
    ],
    "securityGroupIds": [
        "<eks-cluster-sg>"
    ],
    "instanceRole": "<eks-instance-profile>"
  }
}
EOF

$ aws batch create-compute-environment --cli-input-json file://./batch-eks-compute-environment.json

Langkah 4: Buat antrian pekerjaan dan lampirkan lingkungan komputasi

$ aws batch describe-compute-environments --compute-environments My-Eks-CE1

Pekerjaan yang dikirimkan ke antrean pekerjaan baru ini dijalankan sebagai pod pada node AWS Batch terkelola yang bergabung dengan klaster Amazon EKS yang terkait dengan lingkungan komputasi Anda.

$ cat <<EOF > ./batch-eks-job-queue.json
 {
    "jobQueueName": "My-Eks-JQ1",
    "priority": 10,
    "computeEnvironmentOrder": [
      {
        "order": 1,
        "computeEnvironment": "My-Eks-CE1"
      }
    ]
  }
EOF

$ aws batch create-job-queue --cli-input-json file://./batch-eks-job-queue.json

Langkah 5: Buat definisi pekerjaan

Definisi Job berikut menginstruksikan pod untuk tidur selama 60 detik.

$ cat <<EOF > ./batch-eks-job-definition.json
{
  "jobDefinitionName": "MyJobOnEks_Sleep",
  "type": "container",
  "eksProperties": {
    "podProperties": {
      "hostNetwork": true,
      "containers": [
        {
          "image": "public.ecr.aws/amazonlinux/amazonlinux:2",
          "command": [
            "sleep",
            "60"
          ],
          "resources": {
            "limits": {
              "cpu": "1",
              "memory": "1024Mi"
            }
          }
        }
      ],
      "metadata": {
        "labels": {
          "environment": "test"
        }
      }
    }
  }
}
EOF

$ aws batch register-job-definition --cli-input-json file://./batch-eks-job-definition.json

Langkah 6: Kirim pekerjaan

Jalankan AWS CLI perintah berikut untuk mengirimkan Job baru.

$ aws batch submit-job --job-queue My-Eks-JQ1 \
    --job-definition MyJobOnEks_Sleep --job-name My-Eks-Job1

Untuk memeriksa status Job:

$ aws batch describe-jobs --job <jobId-from-submit-response>

Langkah 7: Lihat output Job

Untuk melihat output Job, lakukan hal berikut:

Langkah 8: (Opsional) Kirim pekerjaan dengan penggantian

Pekerjaan ini mengesampingkan perintah yang diteruskan ke wadah. AWS Batch secara agresif membersihkan pod setelah pekerjaan selesai untuk mengurangi beban. Kubernetes Untuk memeriksa detail pekerjaan, logging harus dikonfigurasi. Untuk informasi selengkapnya, lihat Gunakan CloudWatch Log untuk memantau pekerjaan AWS Batch Amazon EKS.

$ cat <<EOF > ./submit-job-override.json
{
  "jobName": "EksWithOverrides",
  "jobQueue": "My-Eks-JQ1",
  "jobDefinition": "MyJobOnEks_Sleep",
  "eksPropertiesOverride": {
    "podProperties": {
      "containers": [
        {
          "command": [
            "/bin/sh"
          ],
          "args": [
            "-c",
            "echo hello world"
          ]
        }
      ]
    }
  }
}
EOF

$ aws batch submit-job --cli-input-json file://./submit-job-override.json

Untuk melihat output Job, lakukan hal berikut:

Langkah 9: Bersihkan sumber daya tutorial Anda

Anda dikenakan biaya untuk EC2 instans Amazon saat diaktifkan. Anda dapat menghapus instans untuk menghentikan biaya.

Untuk menghapus sumber daya yang Anda buat, lakukan hal berikut:

Sumber daya tambahan

Setelah Anda menyelesaikan tutorial, Anda mungkin ingin menjelajahi topik-topik berikut: