Memulai dengan AWS Batch di Amazon EKS menggunakan ConfigMap otentikasi

AWS Batch di Amazon EKS adalah layanan terkelola untuk menjadwalkan dan menskalakan beban kerja batch ke cluster Amazon EKS yang ada. AWS Batch tidak membuat, mengelola, atau melakukan operasi siklus hidup cluster Amazon EKS Anda atas nama Anda. AWS Batch orkestrasi menskalakan node ke atas dan ke bawah yang dikelola oleh AWS Batch dan jalankan pod pada node tersebut.

AWS Batch tidak menyentuh node, grup node penskalaan otomatis, atau siklus hidup pod yang tidak terkait dengan AWS Batch komputasi lingkungan dalam cluster Amazon EKS Anda. Untuk AWS Batch Untuk beroperasi secara efektif, peran terkait layanan keperluan Kubernetes izin kontrol akses berbasis peran (RBAC) di cluster Amazon EKS Anda yang ada. Untuk informasi lebih lanjut, lihat Menggunakan Otorisasi RBAC di Kubernetes dokumentasi.

AWS Batch membutuhkan Kubernetes namespace di mana ia dapat mencakup pod sebagai AWS Batch pekerjaan ke dalam. Kami merekomendasikan namespace khusus untuk mengisolasi AWS Batch pod dari beban kerja cluster Anda yang lain.

Setelah AWS Batch telah diberikan akses RBAC dan namespace telah dibuat, Anda dapat mengaitkan cluster Amazon EKS tersebut ke AWS Batch lingkungan komputasi menggunakan CreateComputeEnvironment Operasi API. Antrian pekerjaan dapat dikaitkan dengan lingkungan komputasi Amazon EKS baru ini. AWS Batch pekerjaan dikirimkan ke antrian pekerjaan berdasarkan definisi pekerjaan Amazon EKS menggunakan SubmitJob Operasi API. AWS Batch kemudian meluncurkan AWS Batch node yang dikelola dan tempatkan pekerjaan dari antrian pekerjaan sebagai Kubernetes pod ke dalam cluster EKS yang terkait dengan AWS Batch lingkungan komputasi.

Bagian berikut membahas cara menyiapkan AWS Batch di Amazon EKS.

Gambaran umum

Tutorial ini menunjukkan cara mengatur AWS Batch dengan Amazon EKS menggunakan AWS CLI, kubectl dan eksctl.

Prasyarat

Sebelum memulai tutorial ini, Anda harus menginstal dan mengkonfigurasi alat dan sumber daya berikut yang Anda butuhkan untuk membuat dan mengelola keduanya AWS Batch dan sumber daya Amazon EKS.

Langkah 1: Buat cluster Amazon EKS Anda untuk AWS Batch

Setelah Anda menginstal prasyarat, Anda perlu membuat cluster Anda menggunakan eksctl. Membuat cluster dapat memakan waktu antara 10-15 menit.

$  eksctl create cluster --name my-cluster-name --region region-code

Dalam perintah sebelumnya ganti:

Nama cluster dan wilayah diperlukan untuk nanti dalam tutorial ini.

Langkah 2: Siapkan cluster Amazon EKS Anda untuk AWS Batch

Semua langkah diperlukan.

Langkah 3: Buat lingkungan komputasi Amazon EKS

AWS Batch lingkungan komputasi menentukan parameter sumber daya komputasi untuk memenuhi kebutuhan beban kerja batch Anda. Dalam lingkungan komputasi terkelola, AWS Batch membantu Anda mengelola kapasitas dan jenis instance sumber daya komputasi (Kubernetes node) dalam cluster Amazon EKS Anda. Ini didasarkan pada spesifikasi sumber daya komputasi yang Anda tentukan ketika membuat lingkungan komputasi. Anda dapat menggunakan EC2 On-Demand Instans atau Instans Spot EC2.

Sekarang itu AWSServiceRoleForBatch peran terkait layanan memiliki akses ke cluster Amazon EKS Anda, Anda dapat membuat AWS Batch sumber daya. Pertama, buat lingkungan komputasi yang mengarah ke cluster Amazon EKS Anda.

$ cat <<EOF > ./batch-eks-compute-environment.json
{
  "computeEnvironmentName": "My-Eks-CE1",
  "type": "MANAGED",
  "state": "ENABLED",
  "eksConfiguration": {
    "eksClusterArn": "arn:aws:eks:region-code:your-account-number:cluster/my-cluster-name",
    "kubernetesNamespace": "my-aws-batch-namespace"
  },
  "computeResources": {
    "type": "EC2",
    "allocationStrategy": "BEST_FIT_PROGRESSIVE",
    "minvCpus": 0,
    "maxvCpus": 128,
    "instanceTypes": [
        "m5"
    ],
    "subnets": [
        "<eks-cluster-subnets-with-access-to-internet-for-image-pull>"
    ],
    "securityGroupIds": [
        "<eks-cluster-sg>"
    ],
    "instanceRole": "<eks-instance-profile>"
  }
}
EOF

$ aws batch create-compute-environment --cli-input-json file://./batch-eks-compute-environment.json

Langkah 4: Buat antrian pekerjaan dan lampirkan lingkungan komputasi

$ aws batch describe-compute-environments --compute-environments My-Eks-CE1

Pekerjaan yang dikirimkan ke antrian pekerjaan baru ini dijalankan sebagai pod pada AWS Batch node terkelola yang bergabung dengan cluster Amazon EKS yang terkait dengan lingkungan komputasi Anda.

$ cat <<EOF > ./batch-eks-job-queue.json
 {
    "jobQueueName": "My-Eks-JQ1",
    "priority": 10,
    "computeEnvironmentOrder": [
      {
        "order": 1,
        "computeEnvironment": "My-Eks-CE1"
      }
    ]
  }
EOF

$ aws batch create-job-queue --cli-input-json file://./batch-eks-job-queue.json

Langkah 5: Buat definisi pekerjaan

Definisi Job berikut menginstruksikan pod untuk tidur selama 60 detik.

$ cat <<EOF > ./batch-eks-job-definition.json
{
  "jobDefinitionName": "MyJobOnEks_Sleep",
  "type": "container",
  "eksProperties": {
    "podProperties": {
      "hostNetwork": true,
      "containers": [
        {
          "image": "public.ecr.aws/amazonlinux/amazonlinux:2",
          "command": [
            "sleep",
            "60"
          ],
          "resources": {
            "limits": {
              "cpu": "1",
              "memory": "1024Mi"
            }
          }
        }
      ],
      "metadata": {
        "labels": {
          "environment": "test"
        }
      }
    }
  }
}
EOF

$ aws batch register-job-definition --cli-input-json file://./batch-eks-job-definition.json

Langkah 6: Kirim pekerjaan

Jalankan yang berikut AWS CLI perintah untuk mengirimkan pekerjaan baru.

$ aws batch submit-job --job-queue My-Eks-JQ1 \
    --job-definition MyJobOnEks_Sleep --job-name My-Eks-Job1

Untuk memeriksa status Pekerjaan:

$ aws batch describe-jobs --job <jobId-from-submit-response>

Langkah 7: Melihat keluaran Pekerjaan

Untuk melihat output Pekerjaan, lakukan hal berikut:

Langkah 8: (Opsional) Kirim pekerjaan dengan penggantian

Pekerjaan ini mengesampingkan perintah yang diteruskan ke container. AWS Batch secara agresif membersihkan pod setelah pekerjaan selesai untuk mengurangi beban menjadi Kubernetes. Untuk memeriksa detail pekerjaan, logging harus dikonfigurasi. Untuk informasi selengkapnya, lihat Gunakan CloudWatch Log untuk memantau pekerjaan AWS Batch Amazon EKS.

$ cat <<EOF > ./submit-job-override.json
{
  "jobName": "EksWithOverrides",
  "jobQueue": "My-Eks-JQ1",
  "jobDefinition": "MyJobOnEks_Sleep",
  "eksPropertiesOverride": {
    "podProperties": {
      "containers": [
        {
          "command": [
            "/bin/sh"
          ],
          "args": [
            "-c",
            "echo hello world"
          ]
        }
      ]
    }
  }
}
EOF

$ aws batch submit-job --cli-input-json file://./submit-job-override.json

Untuk melihat output Pekerjaan, lakukan hal berikut:

Langkah 9: Bersihkan sumber daya tutorial Anda

Anda akan dikenakan biaya untuk instans Amazon EC2 saat diaktifkan. Anda dapat menghapus instans untuk menghentikan tagihan.

Untuk menghapus sumber daya yang Anda buat, lakukan hal berikut:

Sumber daya tambahan

Setelah Anda menyelesaikan tutorial, Anda mungkin ingin menjelajahi topik berikut::