Memulai dengan AWS Batch di Amazon EKS Private Clusters

AWS Batch adalah layanan terkelola yang mengatur beban kerja batch di kluster Amazon Elastic Kubernetes Service (Amazon EKS) Anda. Ini termasuk antrian, pelacakan ketergantungan, percobaan ulang dan prioritas pekerjaan terkelola, manajemen pod, dan penskalaan node. Fitur ini menghubungkan kluster Amazon EKS pribadi Anda yang ada AWS Batch untuk menjalankan pekerjaan Anda dalam skala besar. Anda dapat menggunakan eksctl(antarmuka baris perintah untuk Amazon EKS), AWS konsol, atau AWS Command Line Interfaceuntuk membuat cluster Amazon EKS pribadi dengan semua sumber daya lain yang diperlukan.

Amazon EKS private only cluster secara default tidak memiliki akses inbound/outbound internet, dan Anda hanya dapat mengakses server API dari dalam VPC atau jaringan yang terhubung. Titik akhir Amazon VPC digunakan untuk mengaktifkan akses pribadi ke layanan lain. AWS eksctlmendukung pembuatan cluster yang sepenuhnya pribadi menggunakan VPC dan subnet Amazon yang sudah ada sebelumnya. eksctljuga membuat titik akhir VPC Amazon di VPC Amazon yang disediakan dan memodifikasi tabel rute untuk subnet yang disediakan.

Setiap subnet harus memiliki tabel rute eksplisit yang terkait dengannya karena eksctl tidak mengubah tabel rute utama. Cluster Anda harus menarik gambar dari registri kontainer yang ada di VPC Amazon Anda. Selain itu, Anda dapat membuat Amazon Elastic Container Registry di Amazon VPC Anda dan menyalin gambar kontainer ke sana untuk diambil node Anda. Untuk informasi selengkapnya, lihat Menyalin gambar kontainer dari satu repositori ke repositori lain. Untuk memulai repositori pribadi Amazon ECR, lihat repositori pribadi Amazon ECR.

Anda dapat secara opsional membuat aturan cache tarik melalui dengan Amazon ECR. Setelah aturan pull through cache dibuat untuk registri publik eksternal, Anda dapat menarik gambar dari registri publik eksternal tersebut menggunakan Amazon ECR private registry uniform resource identifier (URI). Kemudian Amazon ECR membuat repositori dan menyimpan gambar. Ketika gambar yang di-cache ditarik menggunakan URI registri pribadi Amazon ECR, Amazon ECR memeriksa registri jarak jauh untuk melihat apakah ada versi baru gambar dan memperbarui registri pribadi Anda hingga sekali setiap 24 jam.

Gambaran Umum

Tutorial ini menunjukkan cara mengatur AWS Batch dengan Amazon EKS pribadi menggunakan AWS CloudShell, kubectl daneksctl.

Prasyarat

Tutorial ini menggunakan AWS CloudShell shell berbasis browser dan pra-otentikasi yang Anda luncurkan langsung dari file. AWS Management Console Ini memungkinkan akses ke cluster setelah tidak lagi memiliki akses internet publik. Itu AWS CLI,kubectl, dan eksctl mungkin sudah diinstal sebagai bagian dari AWS CloudShell. Untuk informasi selengkapnya AWS CloudShell, lihat Panduan AWS CloudShell Pengguna. Alternatifnya AWS CloudShell adalah terhubung ke VPC cluster Anda atau jaringan yang terhubung.

Untuk menjalankan perintah kubectl, Anda memerlukan akses pribadi ke cluster Amazon EKS Anda. Ini berarti semua lalu lintas ke server API cluster Anda harus berasal dari dalam VPC klaster Anda atau jaringan yang terhubung.

Langkah 1: Buat cluster EKS Anda untuk AWS Batch

Kami menyarankan Anda menggunakan eksctl dan file konfigurasi berikut untuk membuat cluster Anda. Untuk mengatur kluster secara manual, ikuti petunjuk di Menyebarkan kluster pribadi dengan akses internet terbatas di Panduan Pengguna Amazon EKS.

Langkah 2: Siapkan cluster EKS Anda AWS Batch

Semua langkah diperlukan dan harus dilakukan di AWS CloudShell.

Langkah 3: Buat lingkungan komputasi Amazon EKS

AWS Batch lingkungan komputasi menentukan parameter sumber daya komputasi untuk memenuhi kebutuhan beban kerja batch Anda. Di lingkungan komputasi terkelola, AWS Batch membantu Anda mengelola kapasitas dan jenis instans sumber daya komputasi (Kubernetesnode) dalam klaster Amazon EKS Anda. Ini didasarkan pada spesifikasi sumber daya komputasi yang Anda tentukan ketika membuat lingkungan komputasi. Anda dapat menggunakan Instans EC2 Sesuai Permintaan atau Instans EC2 Spot.

Sekarang peran AWSServiceRoleForBatchterkait layanan memiliki akses ke kluster Amazon EKS Anda, Anda dapat membuat AWS Batch sumber daya. Pertama, buat lingkungan komputasi yang mengarah ke cluster Amazon EKS Anda.

$ cat <<EOF > ./batch-eks-compute-environment.json
{
  "computeEnvironmentName": "My-Eks-CE1",
  "type": "MANAGED",
  "state": "ENABLED",
  "eksConfiguration": {
    "eksClusterArn": "arn:aws:eks:us-east-1:<your-account-ID>:cluster/my-test-cluster",
    "kubernetesNamespace": "my-aws-batch-namespace"
  },
  "computeResources": {
    "type": "EC2",
    "allocationStrategy": "BEST_FIT_PROGRESSIVE",
    "minvCpus": 0,
    "maxvCpus": 128,
    "instanceTypes": [
        "m5"
    ],
    "subnets": [
        "<eks-cluster-subnets-with-access-to-the-image-for-image-pull>"
    ],
    "securityGroupIds": [
        "<eks-cluster-sg>"
    ],
    "instanceRole": "<eks-instance-profile>"
  }
}
EOF
        

$ aws batch create-compute-environment --cli-input-json file://./batch-eks-compute-environment.json

Langkah 4: Buat antrian pekerjaan dan lampirkan lingkungan komputasi

$ aws batch describe-compute-environments --compute-environments My-Eks-CE1

Pekerjaan yang dikirimkan ke antrean pekerjaan baru ini dijalankan sebagai pod pada node AWS Batch terkelola yang bergabung dengan klaster Amazon EKS yang terkait dengan lingkungan komputasi Anda.

$ cat <<EOF > ./batch-eks-job-queue.json
 {
    "jobQueueName": "My-Eks-JQ1",
    "priority": 10,
    "computeEnvironmentOrder": [
      {
        "order": 1,
        "computeEnvironment": "My-Eks-CE1"
      }
    ]
  }
EOF

$ aws batch create-job-queue --cli-input-json file://./batch-eks-job-queue.json

Langkah 5: Buat Amazon ECR dengan pull through cache

Karena cluster tidak memiliki akses internet publik, Anda harus membuat ECR Amazon untuk gambar kontainer. Petunjuk berikut membuat ECR Amazon dengan aturan cache pull-through untuk menyimpan gambar.

Langkah 6: Daftarkan definisi pekerjaan

Definisi Job berikut menginstruksikan pod untuk tidur selama 60 detik.

Di bidang gambar definisi pekerjaan, alih-alih menyediakan tautan ke gambar di repositori ECR publik, berikan tautan ke gambar yang disimpan di repositori ECR pribadi kami. Lihat contoh definisi pekerjaan berikut:

$ cat <<EOF > ./batch-eks-job-definition.json
{
  "jobDefinitionName": "MyJobOnEks_Sleep",
  "type": "container",
  "eksProperties": {
    "podProperties": {
      "hostNetwork": true,
      "containers": [
        {
          "image": "<your-account-ID>.dkr.ecr.us-east-1.amazonaws.com/my-prefix/amazonlinux/amazonlinux:2",
          "command": [
            "sleep",
            "60"
          ],
          "resources": {
            "limits": {
              "cpu": "1",
              "memory": "1024Mi"
            }
          }
        }
      ],
      "metadata": {
        "labels": {
          "environment": "test"
        }
      }
    }
  }
}
EOF

$ aws batch register-job-definition --cli-input-json file://./batch-eks-job-definition.json

Langkah 7: Kirim pekerjaan untuk dijalankan

Jalankan AWS CLI perintah berikut AWS CloudShell untuk mengirimkan Job baru dan mengembalikan JoBid unik.

$ aws batch submit-job --job-queue My-Eks-JQ1 \
    --job-definition MyJobOnEks_Sleep - -job-name My-Eks-Job1

Langkah 8: Lihat output Job

Untuk memeriksa status Job:

$ aws batch describe-jobs --job <JobID-from-submit-response>

Itu startedAt dan stoppedAt harus terpisah satu menit.

Langkah 9: (Opsional) Kirim pekerjaan dengan penggantian

Pekerjaan ini mengesampingkan perintah yang diteruskan ke wadah.

$ cat <<EOF > ./submit-job-override.json
{
  "jobName": "EksWithOverrides",
  "jobQueue": "My-Eks-JQ1",
  "jobDefinition": "MyJobOnEks_Sleep",
  "eksPropertiesOverride": {
    "podProperties": {
      "containers": [
        {
          "command": [
            "/bin/sh"
          ],
          "args": [
            "-c",
            "echo hello world"
          ]
        }
      ]
    }
  }
}
EOF
        

$ aws batch submit-job - -cli-input-json file://./submit-job-override.json

Langkah 10: Bersihkan sumber daya tutorial Anda

Anda dikenakan biaya untuk EC2 instans Amazon saat diaktifkan. Anda dapat menghapus instance untuk menghentikan biaya.

Untuk menghapus sumber daya yang Anda buat, lakukan hal berikut:

Sumber daya tambahan

Setelah Anda menyelesaikan tutorial, Anda mungkin ingin menjelajahi topik-topik berikut::

Pemecahan Masalah

Jika node yang diluncurkan oleh AWS Batch tidak memiliki akses ke repositori Amazon ECR (atau repositori lain) yang menyimpan gambar Anda, maka pekerjaan Anda dapat tetap dalam status MULAI. Ini karena pod tidak akan dapat mengunduh gambar dan menjalankan AWS Batch pekerjaan Anda. Jika Anda mengklik nama pod yang diluncurkan oleh AWS Batch Anda akan dapat melihat pesan kesalahan dan mengonfirmasi masalah. Pesan kesalahan akan terlihat mirip dengan yang berikut ini:

Failed to pull image "public.ecr.aws/amazonlinux/amazonlinux:2": rpc error: code =
Unknown desc = failed to pull and unpack image
"public.ecr.aws/amazonlinux/amazonlinux:2": failed to resolve reference
"public.ecr.aws/amazonlinux/amazonlinux:2": failed to do request: Head
"https://public.ecr.aws/v2/amazonlinux/amazonlinux/manifests/2": dial tcp: i/o timeout

Untuk skenario pemecahan masalah umum lainnya, lihat Pemecahan masalah. AWS Batch Untuk pemecahan masalah berdasarkan status pod, lihat Bagaimana cara memecahkan masalah status pod di Amazon EKS? .