Buat sumber daya manajemen kuota - AWS Batch
Prasyarat

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Buat sumber daya manajemen kuota

Manajemen kuota memerlukan pengaturan khusus saat membuat kebijakan penjadwalan terkait, lingkungan layanan, dan antrian pekerjaan.

Prasyarat

Sebelum membuat sumber daya manajemen kuota, pastikan Anda memiliki:

  • Izin IAM — Izin untuk membuat dan mengelola antrian AWS Batch pekerjaan, kebijakan penjadwalan, dan lingkungan layanan. Untuk informasi selengkapnya, lihat AWS Batch Kebijakan, peran, dan izin IAM.

Configure quota management resources (AWS Batch console)

AWS Batch Konsol menyediakan alur kerja terintegrasi untuk membuat semua sumber daya yang diperlukan untuk manajemen kuota. Alur kerja pembuatan antrian pekerjaan manajemen kuota juga menciptakan kebijakan penjadwalan dan lingkungan layanan yang diaktifkan manajemen kuota.

  1. Buka AWS Batch konsol di https://console.aws.amazon.com/batch/.

  2. Di panel navigasi, pilih Antrian pekerjaan dan kemudian Buat.

  3. Untuk jenis Orkestrasi, pilih Pelatihan. SageMaker

  4. Untuk konfigurasi antrian Job:

    1. Untuk Nama, masukkan nama antrian pekerjaan.

    2. Untuk Prioritas, masukkan nilai antara 0 dan 1000. Antrian pekerjaan dengan prioritas lebih tinggi diberikan preferensi untuk lingkungan layanan.

  5. Untuk Penjadwalan:

    1. Untuk algoritma Penjadwalan, pilih Manajemen kuota.

    2. Untuk kebijakan Penjadwalan ARN:

      • Jika kebijakan penjadwalan sudah ada yang menentukan manajemen kuota, pilih dari menu tarik-turun.

      • Jika tidak, pilih Buat kebijakan penjadwalan.

        1. Bilah sisi terbuka untuk mengonfigurasi kebijakan penjadwalan manajemen kuota.

        2. Berikan Nama untuk kebijakan penjadwalan.

        3. Pilih Buat. Bidang ARN kebijakan Penjadwalan sekarang diisi.

  6. Untuk konfigurasi lingkungan Layanan, di bawah lingkungan layanan Terhubung:

    catatan

    Lingkungan layanan yang diaktifkan manajemen kuota hanya dapat dihubungkan ke satu antrian pekerjaan yang diaktifkan manajemen kuota.

    1. Jika lingkungan layanan telah dibuat yang kompatibel dengan manajemen kuota dan belum terhubung ke antrian pekerjaan yang mendukung manajemen kuota, pilih dari menu tarik-turun.

    2. Jika tidak, pilih Buat lingkungan layanan. Sidebar terbuka untuk mengkonfigurasi lingkungan layanan.

      1. Berikan Nama untuk lingkungan layanan.

      2. Berikan setidaknya satu batas kapasitas (dan paling banyak 5). Untuk setiap batas kapasitas, pilih jenis Instance dari dropdown dan jumlah maksimum instance.

  7. (Opsional) Untuk batas status Job:

    1. Untuk Misconfiguration, pilih salah satu SERVICE_ENVIRONMENT_MAX_RESOURCE dan masukkan Maksimum runnable time (detik).

    2. Untuk Kapasitas, pilih INSUFFICIENT_INSTANCE_CAPACITY dan masukkan Waktu runnable maksimum (detik).

  8. Pilih Buat antrean pekerjaan.

Configure quota management resources (AWS CLI)

Untuk mengonfigurasi manajemen kuota melalui AWS CLI, buat kebijakan penjadwalan, lingkungan layanan, dan antrian pekerjaan. Kebijakan penjadwalan dan lingkungan layanan harus kompatibel dengan manajemen kuota dan dibuat sebelum membuat antrian pekerjaan.

Buat kebijakan penjadwalan

Gunakan create-scheduling-policy perintah untuk membuat kebijakan penjadwalan yang kompatibel dengan manajemen kuota. Berikan kebijakan pembagian kuota selama pembuatan:

aws batch create-scheduling-policy \
  --name my-qm-sagemaker-scheduling-policy \
  --quota-share-policy idleResourceAssignmentStrategy="FIFO"

Pastikan kebijakan penjadwalan berhasil dibuat:

aws batch describe-scheduling-policies \
  --arns arn-for-my-qm-sagemaker-scheduling-policy

Ciptakan lingkungan layanan

Gunakan create-service-environment perintah untuk membuat lingkungan layanan yang diaktifkan manajemen kuota. Pastikan bahwa batas kapasitas menggunakan jenis instans yang diterima oleh pekerjaan SageMaker Pelatihan, seperti ml.g6.xlarge atauml.p4d.24xlarge.

aws batch create-service-environment \
  --service-environment-name my-qm-sagemaker-service-env \
  --service-environment-type SAGEMAKER_TRAINING \
  --capacity-limits capacityUnit=instance_type,maxCapacity=instance_count

Verifikasi lingkungan layanan berhasil dibuat:

aws batch describe-service-environments \
  --service-environments my-qm-sagemaker-service-env

Buat antrian pekerjaan

Gunakan create-job-queue perintah untuk membuat antrean pekerjaan yang diaktifkan manajemen kuota. Kriteria berikut harus dipenuhi:

  • Lingkungan SAGEMAKER_TRAINING layanan tunggal harus disediakan yang saat ini tidak terhubung ke antrian pekerjaan lain.

  • Lingkungan layanan harus menyatakan batas kapasitas dalam hal jenis instance, sepertiml.m6i.xlarge, bukanNUM_INSTANCES.

  • Kebijakan penjadwalan harus terhubung yang quotaSharePolicy berisi.

  • jobQueueTypePastiSAGEMAKER_TRAINING.

aws batch create-job-queue \
  --job-queue-name my-qm-sagemaker-jq \
  --job-queue-type SAGEMAKER_TRAINING \
  --priority 1 \
  --service-environment-order order=1,serviceEnvironment=my-qm-sagemaker-service-env \
  --scheduling-policy-arn arn-for-my-qm-sagemaker-scheduling-policy

Verifikasi antrian pekerjaan berhasil dibuat:

aws batch describe-job-queues \
  --job-queues my-qm-sagemaker-jq

Pastikan bahwa:

  • stateadalah ENABLED

  • statusadalah VALID

  • statusReasonadalah JobQueue Healthy