View a markdown version of this page

Strategi coba ulang pekerjaan layanan di AWS Batch - AWS Batch
Mengkonfigurasi strategi coba lagi

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Strategi coba ulang pekerjaan layanan di AWS Batch

Strategi coba ulang pekerjaan layanan memungkinkan AWS Batch untuk mencoba kembali pekerjaan layanan yang gagal secara otomatis dalam kondisi tertentu.

Pekerjaan layanan mungkin memerlukan beberapa upaya karena beberapa alasan:

  • Masalah layanan sementara: Kesalahan layanan internal, pelambatan, atau pemadaman sementara dapat menyebabkan pekerjaan gagal selama pengiriman atau eksekusi.

  • Kegagalan inisialisasi pelatihan: Masalah saat memulai pekerjaan, seperti masalah penarikan gambar atau kesalahan inisialisasi, dapat diselesaikan saat dicoba lagi.

Dengan mengonfigurasi strategi percobaan ulang yang sesuai, Anda dapat meningkatkan tingkat keberhasilan pekerjaan dan mengurangi kebutuhan akan intervensi manual, terutama untuk beban kerja pelatihan yang berjalan lama.

catatan

Ketika pekerjaan Pel SageMaker atihan gagal karena kapasitas yang tidak mencukup AWS Batch i, coba lagi pekerjaan secara otomatis sampai kapasitas tersedia. Pekerjaan Pel SageMaker atihan terbaru yang gagal karena kapasitas yang tidak mencukupi akan dipertahankan, dan pekerjaan SageMaker Pelatihan sebelumnya yang gagal karena kapasitas yang tidak mencukupi akan dihapus berdasarkan upaya terbaik.

Percobaan ulang berbasis kapasitas ini tidak menghabiskan upaya coba ulang yang dikonfigurasi. Strategi coba ulang Anda terutama menangani jenis kegagalan lain seperti kesalahan algoritma atau masalah layanan yang terjadi setelah pekerjaan memasuki `STARTING`.

Mengkonfigurasi strategi coba lagi

Strategi coba ulang pekerjaan layanan dikonfigurasi menggunakan ServiceJobRetryStrategy, yang mendukung penghitungan percobaan ulang sederhana dan logika coba ulang bersyarat.

Coba lagi konfigurasi

Strategi coba ulang paling sederhana menentukan jumlah upaya percobaan ulang yang harus dilakukan jika pekerjaan layanan gagal:

{
  "retryStrategy": {
    "attempts": 3
  }
}

Konfigurasi ini memungkinkan pekerjaan layanan dicoba ulang hingga 3 kali jika gagal.

penting

attemptsNilai tersebut mewakili jumlah total pekerjaan dapat ditempatkan di RUNNABLE negara bagian, termasuk upaya awal. Nilai 3 berarti pekerjaan akan dicoba sekali pada awalnya, kemudian dicoba lagi hingga 2 kali tambahan jika gagal.

Coba lagi konfigurasi dengan evaluasi OnExit

Anda dapat menggunakan evaluateOnExit parameter untuk menentukan kondisi di mana pekerjaan harus dicoba ulang atau diizinkan gagal. Ini berguna ketika berbagai jenis kegagalan memerlukan penanganan yang berbeda.

evaluateOnExitArray dapat berisi hingga 5 strategi coba lagi, masing-masing menentukan tindakan (RETRYatauEXIT) dan kondisi berdasarkan alasan status:

{
  "retryStrategy": {
    "attempts": 5,
    "evaluateOnExit": [
      {
        "action": "RETRY",
        "onStatusReason": "Received status from SageMaker: InternalServerError*"
      },
      {
        "action": "EXIT",
        "onStatusReason": "Received status from SageMaker: ValidationException*"
      },
      {
        "action": "EXIT",
        "onStatusReason": "*"
      }
    ]
  }
}

Konfigurasi ini:

  • Mencoba ulang pekerjaan yang gagal karena kesalahan server internal SageMaker AI

  • Pekerjaan segera gagal yang mengalami pengecualian validasi (kesalahan klien yang tidak akan diselesaikan dengan coba lagi)

  • Termasuk aturan catch-all untuk keluar untuk jenis kegagalan lainnya

Pencocokan pola alasan status

onStatusReasonParameter mendukung pencocokan pola hingga 512 karakter. Pola dapat menggunakan wildcard (*) dan cocok dengan alasan status yang dikembalikan oleh SageMaker AI.

Untuk pekerjaan layanan, pesan status dari SageMaker AI diawali dengan “Status diterima dari SageMaker:" untuk membedakannya dari pesan AWS Batch yang dihasilkan. Pola umum meliputi:

  • Received status from SageMaker: InternalServerError*- Cocokkan kesalahan layanan internal

  • Received status from SageMaker: ValidationException*- Cocokkan kesalahan validasi klien

  • Received status from SageMaker: ResourceLimitExceeded*- Cocokkan kesalahan batas sumber daya

  • *CapacityError*- Cocokkan kegagalan terkait kapasitas

Tip

Gunakan pencocokan pola tertentu untuk menangani berbagai jenis kesalahan dengan tepat. Misalnya, coba lagi kesalahan server internal tetapi segera gagal pada kesalahan validasi yang menunjukkan masalah dengan parameter pekerjaan.