Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.
Perbaikan cluster untuk kesalahan GPU
Jika Anda menjalankan pekerjaan pelatihan yang gagal pada GPU, SageMaker AI akan menjalankan pemeriksaan kesehatan GPU untuk melihat apakah kegagalan terkait dengan masalah GPU. SageMaker AI mengambil tindakan berikut berdasarkan hasil pemeriksaan kesehatan:
Jika kesalahan dapat dipulihkan, dan dapat diperbaiki dengan me-reboot instance atau mengatur ulang GPU, SageMaker AI akan me-reboot instance.
Jika kesalahan tidak dapat dipulihkan, dan disebabkan oleh GPU yang perlu diganti, SageMaker AI akan mengganti instance.
Instans diganti atau di-boot ulang sebagai bagian dari proses perbaikan cluster SageMaker AI. Selama proses ini, Anda akan melihat pesan berikut dalam status pekerjaan pelatihan Anda:
Repairing training cluster due to hardware failure
SageMaker AI akan mencoba memperbaiki cluster hingga berkali- 10 kali. Jika perbaikan cluster berhasil, SageMaker AI akan secara otomatis memulai ulang pekerjaan pelatihan dari pos pemeriksaan sebelumnya. Jika perbaikan cluster gagal, pekerjaan pelatihan juga akan gagal. Anda tidak ditagih untuk proses perbaikan cluster. Perbaikan cluster tidak akan dimulai kecuali pekerjaan pelatihan Anda gagal. Jika masalah GPU terdeteksi untuk cluster warmpool, cluster akan masuk ke mode perbaikan untuk me-reboot atau mengganti instance yang rusak. Setelah perbaikan, cluster masih dapat digunakan sebagai cluster warmpool.
Proses perbaikan cluster dan instance yang dijelaskan sebelumnya digambarkan dalam diagram berikut:
