Memecahkan masalah penskalaan

• /var/log/cfn-init.log- Ini adalah log CloudFormation init. Ini berisi semua perintah yang dijalankan ketika sebuah instance disiapkan. Gunakan untuk memecahkan masalah inisialisasi.

• /var/log/chef-client.log- Ini adalah log klien Chef. Ini berisi semua perintah yang dijalankan melalui chef/CINC. Gunakan untuk memecahkan masalah inisialisasi.

• /var/log/parallelcluster/slurm_resume.log- Ini adalah ResumeProgram log. Ini meluncurkan instance untuk node dinamis. Gunakan untuk memecahkan masalah peluncuran node dinamis.

• /var/log/parallelcluster/slurm_suspend.log- Ini SuspendProgram log. Ini disebut ketika instance dihentikan untuk node dinamis. Gunakan untuk memecahkan masalah penghentian node dinamis. Saat Anda memeriksa log ini, Anda juga harus memeriksa clustermgtd log.

• /var/log/parallelcluster/clustermgtd- Ini clustermgtd log. Ini berjalan sebagai daemon terpusat yang mengelola sebagian besar tindakan operasi cluster. Gunakan untuk memecahkan masalah peluncuran, penghentian, atau operasi klaster apa pun.

• /var/log/slurmctld.log- Ini adalah log daemon Slurm kontrol. AWS ParallelCluster tidak membuat keputusan penskalaan. Sebaliknya, ia hanya mencoba meluncurkan sumber daya untuk memenuhi Slurm persyaratan. Ini berguna untuk masalah penskalaan dan alokasi, masalah terkait pekerjaan, dan masalah peluncuran dan penghentian terkait penjadwal.

• /var/log/parallelcluster/compute_console_output- Log ini merekam output konsol dari subset sampel node komputasi statis yang tiba-tiba dihentikan. Gunakan log ini jika node komputasi statis berakhir dan log node komputasi tidak tersedia di. CloudWatch compute_console_output logKonten yang Anda terima sama saat Anda menggunakan EC2 konsol Amazon atau AWS CLI untuk mengambil keluaran konsol instance.

• /var/log/cloud-init-output.log- Ini adalah log cloud-init. Ini berisi semua perintah yang dijalankan ketika sebuah instance disiapkan. Gunakan untuk memecahkan masalah inisialisasi.

• /var/log/parallelcluster/computemgtd- Ini computemgtd log. Ini berjalan pada setiap node komputasi untuk memantau node dalam peristiwa yang tidak biasa bahwa clustermgtd daemon pada node kepala sedang offline. Gunakan untuk memecahkan masalah penghentian yang tidak terduga.

• /var/log/slurmd.log- Ini adalah log Slurm daemon komputasi. Gunakan untuk memecahkan masalah inisialisasi dan kegagalan komputasi.

Berdasarkan kasus penggunaan Anda, pertimbangkan untuk menggunakan salah satu metode berikut untuk menghindari jenis pesan kesalahan ini:

• Nonaktifkan grup penempatan jika diaktifkan. Untuk informasi selengkapnya, lihat Grup penempatan dan masalah peluncuran instance.

• Cadangan kapasitas untuk instans dan luncurkan dengan ODCR (Pemesanan Kapasitas Sesuai Permintaan). Untuk informasi selengkapnya, lihat Luncurkan instans dengan Reservasi Kapasitas Sesuai Permintaan (ODCR).

• Konfigurasikan beberapa sumber daya komputasi dengan tipe instans yang berbeda. Jika beban kerja Anda tidak memerlukan jenis instans tertentu, Anda dapat memanfaatkan kegagalan kapasitas yang tidak mencukupi dengan beberapa sumber daya komputasi. Untuk informasi selengkapnya, lihat Slurmcluster cepat tidak mencukupi kapasitas fail-over.

• Konfigurasikan beberapa tipe instans dalam sumber daya komputasi yang sama, dan manfaatkan alokasi tipe instans ganda. Untuk informasi selengkapnya tentang mengonfigurasi beberapa instance, lihat Beberapa alokasi tipe instans dengan Slurm dan Scheduling//SlurmQueues/ComputeResources. Instances

• Pindahkan antrian ke Availability Zone yang berbeda dengan mengubah subnet ID dalam konfigurasi cluster Scheduling//SlurmQueues/Networking. SubnetIds

• Jika beban kerja Anda tidak digabungkan dengan erat, rentangkan antrian di berbagai Availability Zone. Untuk informasi selengkapnya tentang mengonfigurasi beberapa subnet, lihat Scheduling//SlurmQueues/Networking. SubnetIds

• /var/log/cfn-init.log

• /var/log/chef-client.log

• /var/log/parallelcluster/clustermgtd

• /var/log/parallelcluster/slurm_resume.log

• /var/log/slurmctld.log

• Log yang berlaku:

  • /var/log/cloud-init-output.log

  • /var/log/slurmd.log

• Jika node komputasi diluncurkan, periksa terlebih dahulu/var/log/cloud-init-output.log, yang seharusnya berisi log penyiapan yang mirip dengan /var/log/chef-client.log log pada node kepala. Sebagian besar kesalahan yang terjadi selama pengaturan harus memiliki pesan kesalahan yang terletak di /var/log/cloud-init-output.log log. Jika skrip pra-instal atau pasca-instal ditentukan dalam konfigurasi cluster, periksa apakah skrip tersebut berhasil dijalankan.

• Jika Anda menggunakan AMI kustom dengan modifikasi Slurm konfigurasi, maka mungkin ada kesalahan Slurm terkait yang mencegah node komputasi bergabung dengan cluster. Untuk kesalahan terkait penjadwal, periksa log. /var/log/slurmd.log

• Cari ResumeProgram log (/var/log/parallelcluster/slurm_resume.log) untuk nama node komputasi Anda untuk melihat apakah pernah ResumeProgram dipanggil dengan node. (Jika ResumeProgram tidak pernah dipanggil, Anda dapat memeriksa slurmctld log (/var/log/slurmctld.log) untuk menentukan apakah Slurm pernah mencoba memanggil ResumeProgram dengan node).

• Perhatikan bahwa izin yang salah untuk ResumeProgram dapat menyebabkan kegagalan ResumeProgram secara diam-diam. Jika Anda menggunakan AMI kustom dengan modifikasi untuk ResumeProgram penyiapan, periksa apakah AMI dimiliki oleh slurm pengguna dan memiliki izin 744 (rwxr--r--). ResumeProgram

• Jika ResumeProgram dipanggil, periksa untuk melihat apakah sebuah instance diluncurkan untuk node. Jika tidak ada instance yang diluncurkan, Anda dapat melihat pesan kesalahan yang menjelaskan kegagalan peluncuran.

• Jika instance diluncurkan, maka mungkin ada masalah selama proses penyiapan. Anda akan melihat alamat IP pribadi dan ID instance yang sesuai dari ResumeProgram log. Selain itu, Anda dapat melihat log pengaturan yang sesuai untuk contoh tertentu. Untuk informasi selengkapnya tentang pemecahan masalah kesalahan penyiapan dengan node komputasi, lihat bagian selanjutnya.

• Periksa log clustermgtd (/var/log/parallelcluster/clustermgtd) untuk melihat apakah instance diluncurkan untuk node. Jika tidak diluncurkan, harus ada pesan kesalahan yang jelas yang merinci kegagalan peluncuran.

• Jika instance diluncurkan, ada beberapa masalah selama proses penyiapan. Anda akan melihat alamat IP pribadi dan ID instance yang sesuai dari ResumeProgram log. Selain itu, Anda dapat melihat log pengaturan yang sesuai untuk instance tertentu.

• Jika ini pertama kalinya Anda menggunakan Instans Spot dan pekerjaan tetap dalam PD (status tertunda), periksa kembali /var/log/parallelcluster/slurm_resume.log file tersebut. Anda mungkin akan menemukan kesalahan seperti berikut:

  2022-05-20 13:06:24,796 - [slurm_plugin.common:add_instances_for_nodes] - ERROR - Encountered exception when launching instances for nodes (x1) ['spot-dy-t2micro-2']: An error occurred (AuthFailure.ServiceLinkedRoleCreationNotPermitted) when calling the RunInstances operation: The provided credentials do not have permission to create the service-linked role for Amazon EC2 Spot Instances.

  Saat menggunakan Instans Spot, peran AWSServiceRoleForEC2Spot terkait layanan harus ada di akun Anda. Untuk membuat peran ini di akun Anda menggunakan AWS CLI, jalankan perintah berikut:

  $ aws iam create-service-linked-role --aws-service-name spot.amazonaws.com

  Untuk informasi selengkapnya, lihat Berkeja dengan Instans Spot di Panduan AWS ParallelCluster Pengguna dan peran terkait Layanan untuk permintaan Instans Spot di Panduan EC2 Pengguna Amazon.

• Log yang berlaku:

  • /var/log/parallelcluster/clustermgtd(simpul kepala)

  • /var/log/slurmctld.log(simpul kepala)

  • /var/log/parallelcluster/computemgtd(simpul komputasi)

• Periksa clustermgtd log (/var/log/parallelcluster/clustermgtd) untuk melihat apakah clustermgtd diganti atau dihentikan node. Perhatikan bahwa clustermgtd menangani semua tindakan pemeliharaan node normal.

• Jika clustermgtd diganti atau dihentikan node, harus ada pesan yang merinci mengapa tindakan ini diambil pada node. Jika alasannya terkait penjadwal (misalnya, karena node masukDOWN), periksa slurmctld log untuk informasi lebih lanjut. Jika alasannya EC2 terkait Amazon, harus ada pesan informatif yang merinci masalah EC2 terkait Amazon yang memerlukan penggantian.

• Jika clustermgtd tidak menghentikan node, periksa terlebih dahulu apakah ini adalah penghentian yang diharapkan oleh Amazon EC2 , lebih khusus lagi penghentian spot. computemgtd, berjalan pada node komputasi, juga dapat mengakhiri node jika clustermgtd ditentukan sebagai tidak sehat. Periksa computemgtd log (/var/log/parallelcluster/computemgtd) untuk melihat apakah node computemgtd dihentikan.

• Periksa slurmctld log (/var/log/slurmctld.log) untuk melihat mengapa pekerjaan atau node gagal. Perhatikan bahwa pekerjaan secara otomatis diantrian ulang jika node gagal.

• Jika slurm_resume melaporkan bahwa node diluncurkan dan clustermgtd melaporkan setelah beberapa menit bahwa tidak ada instance yang sesuai di Amazon EC2 untuk node tersebut, node mungkin gagal selama penyiapan. Untuk mengambil log dari compute (/var/log/cloud-init-output.log), lakukan langkah-langkah berikut:

  • Kirim pekerjaan untuk membiarkan Slurm putaran node baru.

  • Tunggu node komputasi dimulai.

  • Ubah perilaku shutdown yang dimulai instance sehingga node komputasi yang gagal akan dihentikan daripada dihentikan.

    $ aws ec2 modify-instance-attribute \
        --instance-id i-1234567890abcdef0 \
        --instance-initiated-shutdown-behavior "{\"Value\": \"stop\"}"

  • Aktifkan perlindungan penghentian

    $ aws ec2 modify-instance-attribute \
        --instance-id i-1234567890abcdef0 \
        --disable-api-termination

  • Tandai node agar mudah diidentifikasi.

    $ aws ec2 create-tags \
        --resources i-1234567890abcdef0 \
        --tags Key=Name,Value=QUARANTINED-Compute

  • Lepaskan node dari cluster dengan mengubah parallelcluster:cluster-name tag.

    $ aws ec2 create-tags \
        --resources i-1234567890abcdef0 \
        --tags Key=parallelcluster:clustername,Value=QUARANTINED-ClusterName

  • Ambil output konsol dari node dengan perintah ini.

    $ aws ec2 get-console-output --instance-id i-1234567890abcdef0 --output text

• Log yang berlaku:

  • /var/log/parallelcluster/clustermgtd(simpul kepala)

  • /var/log/parallelcluster/slurm_suspend.log(simpul kepala)

• Dalam kebanyakan kasus, clustermgtd menangani semua tindakan penghentian instance yang diharapkan. Periksa di clustermgtd log untuk melihat mengapa gagal mengganti atau mengakhiri node.

• Untuk node dinamis gagalSlurmSettingsProperti, periksa SuspendProgram log untuk melihat apakah SuspendProgram dipanggil slurmctld dengan node tertentu sebagai argumen. Perhatikan bahwa SuspendProgram tidak benar-benar melakukan tindakan apa pun. Sebaliknya, itu hanya log ketika dipanggil. Semua penghentian dan NodeAddr reset instance dilakukan olehclustermgtd. Slurmmenempatkan node kembali ke POWER_SAVING keadaan setelah SuspendTimeout secara otomatis.

• Jika node komputasi gagal terus menerus karena kegagalan bootstrap, verifikasi apakah node tersebut diluncurkan dengan Slurm mode terlindungi cluster diaktifkan. Jika mode terlindungi tidak diaktifkan, ubah pengaturan mode terlindungi untuk mengaktifkan mode terlindungi. Memecahkan masalah dan memperbaiki skrip bootstrap.