View a markdown version of this page

Slurry akuntansi dengan AWS ParallelCluster - AWS ParallelCluster
Bekerja dengan Slurry akuntansi menggunakan eksternal Slurmdbd in AWS ParallelCluster v3.10.0 dan yang lebih baruBekerja dengan Slurry akuntansi menggunakan head node Slurmdbd in AWS ParallelCluster v3.3.0 dan yang lebih baruSlurry pertimbangan akuntansi

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Slurry akuntansi dengan AWS ParallelCluster

Dimulai dengan versi 3.3.0, AWS ParallelCluster mendukung Slurm akuntansi dengan parameter konfigurasi kluster SlurmSettings/Database.

Dimulai dengan versi 3.10.0, AWS ParallelCluster mendukung Slurm akuntansi dengan Slurmdbd eksternal dengan parameter konfigurasi cluster/. SlurmSettings ExternalSlurmdbd Menggunakan Slurmdbd eksternal disarankan jika beberapa cluster berbagi database yang sama.

Dengan Slurm akuntansi, Anda dapat mengintegrasikan database akuntansi eksternal untuk melakukan hal berikut:

  • Kelola pengguna cluster atau grup pengguna dan entitas lainnya. Dengan kemampuan ini, Anda dapat menggunakan Slurm fitur yang lebih canggih, seperti penegakan batas sumber daya, fair-share, dan QoSS.

  • Kumpulkan dan simpan data pekerjaan, seperti pengguna yang menjalankan pekerjaan, durasi pekerjaan, dan sumber daya yang digunakannya. Anda dapat melihat data yang disimpan dengan sacct utilitas.

catatan

AWS ParallelCluster mendukung Slurm akuntansi untuk server database MySQL yang Slurm didukung.

Bekerja dengan Slurry akuntansi menggunakan eksternal Slurmdbd in AWS ParallelCluster v3.10.0 dan yang lebih baru

Sebelum mengkonfigurasi Slurm akuntansi, Anda harus memiliki server Slurmdbd database eksternal yang ada, yang terhubung ke server database eksternal yang ada.

Untuk mengonfigurasi ini, tentukan yang berikut:

  • Alamat Slurmdbd server eksternal di ExternalSlurmdbd/Host. Server harus ada dan dapat dijangkau dari node kepala.

  • Kunci munge untuk berkomunikasi dengan Slurmdbd server eksternal di MungeKeySecretArn.

Untuk melangkah melalui tutorial, lihatMembuat cluster dengan eksternal Slurmdbd akuntansi.

catatan

Anda bertanggung jawab untuk mengelola entitas akuntansi Slurm database.

Arsitektur fitur SlurmDB dukungan AWS ParallelCluster eksternal memungkinkan beberapa cluster berbagi database yang sama SlurmDB dan sama.

A flowchart depicting the Database Stack, Slurmdbd stack, PC Cluster Stack 1, and PC Cluster Stack 2. Containing components such as Slurmdbd instance, RDS Aurora MySQL Database, and Login nodes.

Awas

Lalu lintas antara AWS ParallelCluster dan eksternal tidak SlurmDB dienkripsi. Disarankan untuk menjalankan cluster dan eksternal SlurmDB dalam jaringan tepercaya.

Bekerja dengan Slurry akuntansi menggunakan head node Slurmdbd in AWS ParallelCluster v3.3.0 dan yang lebih baru

Sebelum mengkonfigurasi Slurm akuntansi, Anda harus memiliki server database eksternal dan database yang menggunakan mysql protokol.

Untuk mengkonfigurasi Slurm akuntansi AWS ParallelCluster, Anda harus menentukan yang berikut:

  • URI untuk server database eksternal di Database/Uri. Server harus ada dan dapat dijangkau dari node kepala.

  • KredenSIAL untuk mengakses database eksternal yang didefinisikan dalam Database/PasswordSecretArndan Database/UserName. AWS ParallelCluster menggunakan informasi ini untuk mengkonfigurasi akuntansi di Slurm level dan slurmdbd layanan pada node kepala. slurmdbdadalah daemon yang mengelola komunikasi antara cluster dan server database.

Untuk melangkah melalui tutorial, lihatMembuat cluster dengan Slurm akuntansi.

catatan

AWS ParallelCluster melakukan bootstrap dasar dari database Slurm akuntansi dengan mengatur pengguna cluster default sebagai admin database dalam Slurm database. AWS ParallelCluster tidak menambahkan pengguna lain ke database akuntansi. Pelanggan bertanggung jawab untuk mengelola entitas akuntansi dalam Slurm database.

AWS ParallelCluster mengkonfigurasi slurmdbd untuk memastikan bahwa cluster memiliki Slurm database sendiri di server database. Server database yang sama dapat digunakan di beberapa cluster, tetapi setiap cluster memiliki database terpisah sendiri. AWS ParallelCluster menggunakan nama cluster untuk menentukan nama untuk database dalam StorageLoc parameter file slurmdbd konfigurasi. Pertimbangkan situasi berikut. Database yang ada di server database menyertakan nama cluster yang tidak dipetakan ke nama cluster aktif. Dalam hal ini, Anda dapat membuat cluster baru dengan nama cluster tersebut untuk dipetakan ke database itu. Slurmmenggunakan kembali database untuk cluster baru.

Awas

  • Kami tidak menyarankan menyiapkan lebih dari satu cluster untuk menggunakan database yang sama sekaligus. Melakukan hal itu dapat menyebabkan masalah kinerja atau bahkan situasi kebuntuan database.

  • Jika Slurm akuntansi diaktifkan pada node kepala cluster, sebaiknya gunakan jenis instance dengan CPU yang kuat, lebih banyak memori, dan bandwidth jaringan yang lebih tinggi. Slurmakuntansi dapat menambah ketegangan pada simpul kepala cluster.

Dalam arsitektur fitur AWS ParallelCluster Slurm akuntansi saat ini, setiap cluster memiliki instance slurmdbd daemon sendiri seperti yang ditunjukkan dalam konfigurasi contoh diagram berikut.

A configuration with two clusters that are connected to a MySQL server. Each cluster has their own slurmdbd daemon instance. Moreover, each cluster is connected to its own database through the server. Another configuration with a single cluster that has its own slurmdbd daemon instance. This configuration is connected to a MySQL server and is also connected to its own database through the server.

Jika Anda menambahkan fungsionalitas Slurm multi-cluster atau federasi kustom ke lingkungan cluster Anda, semua cluster harus mereferensikan slurmdbd instance yang sama. Untuk alternatif ini, kami sarankan Anda mengaktifkan AWS ParallelCluster Slurm akuntansi pada satu cluster dan secara manual mengonfigurasi cluster lain untuk terhubung ke cluster slurmdbd yang dihosting di cluster pertama.

Jika Anda menggunakan AWS ParallelCluster versi sebelum versi 3.3.0, lihat metode alternatif untuk menerapkan Slurm akuntansi yang dijelaskan dalam Posting Blog HPC ini.

Slurry pertimbangan akuntansi

Database dan cluster pada VPC yang berbeda

Untuk mengaktifkan Slurm akuntansi, server database diperlukan untuk berfungsi sebagai backend untuk operasi baca dan tulis yang dilakukan slurmdbd daemon. Sebelum cluster dibuat atau diperbarui untuk mengaktifkan Slurm akuntansi, node kepala harus dapat mencapai server database.

Jika Anda perlu menerapkan server database pada VPC selain yang digunakan cluster, pertimbangkan hal berikut:

  • Untuk mengaktifkan komunikasi antara slurmdbd di sisi cluster dan server database, Anda harus mengatur konektivitas antara dua VPC. Untuk informasi selengkapnya, lihat VPC Peering di Panduan Pengguna Amazon Virtual Private Cloud.

  • Anda harus membuat grup keamanan yang ingin Anda lampirkan ke node kepala pada VPC cluster. Setelah dua VPC diintip, tautan silang antara sisi database dan grup keamanan sisi cluster tersedia. Untuk informasi selengkapnya, lihat Aturan Grup Keamanan di Panduan Pengguna Amazon Virtual Private Cloud.

Mengkonfigurasi enkripsi TLS antara slurmdbd dan server database

Dengan konfigurasi Slurm akuntansi default yang AWS ParallelCluster menyediakan, membuat slurmdbd koneksi terenkripsi TLS ke server database, jika server mendukung enkripsi TLS. AWS layanan database seperti Amazon RDS dan Amazon Aurora mendukung enkripsi TLS secara default.

Anda dapat memerlukan koneksi aman di sisi server dengan mengatur require_secure_transport parameter pada server database. Ini dikonfigurasi dalam CloudFormation template yang disediakan.

Mengikuti praktik terbaik keamanan, sebaiknya Anda juga mengaktifkan verifikasi identitas server pada slurmdbd klien. Untuk melakukan ini, konfigurasikan StorageParameters dislurmdbd.conf. Unggah sertifikat CA server ke node kepala cluster. Selanjutnya, atur opsi SSL_CA StorageParameters masuk slurmdbd.conf ke jalur sertifikat CA server pada node kepala. Melakukan hal ini memungkinkan verifikasi identitas server di slurmdbd samping. Setelah Anda membuat perubahan ini, mulai ulang slurmdbd layanan untuk membangun kembali konektivitas ke server database dengan verifikasi identitas diaktifkan.

Memperbarui kredenSIAL database

Untuk memperbarui nilai untuk Database/UserNameatau PasswordSecretArn, Anda harus terlebih dahulu menghentikan armada komputasi. Misalkan nilai rahasia yang disimpan dalam AWS Secrets Manager rahasia diubah dan ARN-nya tidak berubah. Dalam situasi ini, cluster tidak secara otomatis memperbarui kata sandi database ke nilai baru. Untuk memperbarui cluster untuk nilai rahasia baru, jalankan perintah berikut dari node kepala.

$ sudo /opt/parallelcluster/scripts/slurm/update_slurm_database_password.sh
Awas

Untuk menghindari kehilangan data akuntansi, kami menyarankan Anda hanya mengubah kata sandi database saat armada komputasi dihentikan.

Pemantauan database

Sebaiknya aktifkan fitur pemantauan layanan AWS database. Untuk informasi selengkapnya, lihat pemantauan Amazon RDS atau dokumentasi pemantauan Amazon Aurora.