Membuat grup node komputasi di AWS PCS - AWS PCS
PrasyaratBuat grup node komputasi di AWS PCS

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Membuat grup node komputasi di AWS PCS

Topik ini memberikan ikhtisar opsi yang tersedia dan menjelaskan apa yang harus dipertimbangkan saat Anda membuat grup node komputasi di AWS Parallel Computing Service (AWS PCS). Jika ini adalah pertama kalinya Anda membuat grup node komputasi di AWS PCS, kami sarankan Anda mengikuti tutorial diMemulai Layanan Komputasi AWS Paralel. Tutorial ini dapat membantu Anda membuat sistem HPC yang berfungsi tanpa memperluas ke semua opsi yang tersedia dan arsitektur sistem yang dimungkinkan.

catatan

Anda dapat mengonfigurasi pengaturan Slurm khusus pada grup node komputasi untuk mengontrol pemanfaatan sumber daya dan perilaku tingkat simpul. Untuk informasi selengkapnya, lihat Mengkonfigurasi pengaturan Slurm kustom di PCS AWS.

penting

AWS PCS saat ini membutuhkan kernel dengan IPv4 dukungan untuk komunikasi node lokal, bahkan ketika Anda menggunakan AWS PCS dalam jaringan IPv6 -only. Untuk informasi selengkapnya, lihat Gambar Mesin Amazon Kustom (AMIs) untuk AWS PCS.

Prasyarat

  • Kuota layanan yang memadai untuk meluncurkan jumlah EC2 instans yang diinginkan di Anda. Wilayah AWS Anda dapat menggunakan AWS Management Consoleuntuk memeriksa dan meminta kenaikan kuota layanan Anda.

  • VPC dan subnet yang sudah ada yang memenuhi persyaratan jaringan AWS PCS. Kami menyarankan agar Anda benar-benar memahami persyaratan ini sebelum Anda menerapkan klaster untuk penggunaan produksi. Untuk informasi selengkapnya, lihat AWS PCS VPC dan persyaratan subnet dan pertimbangan. Anda juga dapat menggunakan CloudFormation template untuk membuat VPC dan subnet. AWS menyediakan resep HPC untuk CloudFormation template. Untuk informasi lebih lanjut, lihat aws-hpc-recipesdi GitHub.

  • Profil instans IAM dengan izin untuk memanggil tindakan AWS PCS RegisterComputeNodeGroupInstance API dan akses ke AWS sumber daya lain yang diperlukan untuk instance grup node Anda. Untuk informasi selengkapnya, lihat Profil instans IAM untuk Layanan Komputasi AWS Paralel.

  • Template peluncuran untuk instance grup node Anda. Untuk informasi selengkapnya, lihat Menggunakan template EC2 peluncuran Amazon dengan AWS PCS.

  • Untuk membuat grup node komputasi yang menggunakan instans Amazon EC2 Spot, Anda harus memiliki peran terkait layanan AWSServiceRoleForEC2Spot di situs Anda. Akun AWS Untuk informasi selengkapnya, lihat Peran Amazon EC2 Spot untuk AWS PCS.

Buat grup node komputasi di AWS PCS

Anda dapat membuat grup node komputasi menggunakan AWS Management Console atau. AWS CLI

AWS Management Console
Untuk membuat grup node komputasi menggunakan konsol

  1. Buka konsol AWS PCS.

  2. Pilih cluster tempat Anda ingin membuat grup node komputasi. Arahkan ke Compute node groups dan pilih Create.

  3. Di bagian pengaturan grup node komputasi, berikan nama untuk grup node Anda. Nama hanya dapat berisi karakter alfanumerik peka huruf besar/kecil dan tanda hubung. Itu harus dimulai dengan karakter alfabet dan tidak boleh lebih dari 25 karakter. Nama harus unik di dalam cluster.

  4. Di bawah konfigurasi Komputasi, masukkan atau pilih nilai-nilai ini:

    1. EC2 template peluncuran - Pilih template peluncuran kustom untuk digunakan untuk grup node ini. Template peluncuran dapat digunakan untuk menyesuaikan pengaturan jaringan seperti subnet, dan grup keamanan, konfigurasi pemantauan, dan penyimpanan tingkat instance. Jika Anda belum menyiapkan template peluncuran, lihat Menggunakan template EC2 peluncuran Amazon dengan AWS PCS untuk mempelajari cara membuatnya.

      penting

      AWS PCS membuat template peluncuran terkelola untuk setiap grup node komputasi. Ini dinamaipcs-identifier-do-not-delete. Jangan pilih ini saat Anda membuat atau memperbarui grup node komputasi, atau grup node tidak akan berfungsi dengan benar.

    2. EC2 meluncurkan versi template - Anda harus memilih versi template peluncuran kustom Anda. Jika Anda mengubah versi nanti, Anda harus memperbarui grup node komputasi untuk mendeteksi perubahan dalam template peluncuran. Untuk informasi selengkapnya, lihat Memperbarui grup node komputasi AWS PCS.

    3. ID AMI — jika template peluncuran Anda tidak menyertakan ID AMI, atau jika Anda ingin mengganti nilai dalam template peluncuran, berikan ID AMI di sini. Perhatikan bahwa AMI yang digunakan untuk grup node harus kompatibel dengan AWS PCS. Anda juga dapat memilih sampel AMI yang disediakan oleh AWS. Untuk informasi lebih lanjut tentang topik ini, lihatGambar Mesin Amazon (AMIs) untuk AWS PCS.

    4. Profil instans IAM - Pilih profil instance untuk grup simpul. Profil instans memberikan izin instans untuk mengakses AWS sumber daya dan layanan dengan aman. Jika Anda belum menyiapkannya, Anda dapat memilih Buat profil dasar agar AWS PCS membuatnya untuk Anda dengan kebijakan minimum, atau lihatProfil instans IAM untuk Layanan Komputasi AWS Paralel.

    5. Subnet — Pilih satu atau beberapa subnet di VPC tempat cluster AWS PCS Anda digunakan. Jika Anda memilih beberapa subnet, komunikasi EFA tidak akan tersedia di antara node, dan komunikasi antar node dalam subnet yang berbeda mungkin telah meningkatkan latensi. Pastikan subnet yang Anda tentukan di sini cocok dengan apa pun yang Anda tentukan dalam template EC2 peluncuran.

    6. Instance — Pilih satu atau beberapa jenis instance untuk memenuhi permintaan penskalaan dalam grup node. Semua tipe instance harus memiliki arsitektur prosesor yang sama (x86_64 atau arm64) dan jumlah v. CPUs Jika instance memiliki GPUs, semua jenis instance harus memiliki jumlah yang sama. GPUs

    7. Konfigurasi penskalaan - Tentukan jumlah instance minimum dan maksimum untuk grup node. Anda dapat menentukan konfigurasi statis, di mana ada sejumlah node tetap yang berjalan, atau konfigurasi dinamis, di mana hingga jumlah maksimum node dapat berjalan. Untuk konfigurasi statis, atur minimum dan maksimum ke angka yang sama, lebih besar dari angka nol. Untuk konfigurasi dinamis, atur instance minimum ke nol dan instance maksimum ke angka yang lebih besar dari nol. AWS PCS tidak mendukung grup node komputasi dengan campuran instance statis dan dinamis.

  5. (Opsional) Di bawah Pengaturan tambahan, tentukan yang berikut ini:

    1. Opsi pembelian — pilih Instans Sesuai Permintaan, Instans Spot, atau Blok Kapasitas yang ada. Juga pilih On-Demand jika Anda berencana untuk menggunakan On-Demand Capacity Reservation (ODCR). Untuk informasi selengkapnya, lihat Menggunakan ODCRs dengan AWS PCS. Pilih Blok Kapasitas untuk menggunakan Blok EC2 Kapasitas Amazon yang ada untuk reservasi ML. Untuk informasi selengkapnya, lihat Menggunakan Blok EC2 Kapasitas Amazon untuk ML dengan AWS PCS.

    2. Strategi alokasi — jika Anda telah memilih opsi pembelian Spot, Anda dapat menentukan bagaimana kumpulan kapasitas Spot dipilih saat meluncurkan instance di grup node. Untuk informasi selengkapnya, lihat Strategi alokasi untuk Instans Spot di Panduan Pengguna Amazon Elastic Compute Cloud. Opsi ini tidak berpengaruh jika Anda telah memilih opsi Pembelian sesuai permintaan.

  6. (Opsional) Di bagian pengaturan Slurm khusus, Anda dapat menambahkan nama parameter dan pasangan nilai untuk mengonfigurasi pengaturan Slurm tambahan. Untuk daftar lengkap parameter yang didukung, lihatPengaturan Slurm khusus untuk grup node komputasi AWS PCS.

  7. (Opsional) Di bawah Tag, tambahkan tag apa pun ke grup node komputasi Anda.

  8. Pilih Buat grup node komputasi. Bidang Status menunjukkan Creating sementara AWS PCS menyediakan grup node. Ini dapat memakan waktu beberapa menit.

Direkomendasikan langkah selanjutnya

  • Tambahkan grup node Anda ke antrian di AWS PCS untuk memungkinkannya memproses pekerjaan.

AWS CLI
Untuk membuat grup node komputasi Anda menggunakan AWS CLI

Buat antrian Anda dengan perintah berikut. Sebelum menjalankan perintah, buat penggantian berikut:

  1. Ganti region dengan ID Wilayah AWS untuk membuat cluster Anda, sepertius-east-1.

  2. Ganti my-cluster dengan nama atau clusterId klaster Anda.

  3. Ganti my-node-group dengan nama untuk grup node komputasi Anda. Nama hanya dapat berisi karakter alfanumerik (peka huruf besar/kecil) dan tanda hubung. Itu harus dimulai dengan karakter alfabet dan tidak boleh lebih dari 25 karakter. Nama harus unik di dalam cluster.

  4. Ganti subnet-ExampleID1 dengan satu atau lebih subnet IDs dari VPC cluster Anda.

  5. Ganti lt-ExampleID1 dengan ID untuk template peluncuran kustom Anda. Jika Anda belum menyiapkannya, lihat Menggunakan template EC2 peluncuran Amazon dengan AWS PCS untuk mempelajari cara membuatnya.

    penting

    AWS PCS membuat template peluncuran terkelola untuk setiap grup node komputasi. Ini dinamaipcs-identifier-do-not-delete. Jangan pilih ini saat Anda membuat atau memperbarui grup node komputasi, atau grup node tidak akan berfungsi dengan benar.

  6. Ganti launch-template-version dengan versi template peluncuran tertentu. AWS PCS mengaitkan grup node Anda dengan versi spesifik dari template peluncuran.

  7. Ganti arn:InstanceProfile dengan ARN profil instans IAM Anda. Jika Anda belum mempersiapkannya, lihat Menggunakan template EC2 peluncuran Amazon dengan AWS PCS bimbingan.

  8. Ganti min-instances dan max-instances dengan nilai integer. Anda dapat menentukan konfigurasi statis, di mana ada sejumlah node tetap yang berjalan, atau konfigurasi dinamis, di mana hingga jumlah maksimum node dapat berjalan. Untuk konfigurasi statis, atur minimum dan maksimum ke angka yang sama, lebih besar dari angka nol. Untuk konfigurasi dinamis, atur instance minimum ke nol dan instance maksimum ke angka yang lebih besar dari nol. AWS PCS tidak mendukung grup node komputasi dengan campuran instance statis dan dinamis.

  9. Ganti t3.large dengan tipe instance lain. Anda dapat menambahkan lebih banyak jenis instance dengan menentukan daftar instanceType pengaturan. Misalnya, --instance-configs instanceType=c6i.16xlarge instanceType=c6a.16xlarge. Semua tipe instance harus memiliki arsitektur prosesor yang sama (x86_64 atau arm64) dan jumlah v. CPUs Jika instance memiliki GPUs, semua jenis instance harus memiliki jumlah yang sama. GPUs

aws pcs create-compute-node-group --region region \
    --cluster-identifier my-cluster \
    --compute-node-group-name my-node-group \
    --subnet-ids subnet-ExampleID1 \
    --custom-launch-template id=lt-ExampleID1,version='launch-template-version' \
    --iam-instance-profile-arn=arn:InstanceProfile \
    --scaling-config minInstanceCount=min-instances,maxInstanceCount=max-instance \
    --instance-configs instanceType=t3.large
contoh — Membuat grup node komputasi dengan pengaturan Slurm kustom
aws pcs create-compute-node-group --region region \
    --cluster-identifier my-cluster \
    --compute-node-group-name my-node-group \
    --subnet-ids subnet-ExampleID1 \
    --custom-launch-template id=lt-ExampleID1,version='launch-template-version' \
    --iam-instance-profile-arn=arn:InstanceProfile \
    --scaling-config minInstanceCount=min-instances,maxInstanceCount=max-instance \
    --instance-configs instanceType=t3.large \
    --slurm-configuration \
    'slurmCustomSettings=[{parameterName=Features,parameterValue="gpu,nvme"}]'

Untuk informasi selengkapnya, lihat Pengaturan Slurm khusus untuk grup node komputasi AWS PCS.

Ada beberapa pengaturan konfigurasi opsional yang dapat Anda tambahkan ke create-compute-node-group perintah.

  • Anda dapat menentukan --amiId apakah templat peluncuran kustom Anda tidak menyertakan referensi ke AMI, atau jika Anda ingin mengganti nilai tersebut. Perhatikan bahwa AMI yang digunakan untuk grup node harus kompatibel dengan AWS PCS. Anda juga dapat memilih sampel AMI yang disediakan oleh AWS. Untuk informasi lebih lanjut tentang topik ini, lihatGambar Mesin Amazon (AMIs) untuk AWS PCS.

  • Gunakan --purchase-option untuk memilih cara AWS PCS membeli EC2 instance untuk grup node komputasi Anda. On-Demand adalah default.

    • ONDEMAND— Gunakan Instans Sesuai Permintaan. Pilih juga opsi ini jika Anda berencana untuk menggunakan Reservasi Kapasitas Sesuai Permintaan (ODCR). Untuk informasi selengkapnya, lihat Menggunakan ODCRs dengan AWS PCS.

    • SPOT— Gunakan Instans Spot. Jika Anda memilih instans Spot, Anda juga dapat menggunakan --allocation-strategy untuk menentukan bagaimana AWS PCS memilih kumpulan kapasitas Spot saat meluncurkan instance di grup node. Untuk informasi selengkapnya, lihat Strategi alokasi untuk Instans Spot di Panduan Pengguna Amazon Elastic Compute Cloud.

    • CAPACITY_BLOCK— Gunakan Blok EC2 Kapasitas Amazon yang ada untuk reservasi ML. Untuk informasi selengkapnya, lihat Menggunakan Blok EC2 Kapasitas Amazon untuk ML dengan AWS PCS.

  • Dimungkinkan untuk memberikan opsi Slurm konfigurasi untuk node dalam kelompok node menggunakan--slurm-configuration. Anda dapat mengatur bobot (prioritas penjadwalan) dan memori nyata. Node dengan bobot yang lebih rendah memiliki prioritas yang lebih tinggi, dan unitnya sewenang-wenang. Untuk informasi selengkapnya, lihat Berat dalam Slurm dokumentasi. Memori nyata menetapkan ukuran (dalam GB) memori nyata pada node dalam grup node. Ini dimaksudkan untuk digunakan bersama dengan CR_CPU_Memory opsi untuk cluster di AWS PCS dalam Slurm konfigurasi Anda. Untuk informasi lebih lanjut, lihat RealMemorydi Slurm dokumentasi.

penting

Diperlukan beberapa menit untuk membuat grup node komputasi.

Anda dapat menanyakan status grup node Anda dengan perintah berikut. Anda tidak akan dapat mengaitkan grup node dengan antrian sampai statusnya tercapaiACTIVE.

aws pcs get-compute-node-group --region region \
    --cluster-identifier my-cluster \
    --compute-node-group-identifier my-node-group