Blok Kapasitas untuk ML - Amazon Elastic Compute Cloud
Platform yang didukungPertimbanganSumber daya terkait

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Blok Kapasitas untuk ML

Capacity Blocks for ML memungkinkan Anda untuk memesan instans komputasi akselerasi berbasis GPU di masa mendatang untuk mendukung beban kerja machine learning (ML) berdurasi pendek Anda. Instans yang berjalan di dalam Blok Kapasitas secara otomatis ditempatkan berdekatan di dalam Amazon EC2 UltraClusters, untuk jaringan latensi rendah, skala petabit, dan non-pemblokiran.

Anda juga dapat menggunakan Blok Kapasitas untuk menyimpan kapasitas untuk Amazon EC2 UltraServers. UltraServers sambungkan beberapa EC2 instans Amazon dalam interkoneksi akselerator bandwidth tinggi latensi rendah. Anda dapat menggunakannya UltraServers untuk menangani AI/ML beban kerja komputasi dan memori yang paling intensif dalam pelatihan, fine-tuning, dan inferensi. Untuk informasi selengkapnya, lihat Amazon EC2 UltraServers.

Dengan Blok Kapasitas, Anda dapat melihat kapan kapasitas instans GPU tersedia di masa mendatang, dan Anda dapat menjadwalkan Blok Kapasitas untuk memulai pada waktu yang paling sesuai untuk Anda. Saat Anda memesan Blok Kapasitas, Anda mendapatkan jaminan kapasitas yang dapat diprediksi untuk instans GPU dengan membayar jumlah waktu yang Anda butuhkan saja. Kami merekomendasikan Blok Kapasitas saat Anda GPUs perlu mendukung beban kerja ML Anda selama berhari-hari atau berminggu-minggu dan tidak ingin membayar reservasi saat instans GPU Anda tidak digunakan.

Berikut ini adalah beberapa kasus penggunaan umum untuk Blok Kapasitas.

  • Pelatihan model ML dan fine-tuning — Dapatkan akses tanpa gangguan ke instans GPU yang Anda pesan untuk menyelesaikan pelatihan model dan fine-tuning.

  • Eksperimen dan prototipe ML — Jalankan eksperimen dan bangun prototipe yang memerlukan instans GPU untuk jangka waktu pendek.

Anda dapat memesan Blok Kapasitas dengan spesifikasi sebagai berikut:

  • Pesan waktu mulai hingga 8 minggu sebelumnya

  • Tetapkan durasi reservasi satu hingga 14 hari atau kelipatan 7 hari, hingga 182 hari (Contoh: 21 hari, 28 hari)

  • Konfigurasikan hingga 64 instans per Blok Kapasitas

  • Konfigurasikan hingga 256 instans di beberapa Blok Kapasitas

Untuk Amazon EC2 UltraServers, masing-masing UltraServer sesuai dengan satu Blok Kapasitas. Anda dapat meminta beberapa UltraServers melalui satu permintaan.

Anda dapat menggunakan Blok Kapasitas untuk memesanp6-b200,p5,p5e,p5en,p4d,p4de,trn1, dan trn2 instance. Anda dapat membeli UltraServer jenis berikut melalui Blok Kapasitas: P6e-GB200 dan Trn2 (dalam pratinjau).

Untuk memesan Blok Kapasitas, Anda mulai dengan menentukan kebutuhan kapasitas Anda, termasuk jenis atau UltraServer jenis instans, jumlah instans atau UltraServers, jumlah waktu, tanggal mulai paling awal, dan tanggal akhir terbaru yang Anda butuhkan. Kemudian, Anda dapat melihat penawaran Blok Kapasitas yang tersedia yang memenuhi spesifikasi Anda. Penawaran Blok Kapasitas mencakup detail seperti waktu mulai, Zona Ketersediaan, dan harga reservasi. Harga penawaran Blok Kapasitas tergantung pada penawaran dan permintaan yang tersedia pada saat penawaran dikirimkan. Setelah Anda memesan Blok Kapasitas, harga tidak berubah. Untuk informasi selengkapnya, lihat Harga dan penagihan Blok Kapasitas.

Saat Anda membeli penawaran Blok Kapasitas, reservasi dibuat sesuai tanggal dan jumlah instans yang Anda pilih. Saat reservasi Blok Kapasitas dimulai, Anda dapat menargetkan peluncuran instans dengan menentukan ID reservasi dalam permintaan peluncuran.

Anda dapat menggunakan semua instans yang Anda pesan hingga 30 menit (misalnya jenis) atau 60 menit (untuk UltraServer jenis) sebelum waktu akhir Blok Kapasitas. Dengan 30 menit (misalnya jenis) atau 60 menit (untuk UltraServer tipe) tersisa di reservasi Blok Kapasitas Anda, kami mulai menghentikan semua instance yang berjalan di Blok Kapasitas. Kami menggunakan waktu ini untuk membersihkan instans Anda sebelum mengirimkan Blok Kapasitas ke pelanggan berikutnya. Kami memancarkan acara melalui EventBridge 10 menit sebelum proses penghentian dimulai. Untuk informasi selengkapnya, lihat Monitor Blok Kapasitas menggunakan EventBridge.

Topik

Platform yang didukung

Blok Kapasitas untuk L saat ini mendukung instance dan hanya UltraServers dengan penyewaan default. Saat Anda menggunakan AWS Management Console untuk membeli Blok Kapasitas, opsi platform default adalah Linux/UNIX. Saat Anda menggunakan AWS Command Line Interface (AWS CLI) atau AWS SDK untuk membeli Blok Kapasitas, opsi platform berikut tersedia:

  • Linux/UNIX

  • Linux Red Hat Enterprise

  • RHEL dengan HA

  • SUSE Linux

  • Ubuntu Pro

Pertimbangan

Sebelum Anda menggunakan Blok Kapasitas, pertimbangkan detail dan batasan berikut.

  • Jika kami mendeteksi gangguan yang berdampak pada Blok UltraServer Kapasitas, kami akan memberi tahu Anda tetapi umumnya tidak akan mengambil tindakan untuk menghentikan instans Anda di Blok Kapasitas. Ini untuk meminimalkan gangguan yang tidak disengaja pada beban kerja Anda. Anda dapat terus menggunakan Blok UltraServer Kapasitas sebagaimana adanya setelah menerima pemberitahuan ini atau meminta perbaikan dengan menghentikan semua instance pada blok kapasitas dan mengirimkan kasus dukungan. AWS Setelah kami menerima kasus dukungan Anda, kami akan memberi tahu Anda ketika kami telah menyelesaikan remediasi dan Anda dapat meluncurkan kembali instans ke Blok Kapasitas Anda. UltraServer

  • Untuk Blok P6e-GB200 UltraServer Kapasitas, Anda harus menghentikan instans Anda setidaknya 60 menit sebelum waktu akhir Blok Kapasitas.

  • Untuk menggunakan Blok P6e-GB200 UltraServer Kapasitas, Anda harus memilih ke Zona Lokal Zona Lokal Dallas (Virginia N.).

  • Setiap Blok Kapasitas dapat memiliki hingga 64 instans, dan Anda dapat memiliki hingga 256 instans di seluruh Blok Kapasitas.

  • Anda dapat menjelaskan penawaran Blok Kapasitas yang dapat dimulai segera setelah 30 menit.

  • Blok Kapasitas berakhir pada 11:30 Waktu Universal Terkoordinasi (UTC).

  • Proses pengakhiran untuk instans yang berjalan di Blok Kapasitas dimulai pada pukul 11:00 Waktu Universal Terkoordinasi (UTC) pada hari terakhir reservasi.

  • Blok Kapasitas dapat dipesan dengan waktu mulai hingga 8 minggu di masa mendatang.

  • Pembatalan Blok Kapasitas tidak diizinkan.

  • Blok Kapasitas tidak dapat dipindahkan atau dipecah.

  • Blok Kapasitas tidak dapat dibagikan di seluruh AWS akun atau di dalam AWS Organisasi Anda.

  • Hanya Blok UltraServer Kapasitas yang dapat digunakan dengan grup sumber daya. Blok Kapasitas Instance tidak dapat digunakan dengan grup sumber daya. Untuk informasi selengkapnya, lihat Buat grup sumber daya untuk Blok UltraServer Kapasitas.

  • Jumlah total instans yang dapat dicadangkan di Blok Kapasitas di semua akun di AWS Organisasi Anda tidak dapat melebihi 256 instans pada tanggal tertentu.

  • Untuk menggunakan Blok Kapasitas, instans harus secara khusus menargetkan ID reservasi.

  • Instans dalam Blok Kapasitas tidak diperhitungkan dalam batas Instans Sesuai Permintaan Anda.

  • Untuk instans P5 yang menggunakan AMI kustom, pastikan Anda memiliki perangkat lunak dan konfigurasi yang diperlukan untuk EFA.

  • Untuk grup node terkelola Amazon EKS, lihat Membuat grup node terkelola dengan Amazon EC2 Capacity Blocks for ML. Untuk grup node yang dikelola sendiri Amazon EKS, lihat Menggunakan Blok Kapasitas untuk MLdengan node yang dikelola sendiri.

Setelah Anda membuat Blok Kapasitas, Anda dapat melakukan hal berikut dengan Blok Kapasitas:

Untuk informasi lebih lanjut tentang AWS ParallelCluster, lihat Apa itu AWS ParallelCluster.

catatan

Ukuran Blok Kapasitas 64 instans tidak didukung untuk semua jenis instans secara keseluruhan Wilayah AWS.