Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.
Kustomisasi Amazon Nova di Amazon SageMaker HyperPod
Anda dapat menyesuaikan model Amazon Nova, termasuk model Nova 2.0 yang disempurnakan, menggunakan resep Amazon Nova dan melatihnya di Amazon SageMaker HyperPod. Resep adalah file konfigurasi YAMM yang memberikan detail ke SageMaker AI tentang cara menjalankan pekerjaan penyesuaian model Anda. Amazon SageMaker HyperPod mendukung dua jenis layanan: Forge dan Non-Forge.
Amazon SageMaker HyperPod menawarkan komputasi berkinerja tinggi dengan instans GPU yang dioptimalkan dan Amazon FSx untuk penyimpanan Lustre, pemantauan yang kuat melalui integrasi dengan alat seperti TensorBoard, manajemen pos pemeriksaan yang fleksibel untuk peningkatan berulang, penerapan tanpa batas ke Amazon Bedrock untuk inferensi, dan pelatihan terdistribusi multi-node yang efisien yang dapat diskalakan - semuanya bekerja sama untuk menyediakan organisasi dengan lingkungan yang aman, berkinerja, dan fleksibel untuk menyesuaikan model Nova dengan kebutuhan bisnis spesifik mereka.
Kustomisasi Amazon Nova di Amazon SageMaker HyperPod menyimpan artefak model termasuk pos pemeriksaan model dalam ember Amazon S3 yang dikelola layanan. Artefak dalam bucket yang dikelola layanan dienkripsi dengan kunci -managed. SageMaker AWS KMS Bucket Amazon S3 yang dikelola layanan saat ini tidak mendukung enkripsi data menggunakan kunci KMS yang dikelola pelanggan. Anda dapat menggunakan lokasi pos pemeriksaan ini untuk pekerjaan evaluasi atau inferensi Amazon Bedrock.
Harga standar dapat berlaku untuk instans komputasi, penyimpanan Amazon S3, dan untuk Lustre. FSx Untuk detail harga, lihat SageMaker HyperPodharga, harga
Persyaratan komputasi untuk model Amazon Nova 1
Tabel berikut merangkum persyaratan komputasi untuk SageMaker HyperPod dan pelatihan pekerjaan pelatihan SageMaker AI untuk model Nova 1.0.
Model |
Panjang urutan |
Node |
Instans |
Akselerator |
|---|---|---|---|---|
Amazon Nova Mikro |
8,192 |
8 |
ml.p5.48xbesar |
GPU H100 |
Amazon Nova Lite |
8,192 |
16 |
ml.p5.48xbesar |
GPU H100 |
Amazon Nova Pro |
8,192 |
12 |
ml.p5.48xbesar |
GPU H100 |
Model |
Panjang urutan |
Jumlah node |
Instans |
Akselerator |
|---|---|---|---|---|
Optimasi Preferensi Langsung (Penuh) |
32,768 |
2, 4, atau 6 |
ml.p5.48xbesar |
GPU H100 |
Optimasi Preferensi Langsung (LoRa) |
32,768 |
2, 4, atau 6 |
ml.p5.48xbesar |
GPU H100 |
Model |
Teknik |
Panjang urutan |
Jumlah node |
Instans |
Akselerator |
|---|---|---|---|---|---|
| Amazon Nova 1 Mikro |
Fine-Tuning yang Diawasi (LoRa) |
65,536 |
2 |
ml.p5.48xbesar |
GPU H100 |
| Amazon Nova 1 Mikro |
Fine-Tuning yang Diawasi (Lengkap) |
65,536 |
2 |
ml.p5.48xbesar |
GPU H100 |
| Amazon Nova 1 Lite |
Fine-Tuning yang Diawasi (LoRa) |
32,768 |
4 |
ml.p5.48xbesar |
GPU H100 |
| Amazon Nova 1 Lite |
Fine-Tuning yang Diawasi (Lengkap) |
65,536 |
4 |
ml.p5.48xbesar |
GPU H100 |
| Amazon Nova 1 Pro |
Fine-Tuning yang Diawasi (LoRa) |
65,536 |
6 |
ml.p5.48xbesar |
GPU H100 |
| Amazon Nova 1 Pro |
Fine-Tuning yang Diawasi (Lengkap) |
65,536 |
6 |
ml.p5.48xbesar |
GPU H100 |
Model |
Node |
Instans |
|---|---|---|
Model Distilasi untuk Pasca Pelatihan |
1 |
ml.r5.24xlarge |
Model |
Panjang urutan |
Node |
Instans |
Akselerator |
|---|---|---|---|---|
Resep Benchmark Teks Umum |
8,192 |
1 |
ml.p5.48xbesar |
GPU H100 |
Bawa Resep benchmark dataset (gen_qa) Anda sendiri |
8,192 |
1 |
ml.p5.48xbesar |
GPU H100 |
Amazon Nova LLM sebagai Resep Hakim |
8,192 |
1 |
ml.p5.48xbesar |
GPU H100 |
Tolok Ukur Teks Standar |
8,192 |
1 |
ml.p5.48xbesar |
GPU H100 |
Evaluasi Dataset Kustom |
8,192 |
1 |
ml.p5.48xbesar |
GPU H100 |
Tolok Ukur Multi-Modal |
8,192 |
1 |
ml.p5.48xbesar |
GPU H100 |
Model |
Hitungan Contoh Model Kritikus |
Hitungan Instans Model Hadiah |
Hitungan Instance Model Jangkar |
Kereta Aktor |
Generasi Aktor |
Jumlah Instance |
Total Jam Per Lari |
Jam P5 |
Tipe Instans |
|---|---|---|---|---|---|---|---|---|---|
Amazon Nova Mikro |
1 |
1 |
1 |
2 |
2 |
7 |
8 |
56 |
ml.p5.48xbesar |
Amazon Nova Lite |
1 |
1 |
1 |
2 |
2 |
7 |
16 |
112 |
ml.p5.48xbesar |
Amazon Nova Pro |
1 |
1 |
1 |
6 |
2 |
11 |
26 |
260 |
ml.p5.48xbesar |
Persyaratan komputasi untuk model Amazon Nova 2
Tabel berikut merangkum persyaratan komputasi untuk SageMaker HyperPod dan pelatihan pekerjaan pelatihan SageMaker AI untuk model Nova 2.
Teknik Pelatihan |
Contoh Minimum |
Tipe Instans |
Hitungan GPU |
Catatan |
|---|---|---|---|---|
SFT (LoRa) |
4 |
P5.48xBesar |
16 |
Penyetelan halus yang hemat parameter |
SFT (Peringkat Penuh) |
4 |
P5.48xBesar |
32 |
Penyetelan halus model lengkap |
RFT pada Pekerjaan Pelatihan SageMaker AI (LoRa) |
2 |
P5.48xBesar |
16 |
Fungsi Hadiah Kustom di AWS Lingkungan Anda |
RFT pada Pekerjaan Pelatihan SageMaker AI (Peringkat Penuh) |
4 |
P5.48xBesar |
32 |
Panjang konteks 32K |
RFT pada SageMaker HyperPod |
8 |
P5.48xBesar |
64 |
Panjang konteks standar 8192 |
CPT |
2 |
P5.48xBesar |
16 |
Memproses sekitar 1.25B token per hari |
