Kustomisasi Amazon Nova aktif SageMaker HyperPod - Amazon Nova

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Kustomisasi Amazon Nova aktif SageMaker HyperPod

Anda dapat menyesuaikan model Amazon Nova, termasuk model Nova 2.0 yang disempurnakan, menggunakan resep Amazon Nova dan melatihnya di Hyperpod. Resep adalah file konfigurasi YAMM yang memberikan detail ke SageMaker AI tentang cara menjalankan pekerjaan penyesuaian model Anda. SageMaker HyperPod mendukung dua jenis layanan: Forge dan Non-Forge.

Hyperpod menawarkan komputasi berkinerja tinggi dengan instans GPU yang dioptimalkan dan FSx Amazon untuk penyimpanan Lustre, pemantauan yang kuat melalui integrasi dengan alat TensorBoard seperti, manajemen pos pemeriksaan yang fleksibel untuk peningkatan berulang, penyebaran tanpa batas ke Amazon Bedrock untuk inferensi, dan pelatihan terdistribusi multi-node yang efisien yang dapat diskalakan - semuanya bekerja sama untuk menyediakan organisasi dengan lingkungan yang aman, berkinerja, dan fleksibel untuk menyesuaikan model Nova dengan kebutuhan bisnis spesifik mereka.

Kustomisasi Amazon Nova pada artefak model SageMaker HyperPod toko termasuk pos pemeriksaan model dalam bucket Amazon S3 yang dikelola layanan. Artefak dalam bucket yang dikelola layanan dienkripsi dengan kunci yang dikelola AI. SageMaker AWS KMS Bucket Amazon S3 yang dikelola layanan saat ini tidak mendukung enkripsi data menggunakan kunci KMS yang dikelola pelanggan. Anda dapat menggunakan lokasi pos pemeriksaan ini untuk pekerjaan evaluasi atau inferensi Amazon Bedrock.

Harga standar dapat berlaku untuk instans komputasi, penyimpanan Amazon S3, dan untuk Lustre. FSx Untuk detail harga, lihat Harga Hyperpod, harga Amazon S3, FSx dan untuk harga Lustre.

Persyaratan komputasi untuk model Amazon Nova 1

Tabel berikut merangkum persyaratan komputasi untuk dan pelatihan pekerjaan pelatihan SageMaker AI untuk model Nova 1.0.

Pra-pelatihan

Model

Panjang urutan

Node

Instans

Akselerator

Amazon Nova Mikro

8,192

8

ml.p5.48xbesar

GPU H100

Amazon Nova Lite

8,192

16

ml.p5.48xbesar

GPU H100

Amazon Nova Pro

8,192

12

ml.p5.48xbesar

GPU H100

Optimalisasi preferensi langsung (DPO)

Model

Panjang urutan

Jumlah node

Instans

Akselerator

Optimasi Preferensi Langsung (Penuh)

32,768

2, 4, atau 6

ml.p5.48xbesar

GPU H100

Optimasi Preferensi Langsung (LoRa)

32,768

2, 4, atau 6

ml.p5.48xbesar

GPU H100

Penyetelan halus

Model

Teknik

Panjang urutan

Jumlah node

Instans

Akselerator

Amazon Nova 1 Mikro

Fine-Tuning yang Diawasi (LoRa)

65,536

2

ml.p5.48xbesar

GPU H100

Amazon Nova 1 Mikro

Fine-Tuning yang Diawasi (Lengkap)

65,536

2

ml.p5.48xbesar

GPU H100

Amazon Nova 1 Lite

Fine-Tuning yang Diawasi (LoRa)

32,768

4

ml.p5.48xbesar

GPU H100

Amazon Nova 1 Lite

Fine-Tuning yang Diawasi (Lengkap)

65,536

4

ml.p5.48xbesar

GPU H100

Amazon Nova 1 Pro

Fine-Tuning yang Diawasi (LoRa)

65,536

6

ml.p5.48xbesar

GPU H100

Amazon Nova 1 Pro

Fine-Tuning yang Diawasi (Lengkap)

65,536

6

ml.p5.48xbesar

GPU H100

Distilasi

Model

Node

Instans

Model Distilasi untuk Pasca Pelatihan

1

ml.r5.24xlarge

Evaluasi

Model

Panjang urutan

Node

Instans

Akselerator

Resep Benchmark Teks Umum

8,192

1

ml.p5.48xbesar

GPU H100

Bawa Resep benchmark dataset (gen_qa) Anda sendiri

8,192

1

ml.p5.48xbesar

GPU H100

Amazon Nova LLM sebagai Resep Hakim

8,192

1

ml.p5.48xbesar

GPU H100

Tolok Ukur Teks Standar

8,192

1

ml.p5.48xbesar

GPU H100

Evaluasi Dataset Kustom

8,192

1

ml.p5.48xbesar

GPU H100

Tolok Ukur Multi-Modal

8,192

1

ml.p5.48xbesar

GPU H100

Optimalisasi kebijakan proksimal

Model

Hitungan Contoh Model Kritikus

Hitungan Instans Model Hadiah

Hitungan Instance Model Jangkar

Kereta Aktor

Generasi Aktor

Jumlah Instance

Total Jam Per Lari

Jam P5

Tipe Instans

Amazon Nova Mikro

1

1

1

2

2

7

8

56

ml.p5.48xbesar

Amazon Nova Lite

1

1

1

2

2

7

16

112

ml.p5.48xbesar

Amazon Nova Pro

1

1

1

6

2

11

26

260

ml.p5.48xbesar