Catatan rilis untuk pustaka paralelisme SageMaker model

Kliping norma gradien SMP sekarang mendukung pelepasan aktivasi.

Ditambahkan dukungan untuk PyTorch v2.5.1

Dukungan CUDA yang ditingkatkan ke v12.4

Dukungan NCCL yang ditingkatkan ke v2.23.4

Perpustakaan SMDDP yang ditingkatkan ke 2.6.0

Wadah SMP Docker untuk PyTorch v2.5.1 dengan CUDA v12.4

658645717510.dkr.ecr.<us-west-2>.amazonaws.com/smdistributed-modelparallel:2.5.1-gpu-py311-cu124

Wadah SMP Enroot untuk PyTorch v2.5.1 dengan CUDA v12.4

https://sagemaker-distributed-model-parallel.s3.<us-west-2>.amazonaws.com/enroot/2.5.1-gpu-py311-cu124.sqsh

Pre-installed paket

https://sagemaker-distributed-model-parallel.s3.us-west-2.amazonaws.com/smp-v2/

menambahkan dukungan untuk SageMaker HyperPod resep.

Wadah SMP Docker untuk PyTorch v2.4.1 dengan CUDA v12.1

658645717510.dkr.ecr.<us-west-2>.smdistributed-modelparallel:2.4.1-gpu-py311-cu121

Wadah SMP Enroot untuk PyTorch v2.4.1 dengan CUDA v12.1

https://sagemaker-distributed-model-parallel.s3.<us-west-2>.amazonaws.com/enroot/2.4.1-gpu-py311-cu121.sqsh

Pre-installed paket

https://sagemaker-distributed-model-parallel.s3.us-west-2.amazonaws.com/smp-v2/

Memperbaiki ImportError masalah yang terjadi saat menggunakan skrip pelatihan lama dengan SMP v2.6.0. Ini memperbaiki ketidakcocokan mundur dengan SMP v2.6.0.

Ditambahkan DeprecationWarning untuktorch.sagemaker.distributed.fsdp.checkpoint. Modul ini akan usang dan dihapus di SMP v2.7.0. Jika saat ini Anda menggunakan torch.sagemaker.distributed.fsdp.checkpoint kode Anda, Anda harus merencanakan untuk memperbarui skrip Anda sebelum rilis SMP v2.7.0 untuk menghindari masalah di masa mendatang.

Memperbaiki masalah kompatibilitas mundur yang diidentifikasi di SMP v2.6.0. Masalah ini terkait dengan penghentian metode USE_PG_WITH_UTIL pos pemeriksaan di SMP v2.6.0, yang merusak kompatibilitas mundur dengan versi skrip pelatihan sebelumnya. Untuk mengatasi masalah ini, jalankan kembali pekerjaan PyTorch pelatihan Anda untuk mengambil wadah SMP terbaru yang dikemas dengan SMP v2.6.1.

Wadah SMP Docker untuk PyTorch v2.4.1 dengan CUDA v12.1

658645717510.dkr.ecr.<us-west-2>.amazonaws.com/smdistributed-modelparallel:2.4.1-gpu-py311-cu121

Pre-installed paket

https://sagemaker-distributed-model-parallel.s3.us-west-2.amazonaws.com/smp-v2/

Menambahkan dukungan untuk konfigurasi model LLM berikut. Anda dapat mulai menggunakan Paralelisme konteks danParalelisme tensor.

Menambahkan Paralelisme tensor dukungan untuk konfigurasi model Mixtral berikut.

Menambahkan dukungan untuk implementasi paralelisme AllGather-based konteks yang memanfaatkan kolektif AllGather komunikasi untuk mendapatkan urutan penuh tensor kunci-dan-nilai. Implementasi yang tersedia adalah p2p danall_gather. p2pImplementasi menggunakan panggilan kirim-terima peer-to-peer untuk akumulasi tensor kunci-dan-nilai (KV) selama perhitungan perhatian, berjalan secara asinkron dan memungkinkan komunikasi tumpang tindih dengan komputasi. Di sisi lain, all_gather implementasi menggunakan operasi kolektif AllGather komunikasi untuk akumulasi tensor KV. Untuk mempelajari cara menerapkan implementasi paralelisme konteks ini, lihat. Paralelisme konteks

Menambahkan dukungan untuk menyetel nilai theta Rotary Position Embedding (RoPE).

Memperbaiki bug di mana Rotary Position Embedding (RoPE) tidak diinisialisasi dengan benar selama pra-pelatihan ketika parameter tertunda diaktifkan.

Transformer Engine saat ini tidak mendukung paralelisme konteks atau FP8 dengan perhatian jendela geser diaktifkan. Dengan demikian, versi SMP dari transformer Mistral tidak mendukung paralelisme konteks atau pelatihan FP8 ketika konfigurasi jendela geser diatur ke nilai non-nol.

Diting PyTorch katkan ke v2.4.1

Meningkatkan Megatron ke v0.8.0

Meningkatkan per TransformerEngine pustakaan ke v1.10

Transformers yang ditingkatkan ke v4.44.2

Upgrade cuDNN ke v9.4.0.58

Wadah SMP Docker untuk PyTorch v2.4.1 dengan CUDA v12.1

658645717510.dkr.ecr.<us-west-2>.amazonaws.com/smdistributed-modelparallel:2.4.1-gpu-py311-cu121

Pre-installed paket

https://sagemaker-distributed-model-parallel.s3.us-west-2.amazonaws.com/smp-v2/

Menambahkan dukungan untuk pelatihan presisi campuran menggunakan format data FP8 pada instance P5 untuk model Mixtral.

Menambahkan dukungan Paralelisme konteks untuk konfigurasi model berikut.

Menambahkan dukungan untuk menyimpan pos pemeriksaan secara asinkron. Untuk mempelajari selengkapnya, lihat Pemeriksaan menggunakan SMP.

Menyelesaikan masalah yang menyebabkan kerugian awal yang tinggi secara tak terduga selama penyetelan Llama saat memuat pos pemeriksaan model yang telah dilatih sebelumnya dan menggunakan paralelisme tensor.

Untuk menggunakan checkpointing aktivasi untuk Mixtral dengan presisi campuran FP8, Anda perlu memeriksa lapisan perhatian dan ahli secara terpisah. Untuk contoh pengaturannya dengan benar, lihat contoh skrip pelatihan di repositori Contoh SageMaker AI Amazon.

Jenis penyeimbangan beban seimbang dalam konfigurasi MoE (Torch.sagemaker.moe.moe_config.moeconfig) saat ini tidak kompatibel dengan checkpointing aktivasi.

Dengan paralelisme konteks, GPT-NeoX menunjukkan regresi kinerja baik dalam pra-pelatihan maupun penyempurnaan.

Untuk inst GPT-NeoX ans P4, pemuatan bobot langsung dari model transformasi parameter tertunda yang diinisialisasi menjadi model transformator Hugging Face menyebabkan ketidakcocokan kerugian pada langkah pertama.

Meningkatkan per FlashAttention pustakaan ke v2.5.8

Meningkatkan library Transformer Engine ke v1.8

Wadah SMP Docker untuk PyTorch v2.3.1 dengan CUDA v12.1

658645717510.dkr.ecr.<region>.amazonaws.com/smdistributed-modelparallel:2.3.1-gpu-py311-cu121

Untuk daftar lengkap wilayah yang didukung, lihatWilayah AWS.

Pre-installed paket

https://sagemaker-distributed-model-parallel.s3.us-west-2.amazonaws.com/smp-v2/

Memperbaiki bug yang menyebabkan bentuk logit yang salah saat label tidak dilewatkan dalam pass maju saat menggunakan Transformer SMP.

Menambahkan dukungan untuk PyTorch v2.3.1.

Menambahkan dukungan untuk Python v3.11.

Menambahkan dukungan untuk pustaka Hugging Face Transformers v4.40.1.

Dukungan yang dihentikan untuk Python v3.10.

Dukungan dihentikan untuk versi pustaka Hugging Face Transformers sebelum v4.40.1.

Termasuk tambalan untuk beralih menyimpan tensor yang tidak diduplikasi pada peringkat yang berbeda. Untuk mempelajari lebih lanjut, lihat ut as diskusi di PyTorch GitHub repositori.

Ada masalah yang diketahui bahwa kerugian mungkin melonjak dan kemudian berlanjut pada nilai kerugian yang lebih tinggi saat menyempurnakan Llama-3 70B dengan paralelisme tensor.

Memutakhirkan pustaka SMDDP ke v2.3.0.

Memutakhirkan pustaka NCCL ke v2.21.5.

Upgrade perangkat lunak EFA ke v1.32.0.

Menghentikan pemasangan pustaka Torch Distributed Experimental (TorchDistX).

Wadah SMP Docker untuk PyTorch v2.3.1 dengan CUDA v12.1

658645717510.dkr.ecr.us-west-2.amazonaws.com/smdistributed-modelparallel:2.3.1-gpu-py311-cu121

Pre-installed paket

https://sagemaker-distributed-model-parallel.s3.us-west-2.amazonaws.com/smp-v2/

Memperbaiki ImportError masalah saat menggunakan moe_load_balancing=balanced paral Torch.sagemaker.moe.moe_config.moeconfig elisme ahli.

Memperbaiki masalah penyempurnaan KeyError saat obor.sagemaker.transform panggilan load_state_dict_from_rank0 diaktifkan.

Memperbaiki kesalahan kehabisan memori (OOM) yang muncul saat memuat model Campuran Ahli (MoE) besar, seperti Mixtral 8x22B, untuk penyetelan halus.

Wadah SMP Docker untuk PyTorch v2.2.0 dengan CUDA v12.1

658645717510.dkr.ecr.us-west-2.amazonaws.com/smdistributed-modelparallel:2.2.0-gpu-py310-cu121

Menambahkan fitur inti baru, paralelisme ahli, untuk mendukung model transformator Campuran Ahli. Untuk mempelajari selengkapnya, lihat Paralelisme ahli.

Wadah SMP Docker untuk PyTorch v2.2.0 dengan CUDA v12.1

658645717510.dkr.ecr.us-west-2.amazonaws.com/smdistributed-modelparallel:2.2.0-gpu-py310-cu121

Menambahkan dukungan untuk pelatihan FP8 dari model transformator Hugging Face berikut pada instans P5 dengan integrasi Transformer Engine:

Memperbaiki bug di mana tensor tidak dijamin bersebelahan sebelum panggilan AllGather kolektif selama pelatihan paralelisme tensor.

Menambahkan dukungan untuk PyTorch v2.2.0.

Memutakhirkan pustaka SMDDP ke v2.2.0.

Memutakhirkan FlashAttention perpustakaan ke v2.3.3.

Memutakhirkan pustaka NCCL ke v2.19.4.

Dukungan dihentikan untuk versi Transformer Engine sebelum v1.2.0.

Pelepasan aktivasiFitur SMP saat ini tidak berfungsi. Gunakan offloading PyTorch aktivasi asli sebagai gantinya.

Termasuk tambalan untuk memperbaiki regresi kinerja yang dibahas dalam utas masalah https://github.com/pytorch/pytorch/issues/117748 di PyTorch GitHub repositori.

Wadah SMP Docker untuk PyTorch v2.2.0 dengan CUDA v12.1

658645717510.dkr.ecr.us-west-2.amazonaws.com/smdistributed-modelparallel:2.2.0-gpu-py310-cu121

Menambahkan dukungan untuk PyTorch v2.1.2.

Dukungan dihentikan untuk Hugging Face Transformers v4.31.0.

Masalah ditemukan bahwa penyempurnaan model Hugging Face Llama 2 dengan attn_implementation=flash_attention_2 dan FSDP menyebabkan model menyimpang. Untuk referensi, lihat tiket masalah di GitHub repositori Hugging Face Transformers. Untuk menghindari masalah divergensi, gunakanattn_implementation=sdpa. Atau, gunakan implementasi model transformator SMP dengan mengaturuse_smp_implementation=True.

Wadah SMP Docker untuk PyTorch v2.1.2 dengan CUDA v12.1

658645717510.dkr.ecr.us-west-2.amazonaws.com/smdistributed-modelparallel:2.1.2-gpu-py310-cu121

https://sagemaker-distributed-model-parallel.s3.us-west-2.amazonaws.com/smp-v2/

torch.sagemakerPaket baru, sepenuhnya dirubah dari smdistributed.modelparallel.torch paket sebelumnya di SMP v1.x.

Dukungan untuk PyTorch 2.0.1.

Dukungan untuk PyTorch FSDP.

Implementasi paralelisme tensor dengan mengintegrasikan dengan pustaka Transformer Engine.

Dukungan untuk Pel SageMaker atihan dan SageMaker HyperPod.

SMP v2 mengubah API sepenuhnya dan menyediakan paket. torch.sagemaker Sebagian besar, Anda hanya perlu menginisialisasi dengan torch.sagemaker.init() modul dan melewati parameter konfigurasi paralel model. Dengan paket baru ini, Anda dapat secara signifikan menyederhanakan modifikasi kode dalam skrip pelatihan Anda. Untuk mempelajari lebih lanjut tentang mengadaptasi skrip pelatihan Anda untuk menggunakan SMP v2, lihatGunakan perpustakaan paralelisme SageMaker model v2.

Jika Anda telah menggunakan SMP v1 untuk melatih model Hugging Face Transformer dan ingin menggunakan kembali model di SMP v2, lihat. Tingkatkan dari SMP v1 ke SMP v2

Untuk pelatihan PyTorch FSDP, Anda harus menggunakan SMP v2.

Checkpoint aktivasi saat ini hanya berfungsi dengan kebijakan pembungkus berikut dengan FSDP.

Untuk menggunakanPelepasan aktivasi, tipe checkpoint aktivasi FSDP harus REENTRANT. https://pytorch.org/docs/stable/checkpoint.html

Saat menjalankan dengan paralel tensor diaktifkan dengan derajat paralel data sharded disetel ke1, Anda harus menggunakan. backend = nccl Opsi smddp backend tidak didukung dalam skenario ini.

Transformer Engine diperlukan untuk digunakan PyTorch dengan pustaka SMP bahkan ketika tidak menggunakan paralelisme tensor.

Mulai dari rilis ini, dokumentasi untuk pust SageMaker aka paralelisme model sepenuhnya tersedia di Panduan Pengembang SageMaker AI Amazon ini. Untuk mendukung panduan pengembang lengkap untuk SMP v2 ini di Panduan Pengembang SageMaker AI Amazon, referensi tambahan untuk SMP v1.x dalam dokumentasi SageMaker Python SDK tidak digunakan lagi. Jika Anda masih memerlukan dokumentasi untuk SMP v1.x, panduan pengembang untuk SMP v1.x tersedia di(Diarsipkan) perpustakaan SageMaker paralelisme model v1.x, dan referensi pustaka SMP Python v1.x tersedia di dokumentasi Python SDK v2.199.0. SageMaker

Dukungan dihentikan untuk TensorFlow.

Tidak ada dukungan paralelisme pipa di SMP v2.

Tidak ada dukungan untuk per DeepSpeed pustakaan yang mendukung PyTorch FSDP asli.

Wadah SMP Docker untuk PyTorch v2.0.1 dengan CUDA v12.1

658645717510.dkr.ecr.us-west-2.amazonaws.com/smdistributed-modelparallel:2.0.1-gpu-py310-cu121