Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Memulai pelatihan terdistribusi di Amazon SageMaker AI

Halaman berikut memberikan informasi tentang langkah-langkah yang diperlukan untuk memulai pelatihan terdistribusi di Amazon SageMaker AI. Jika Anda sudah terbiasa dengan pelatihan terdistribusi, pilih salah satu opsi berikut yang sesuai dengan strategi atau kerangka kerja pilihan Anda untuk memulai. Jika Anda ingin mempelajari tentang pelatihan terdistribusi secara umum, lihatKonsep pelatihan terdistribusi.

Perpustakaan pelatihan terdistribusi SageMaker AI dioptimalkan untuk lingkungan SageMaker pelatihan, membantu menyesuaikan pekerjaan pelatihan terdistribusi Anda dengan SageMaker AI, dan meningkatkan kecepatan dan throughput pelatihan. Perpustakaan menawarkan strategi pelatihan paralel data dan model paralel. Mereka menggabungkan teknologi perangkat lunak dan perangkat keras untuk meningkatkan komunikasi antar GPU dan antar node, dan memperluas kemampuan pelatihan SageMaker AI dengan opsi bawaan yang memerlukan perubahan kode minimal pada skrip pelatihan Anda. 

Sebelum Anda memulai

SageMaker Pelatihan mendukung pelatihan terdistribusi pada satu instans serta beberapa instans, sehingga Anda dapat menjalankan berbagai ukuran pelatihan dalam skala besar.

Kami menyarankan Anda untuk menggunakan ModelTrainer kelas dengan PyTorch dan TensorFlow di SageMaker Python SDK, yang merupakan peluncur pekerjaan pelatihan dengan berbagai opsi pelatihan terdistribusi. Saat Anda membuat ModelTrainer objek, objek menyiapkan infrastruktur pelatihan terdistribusi, menjalankan CreateTrainingJob API di backend, menemukan Wilayah tempat sesi Anda saat ini berjalan, dan menarik salah satu wadah pembelajaran AWS mendalam yang sudah dibuat sebelumnya yang dikemas dengan sejumlah pustaka termasuk kerangka kerja pembelajaran mendalam, kerangka pelatihan terdistribusi, dan driver EFA. https://docs.aws.amazon.com/AWSEC2/latest/UserGuide/efa.html Jika Anda ingin memasang sistem file FSx ke instans pelatihan, Anda harus meneruskan subnet VPC dan ID grup keamanan ke. ModelTrainer

Sebelum menjalankan pekerjaan pelatihan terdistribusi Anda di SageMaker AI, baca panduan umum berikut tentang pengaturan infrastruktur dasar.

Zona ketersediaan dan backplane jaringan

Saat menggunakan beberapa instance (juga disebut node), penting untuk memahami jaringan yang menghubungkan instance, cara mereka membaca data pelatihan, dan bagaimana mereka berbagi informasi di antara mereka sendiri. Misalnya, saat Anda menjalankan tugas pelatihan paralel data terdistribusi, sejumlah faktor, seperti komunikasi antara node cluster komputasi untuk menjalankan AllReduce operasi dan transfer data antara node dan penyimpanan data di Amazon Simple Storage Service atau Amazon FSx for Lustre, memainkan peran penting untuk mencapai penggunaan sumber daya komputasi yang optimal dan kecepatan pelatihan yang lebih cepat. Untuk mengurangi overhead komunikasi, pastikan Anda mengonfigurasi instance, subnet VPC, dan penyimpanan data di Zona Ketersediaan yang sama Wilayah AWS .

Instans GPU dengan jaringan yang lebih cepat dan penyimpanan throughput tinggi

Anda secara teknis dapat menggunakan instance apa pun untuk pelatihan terdistribusi. Untuk kasus di mana Anda perlu menjalankan tugas pelatihan terdistribusi multi-node untuk melatih model besar, seperti model bahasa besar (LLM) dan model difusi, yang memerlukan pergantian antar node lebih cepat, kami merekomendasikan instans EFA-enabled GPU yang didukung oleh AI. SageMaker Terutama, untuk mencapai pekerjaan pelatihan terdistribusi yang paling berkinerja di SageMaker AI, kami merekomendasikan instans P4d dan P4de yang dilengkapi dengan GPU NVIDIA A100. Ini juga dilengkapi dengan penyimpanan instans lokal latensi rendah throughput tinggi dan jaringan intra-node yang lebih cepat. Untuk penyimpanan data, kami merekomendasikan Amazon FSx for Lustre yang menyediakan throughput tinggi untuk menyimpan kumpulan data pelatihan dan pos pemeriksaan model.

Gunakan pustaka paralelisme data terdistribusi SageMaker AI (SMDDP)

Pustaka SMDDP meningkatkan komunikasi antar node dengan implementasi AllReduce dan operasi komunikasi AllGather kolektif yang dioptimalkan untuk infrastruktur AWS jaringan dan topologi instance Amazon SageMaker AI ML. Anda dapat menggunakan pustaka SMDDP sebagai backend paket pelatihan terdistribusi: paralel data PyTorch-based ter PyTorch distribusi (DDP), paralelisme data tersharded PyTorch penuh (FSDP),, dan. DeepSpeed Megatron-DeepSpeed Contoh kode berikut menunjukkan cara mengatur PyTorch estimator untuk meluncurkan pekerjaan pelatihan terdistribusi pada dua ml.p4d.24xlarge instance.

from sagemaker.train import ModelTrainer
from sagemaker.train.configs import Compute
from sagemaker.train.distributed import Torchrun

model_trainer = ModelTrainer(
    ...,
    compute=Compute(instance_count=2, instance_type="ml.p4d.24xlarge"),
    # Activate distributed training with SMDDP
    distributed=Torchrun()
)

Untuk mempelajari cara menyiapkan skrip pelatihan Anda dan meluncurkan pekerjaan pelatihan paralel data terdistribusi di SageMaker AI, lihatJalankan pelatihan terdistribusi dengan perpustakaan paralelisme data terdistribusi SageMaker AI.

Gunakan perpustakaan paralelisme model SageMaker AI (SMP)

SageMaker AI menyediakan pustaka SMP dan mendukung berbagai teknik pelatihan terdistribusi, seperti paralelisme data sharded, pipelining, paralelisme tensor, sharding status pengoptimal, dan banyak lagi. Untuk mempelajari lebih lanjut tentang apa yang ditawarkan perpustakaan SMP, lihatFitur Inti dari Perpustakaan Paralelisme SageMaker Model.

Untuk menggunakan perpustakaan paralelisme model SageMaker AI, konfigurasikan distribution parameter estimator kerangka kerja SageMaker AI.

ModelTrainer Kelas mendukung PyTorch dan TensorFlow. Contoh kode berikut menunjukkan bagaimana membangun pelatihan terdistribusi ModelTrainer dengan pustaka paralelisme model pada dua ml.p4d.24xlarge contoh.

from sagemaker.train import ModelTrainer
from sagemaker.train.configs import Compute
from sagemaker.train.distributed import Torchrun

model_trainer = ModelTrainer(
    ...,
    compute=Compute(instance_count=2, instance_type="ml.p4d.24xlarge"),
    distributed=Torchrun()
)

Untuk mempelajari cara mengadaptasi skrip pelatihan Anda, mengonfigurasi parameter distribusi di estimator kelas, dan meluncurkan pekerjaan pelatihan terdistribusi, lihat pustaka paralelisme model SageMaker AI (lihat juga API Pelatihan Terdistribusi dalam dokumentasi SageMaker Python SDK).

Gunakan kerangka pelatihan terdistribusi sumber terbuka

SageMaker AI juga mendukung opsi berikut untuk beroperasi mpirun dan torchrun di backend.