Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.
Kompatibilitas dengan pustaka SMDDP yang dioptimalkan untuk AWS infrastruktur
Anda dapat menggunakan pustaka paralelisme SageMaker model v2 (SMP v2) bersama dengan pustaka paralelisme data ter SageMaker distribusi (SMDDP) yang menawarkan operasi komunikasi kolektif yang dioptimalkan untuk infrastruktur. AllGather AWS Dalam pelatihan terdistribusi, operasi komunikasi kolektif dirancang untuk menyinkronkan beberapa pekerja GPU dan bertukar informasi di antara mereka. AllGatheradalah salah satu operasi komunikasi kolektif inti yang biasanya digunakan dalam paralelisme data sharded. Untuk mempelajari lebih lanjut tentang operasi SMDDP, lihat Meng Operasi kolektif SMDDP AllGather optimalkan AllGather operasi komunikasi kolektif semacam itu akan secara langsung berkontribusi pada pelatihan ujung ke ujung yang lebih cepat tanpa efek samping pada konvergensi.
catatan
Pustaka SMDDP mendukung instans P4 dan P4de (lihat juga Kerangka kerja yang didukung, Wilayah AWS, dan jenis instance oleh pustaka SMDDP).
Pustaka SMDDP terintegrasi secara native dengan PyTorch melalui lapisan grup proses.
Untuk mengaktifkan SMDDP dan menggunakan AllGather operasinya, Anda perlu menambahkan dua baris kode ke skrip pelatihan Anda sebagai bagian dari. Langkah 1: Sesuaikan skrip pelatihan PyTorch FSDP Anda Perhatikan bahwa Anda perlu menginisialisasi PyTorch Distributed dengan backend SMDDP terlebih dahulu, dan kemudian menjalankan inisialisasi SMP.
import torch.distributed as dist # Initialize with SMDDP import smdistributed.dataparallel.torch.torch_smddp dist.init_process_group(backend="smddp") # Replacing "nccl" # Initialize with SMP import torch.sagemaker as tsm tsm.init()
SageMaker Framework Container
