Referensi v2 pustaka paralel SageMaker model

• hybrid_shard_degree(Integer) — Menentukan derajat paralelisme terpecah-pecah. Nilai harus berupa bilangan bulat antara 0 danworld_size. Nilai default-nya adalah 0.

  • Jika diset 0 el ke, itu akan kembali ke PyTorch implementasi asli dan API dalam skrip ketika tensor_parallel_degree adalah 1. Jika tidak, ia menghitung sebanyak mungkin hybrid_shard_degree berdasarkan tensor_parallel_degree danworld_size. Ketika kembali ke kasus penggunaan PyTorch FSDP asli, jika strategi FULL_SHARD yang Anda gunakan, itu terpecah di seluruh cluster GPU. Jika HYBRID_SHARD atau _HYBRID_SHARD_ZERO2 apakah strateginya, itu setara hybrid_shard_degree dengan 8. Ketika paralelisme tensor diaktifkan, ia pecah berdasarkan revisi. hybrid_shard_degree

  • Jika diset 1 el ke, itu akan kembali ke PyTorch implementasi asli dan API untuk NO_SHARD dalam skrip kapan tensor_parallel_degree adalah 1. Jika tidak, itu setara dengan NO_SHARD dalam kelompok paralel tensor tertentu.

  • Jika disetel ke bilangan bulat antara 2 danworld_size, sharding terjadi di sejumlah GPU yang ditentukan. Jika Anda tidak mengaturnya sharding_strategy di skrip FSDP, skrip tersebut akan diganti ke. HYBRID_SHARD Jika Anda mengatur_HYBRID_SHARD_ZERO2, yang sharding_strategy Anda tentukan digunakan.

• sm_activation_offloading(Boolean) — Menentukan apakah akan mengaktifkan implementasi offloading aktivasi SMP. JikaFalse, pembongkaran menggunakan PyTorch implementasi asli. JikaTrue, ia menggunakan implementasi offloading aktivasi SMP. Anda juga perlu menggunakan PyTorch aktivasi offload wrapper (torch.distributed.algorithms._checkpoint.checkpoint_wrapper.offload_wrapper) di skrip Anda. Untuk mempelajari selengkapnya, lihat Pelepasan aktivasi. Nilai default-nya adalah True.

• activation_loading_horizon(Integer) — Bilangan bulat yang menentukan tipe horizon offloading aktivasi untuk FSDP. Ini adalah jumlah maksimum lapisan yang diperiksa atau diturunkan yang inputnya dapat berada di memori GPU secara bersamaan. Untuk mempelajari selengkapnya, lihat Pelepasan aktivasi. Nilai input harus berupa bilangan bulat positif. Nilai default-nya adalah 2.

• fsdp_cache_flush_warnings(Boolean) — Mendeteksi dan memperingatkan jika pemisahan cache terjadi di pengelola PyTorch memori, karena dapat menurunkan kinerja komputasi. Nilai default-nya adalah True.

• allow_empty_shards(Boolean) — Apakah akan mengizinkan pecahan kosong saat memecah tensor jika tensor tidak dapat dibagi. Ini adalah perbaikan eksperimental untuk crash selama checkpointing dalam skenario tertentu. Menonaktifkan ini kembali ke PyTorch perilaku aslinya. Nilai default-nya adalah False.

• tensor_parallel_degree(Integer) — Menentukan derajat paralelisme tensor. Nilainya harus antara 1 danworld_size. Nilai default-nya adalah 1. Perhatikan bahwa meneruskan nilai yang lebih besar dari 1 tidak mengaktifkan paralelisme konteks secara otomatis; Anda juga perlu menggunakan obor.sagemaker.transform API untuk membungkus model dalam skrip pelatihan Anda. Untuk mempelajari selengkapnya, lihat Paralelisme tensor.

• context_parallel_degree(Integer) — Menentukan derajat paralelisme konteks. Nilai harus antara 1 danworld_size, dan harus<= hybrid_shard_degree. Nilai default-nya adalah 1. Perhatikan bahwa meneruskan nilai yang lebih besar dari 1 tidak mengaktifkan paralelisme konteks secara otomatis; Anda juga perlu menggunakan obor.sagemaker.transform API untuk membungkus model dalam skrip pelatihan Anda. Untuk mempelajari selengkapnya, lihat Paralelisme konteks.

• expert_parallel_degree(Integer) — Menentukan tingkat paralelisme ahli. Nilai harus antara 1 danworld_size. Nilai default-nya adalah 1. Perhatikan bahwa meneruskan nilai yang lebih besar dari 1 tidak mengaktifkan paralelisme konteks secara otomatis; Anda juga perlu menggunakan obor.sagemaker.transform API untuk membungkus model dalam skrip pelatihan Anda. Untuk mempelajari selengkapnya, lihat Paralelisme ahli.

• random_seed(Integer) — Nomor benih untuk operasi acak dalam modul terdistribusi oleh paralelisme tensor SMP atau paralelisme ahli. Benih ini ditambahkan ke peringkat tensor-paralel atau ahli paralel untuk menetapkan benih aktual untuk setiap peringkat. Ini unik untuk setiap peringkat tensor-paralel dan ahli paralel. SMP v2 memastikan bahwa bilangan acak yang dihasilkan di peringkat tensor-paralel dan pakar-paralel masing-masing cocok dengan kasus paralelisme non-tensor-dan paralelisme non-ahli.

• model(nn.Module) — PyTorch Model untuk membungkus dan menerapkan fungsionalitas inisialisasi parameter tertunda dari SMP v2.

• init_method_using_config(Dapat dipanggil) - Jika Anda menggunakan implementasi paralel tensor dari SMP v2 atau didukungModel Hugging Face Transformer kompatibel dengan paralelisme tensor SMP, pertahankan parameter ini pada nilai default, yaitu. None Secara default, DelayedParamIniter API mengetahui cara menginisialisasi model yang diberikan dengan benar. Untuk model lain, Anda perlu membuat fungsi inisialisasi parameter khusus dan menambahkannya ke skrip Anda. Cuplikan kode berikut adalah init_method_using_config fungsi default yang diterapkan SMP v2 untuk. Model Hugging Face Transformer kompatibel dengan paralelisme tensor SMP Gunakan cuplikan kode berikut sebagai referensi untuk membuat fungsi konfigurasi inisialisasi Anda sendiri, menambahkannya ke skrip Anda, dan meneruskannya ke init_method_using_config parameter API SM DelayedParamIniter P.

  from torch.sagemaker.utils.module_utils import empty_module_params, move_buffers_to_device
  
  # Define a custom init config function.
  def custom_init_method_using_config(module):
      d = torch.cuda.current_device()
      empty_module_params(module, device=d)
      if isinstance(module, (nn.Linear, Conv1D)):
          module.weight.data.normal_(mean=0.0, std=config.initializer_range)
          if module.bias is not None:
              module.bias.data.zero_()
      elif isinstance(module, nn.Embedding):
          module.weight.data.normal_(mean=0.0, std=config.initializer_range)
          if module.padding_idx is not None:
              module.weight.data[module.padding_idx].zero_()
      elif isinstance(module, nn.LayerNorm):
          module.weight.data.fill_(1.0)
          module.bias.data.zero_()
      elif isinstance(module, LlamaRMSNorm):
          module.weight.data.fill_(1.0)
      move_buffers_to_device(module, device=d)
  
  delayed_initer = DelayedParamIniter(model, init_method_using_config=custom_init_method_using_config)

  Untuk informasi selengkapnya tentang torch.sagemaker.module_util fungsi dalam cuplikan kode sebelumnya, lihatfungsi dan properti util torch.sagemaker.

• verbose(Boolean) — Apakah akan mengaktifkan logging yang lebih rinci selama inisialisasi dan validasi. Nilai default-nya adalah False.

• get_param_init_fn()— Mengembalikan fungsi inisialisasi parameter yang dapat Anda lewati ke param_init_fn argumen kelas pembungkus PyTorch FSDP.

• get_post_param_init_fn()— Mengembalikan fungsi inisialisasi parameter yang dapat Anda lewati ke post_param_init_fn argumen kelas pembungkus PyTorch FSDP. Ini diperlukan ketika Anda telah mengikat beban dalam model. Model harus menerapkan metode tersebuttie_weights. Untuk informasi lebih lanjut, lihat Catatan tentang berat terikat diInisialisasi parameter tertunda.

• count_num_params(module: nn.Module, *args: Tuple[nn.Parameter]) — Melacak berapa banyak parameter yang diinisialisasi oleh fungsi inisialisasi parameter. Ini membantu menerapkan validate_params_and_buffers_inited metode berikut. Anda biasanya tidak perlu memanggil fungsi ini secara eksplisit, karena validate_params_and_buffers_inited metode secara implisit memanggil metode ini di backend.

• validate_params_and_buffers_inited(enabled: bool=True) — Ini adalah pengelola konteks yang membantu memvalidasi bahwa jumlah parameter yang diinisialisasi cocok dengan jumlah total parameter dalam model. Ini juga memvalidasi bahwa semua parameter dan buffer sekarang ada di perangkat GPU, bukan perangkat meta. Ini meningkat AssertionErrors jika kondisi ini tidak terpenuhi. Manajer konteks ini hanya opsional dan Anda tidak diharuskan menggunakan pengelola konteks ini untuk menginisialisasi parameter.

• state_dict(dict) - Diperlukan. Diktat negara untuk menabung.

• checkpoint_id(str) - Diperlukan. Jalur penyimpanan untuk menyimpan pos pemeriksaan.

• storage_writer(StorageWriter) - Opsional. Contoh StorageWriter in PyTorch untuk melakukan operasi tulis. Jika ini tidak ditentukan, konfigurasi default StorageWriter digunakan.

• planner(SavePlanner) - Opsional. Contoh SavePlanner di PyTorch. Jika ini tidak ditentukan, konfigurasi default SavePlanner digunakan.

• process_group(ProcessGroup) - Opsional. Kelompok proses untuk dikerjakan. JikaNone, grup proses default (global) digunakan.

• coordinator_rank(int) - Opsional. Pangkat koordinator saat melakukan operator komunikasi kolektif sepertiAllReduce.

• queue(AsyncRequestQueue) - Opsional. Penjadwal async yang akan digunakan. Secara default, dibutuhkan parameter globalDEFAULT_ASYNC_REQUEST_QUEUE.

• sharded_strategy(PyTorchDistSaveShardedStrategy) - Opsional. Strategi sharded yang digunakan untuk menyimpan pos pemeriksaan. Jika ini tidak ditentukan, torch.sagemaker.distributed.checkpoint.state_dict_saver.PyTorchDistSaveShardedStrategy digunakan secara default.

• wait_error_handling(bool) - Opsional. Bendera yang menentukan apakah akan menunggu semua peringkat menyelesaikan penanganan kesalahan. Nilai default-nya adalah True.

• force_check_all_plans(bool) - Opsional. Bendera yang menentukan apakah akan menyinkronkan rencana secara paksa di seluruh peringkat, bahkan dalam kasus hit cache. Nilai default-nya adalah True.

• s3_region(str) - Opsional. Wilayah tempat bucket S3 berada. Jika tidak ditentukan, wilayah tersebut disimpulkan daricheckpoint_id.

• s3client_config(S3ClientConfig) - Opsional. Kelas data yang mengekspos parameter yang dapat dikonfigurasi untuk klien S3. Jika tidak disediakan, konfigurasi default S3ClientConfig digunakan. part_sizeParameter diatur ke 64MB secara default.

• blocking(bool) - Opsional. JikaTrue, itu akan menunggu sampai semua permintaan aktif selesai. Jika tidak, itu hanya menyelesaikan permintaan asinkron yang telah selesai. Nilai default-nya adalah True.

• process_group(ProcessGroup) - Opsional. Kelompok proses untuk dioperasikan. Jika diset None el ke, grup proses default (global) digunakan.

• Daftar yang berisi indeks panggilan asinkron berhasil diselesaikan.

• state_dict(dict) - Diperlukan. Diktat negara untuk menabung.

• checkpoint_id(str) - Diperlukan. Jalur penyimpanan untuk menyimpan pos pemeriksaan.

• storage_writer(StorageWriter) - Opsional. Contoh StorageWriter in PyTorch untuk melakukan operasi tulis. Jika ini tidak ditentukan, konfigurasi default StorageWriter digunakan.

• planner(SavePlanner) - Opsional. Contoh SavePlanner di PyTorch. Jika ini tidak ditentukan, konfigurasi default SavePlanner digunakan.

• process_group(ProcessGroup) - Opsional. Kelompok proses untuk dikerjakan. JikaNone, grup proses default (global) digunakan.

• coordinator_rank(int) - Opsional. Pangkat koordinator saat melakukan operator komunikasi kolektif sepertiAllReduce.

• wait_error_handling(bool) - Opsional. Bendera yang menentukan apakah akan menunggu semua peringkat menyelesaikan penanganan kesalahan. Nilai default-nya adalah True.

• force_check_all_plans(bool) - Opsional. Bendera yang menentukan apakah akan menyinkronkan rencana secara paksa di seluruh peringkat, bahkan dalam kasus hit cache. Nilai default-nya adalah True.

• s3_region(str) - Opsional. Wilayah tempat bucket S3 berada. Jika tidak ditentukan, wilayah tersebut disimpulkan daricheckpoint_id.

• s3client_config(S3ClientConfig) - Opsional. Kelas data yang mengekspos parameter yang dapat dikonfigurasi untuk klien S3. Jika tidak disediakan, konfigurasi default S3ClientConfig digunakan. part_sizeParameter diatur ke 64MB secara default.

• state_dict(dict) - Diperlukan. Untuk state_dict memuat.

• checkpoint_id(str) - Diperlukan. ID pos pemeriksaan. Arti checkpoint_id tergantung pada penyimpanan. Ini bisa menjadi jalur ke folder atau ke file. Ini juga bisa menjadi kunci jika penyimpanan adalah penyimpanan nilai kunci.

• storage_reader(StorageReader) - Opsional. Contoh StorageReader in PyTorch untuk melakukan operasi baca. Jika tidak ditentukan, checkpointing terdistribusi akan secara otomatis menyimpulkan pembaca berdasarkan. checkpoint_id Jika checkpoint_id jugaNone, kesalahan pengecualian muncul.

• planner(StorageReader) - Opsional. Contoh LoadPlanner di PyTorch. Jika tidak ditentukan, konfigurasi default LoadPlanner digunakan.

• check_keys_matched(bool) - Opsional. Jika diaktifkan, periksa apakah state_dict kunci dari semua peringkat cocok menggunakanAllGather.

• s3_region(str) - Opsional. Wilayah tempat bucket S3 berada. Jika tidak ditentukan, wilayah tersebut disimpulkan daricheckpoint_id.

• s3client_config(S3ClientConfig) - Opsional. Kelas data yang mengekspos parameter yang dapat dikonfigurasi untuk klien S3. Jika tidak disediakan, konfigurasi default S3ClientConfig digunakan. part_sizeParameter diatur ke 64MB secara default.

• smp_moe(Boolean) - Apakah akan menggunakan MoE SMP-implementation . Nilai default-nya adalah True.

• random_seed(Integer) - Nomor benih untuk operasi acak dalam modul terdistribusi paralel ahli. Benih ini ditambahkan ke peringkat paralel ahli untuk menetapkan benih aktual untuk setiap peringkat. Ini unik untuk setiap peringkat paralel ahli. Nilai default-nya adalah 12345.

• moe_load_balancing(String) - Tentukan jenis penyeimbangan beban router MoE. Opsi yang valid adalahaux_loss,sinkhorn,balanced, dannone. Nilai default-nya adalah sinkhorn.

• global_token_shuffle(Boolean) - Apakah akan mengocokkan token di seluruh peringkat EP dalam grup EP yang sama. Nilai default-nya adalah False.

• moe_all_to_all_dispatcher(Boolean) - Apakah akan menggunakan operator all-to-all untuk komunikasi di MoE. Nilai default-nya adalah True.

• moe_aux_loss_coeff(Float) - Koefisien untuk kerugian penyeimbangan beban tambahan. Nilai default-nya adalah 0.001.

• moe_z_loss_coeff(Float) - Koefisien untuk z-loss. Nilai default-nya adalah 0.001.

• attention_dropout_prob(float) — Probabilitas putus sekolah untuk diterapkan pada perhatian. Nilai default-nya adalah 0.0.

• scale(float) — Jika dilewati, faktor skala ini diterapkan untuk softmax. Jika diset None el ke (yang juga merupakan nilai default), faktor skalanya adalah1 / sqrt(attention_head_size). Nilai default-nya adalah None.

• triton_flash_attention(bool) — Jika dilewati, implementasi perhatian flash Triton digunakan. Ini diperlukan untuk mendukung Perhatian dengan Bias Linear (ALiBi) (lihat use_alibi parameter berikut). Versi kernel ini tidak mendukung dropout. Nilai default-nya adalah False.

• use_alibi(bool) — Jika dilewatkan, ini mengaktifkan Attention with Linear Biases (ALiBi) menggunakan topeng yang disediakan. Saat menggunakan ALiBi, perlu masker perhatian yang disiapkan sebagai berikut. Nilai default-nya adalah False.

  def generate_alibi_attn_mask(attention_mask, batch_size, seq_length, 
      num_attention_heads, alibi_bias_max=8):
      device, dtype = attention_mask.device, attention_mask.dtype
      alibi_attention_mask = torch.zeros(
          1, num_attention_heads, 1, seq_length, dtype=dtype, device=device
      )
  
      alibi_bias = torch.arange(1 - seq_length, 1, dtype=dtype, device=device).view(
          1, 1, 1, seq_length
      )
      m = torch.arange(1, num_attention_heads + 1, dtype=dtype, device=device)
      m.mul_(alibi_bias_max / num_attention_heads)
      alibi_bias = alibi_bias * (1.0 / (2 ** m.view(1, num_attention_heads, 1, 1)))
  
      alibi_attention_mask.add_(alibi_bias)
      alibi_attention_mask = alibi_attention_mask[..., :seq_length, :seq_length]
      if attention_mask is not None and attention_mask.bool().any():
          alibi_attention_mask.masked_fill(
              attention_mask.bool().view(batch_size, 1, 1, seq_length), float("-inf")
          )
  
      return alibi_attention_mask

• forward(self, qkv, attn_mask=None, causal=False, cast_dtype=None, layout="b h s d")— Fungsi PyTorch modul reguler. Ketika a module(x) dipanggil, SMP menjalankan fungsi ini secara otomatis.

  • qkv— torch.Tensor dari bentuk berikut: (batch_size x seqlen x (3 x num_heads) x head_size) atau(batch_size, (3 x num_heads) x seqlen x head_size), tupel yang torch.Tensors masing-masing mungkin berbentuk(batch_size x seqlen x num_heads x head_size), atau(batch_size x num_heads x seqlen x head_size). Arg tata letak yang sesuai harus dilewatkan berdasarkan bentuknya.

  • attn_mask- torch.Tensor dari bentuk berikut(batch_size x 1 x 1 x seqlen). Untuk mengaktifkan parameter topeng perhatian ini, diperlukan triton_flash_attention=True danuse_alibi=True. Untuk mempelajari cara membuat topeng perhatian menggunakan metode ini, lihat contoh kode diFlashAttention. Nilai default-nya adalah None.

  • causal— Ketika diset False el ke, yang merupakan nilai default argumen, tidak ada topeng yang diterapkan. Saat diatur keTrue, forward metode ini menggunakan topeng segitiga bawah standar. Nilai default-nya adalah False.

  • cast_dtype— Ketika diatur ke tertentudtype, ia melemparkan qkv tensor ke yang dtype sebelumnyaattn. Ini berguna untuk implementasi seperti GPT-NeoX model Hugging Face Transformer, yang memiliki q dan k dengan penyematan putar fp32 setelah. Jika disetel keNone, tidak ada cast yang diterapkan. Nilai default-nya adalah None.

  • layout(string) — Nilai yang tersedia adalah b h s d ataub s h d. Ini harus diatur ke tata letak qkv tensor yang dilewatkan, sehingga transformasi yang sesuai dapat diterapkan. attn Nilai default-nya adalah b h s d.

• attention_dropout_prob(float) — Probabilitas putus sekolah untuk diterapkan pada perhatian. Nilai default-nya adalah 0.0.

• scale(float) — Jika dilewati, faktor skala ini diterapkan untuk softmax. Jika diset None el ke, 1 / sqrt(attention_head_size) digunakan sebagai faktor skala. Nilai default-nya adalah None.

• forward(self, q, kv, causal=False, cast_dtype=None, layout="b s h d")— Fungsi PyTorch modul reguler. Ketika a module(x) dipanggil, SMP menjalankan fungsi ini secara otomatis.

  • qtorch.Tensordari bentuk berikut (batch_size x seqlen x num_heads x head_size) atau(batch_size x num_heads x seqlen x head_size). Arg tata letak yang sesuai harus dilewatkan berdasarkan bentuk.

  • kv— torch.Tensor dari bentuk berikut (batch_size x seqlen x (2 x num_heads) x head_size) atau(batch_size, (2 x num_heads) x seqlen x head_size), atau tupel dua torch.Tensor s, yang masing-masing mungkin berbentuk (batch_size x seqlen x num_heads x head_size) atau(batch_size x num_heads x seqlen x head_size). layoutArgumen yang tepat juga harus diteruskan berdasarkan bentuknya.

  • causal— Ketika diset False el ke, yang merupakan nilai default argumen, tidak ada topeng yang diterapkan. Saat diatur keTrue, forward metode ini menggunakan topeng segitiga bawah standar. Nilai default-nya adalah False.

  • cast_dtype— Ketika diatur ke dtype tertentu, ia melemparkan qkv tensor ke dtype sebelumnya. attn Ini berguna untuk implementasi seperti Hugging Face Transformers GPT-NeoX, yang memiliki penyematan q,k fp32 setelah putar. Jika disetel keNone, tidak ada cast yang diterapkan. Nilai default-nya adalah None.

  • layout (string) — Nilai yang tersedia adalah "b h s d" atau"b s h d". Ini harus diatur ke tata letak qkv tensor yang dilewatkan, sehingga transformasi yang sesuai dapat diterapkan. attn Nilai default-nya adalah "b h s d".

• config— FlashAttention Konfigurasi untuk model Llama.

• forward(self, hidden_states, attention_mask, position_ids, past_key_value, output_attentions, use_cache)

  • hidden_states(torch.Tensor) — Keadaan tersembunyi dari tensor dalam bentuk(batch_size x seq_len x num_heads x head_size).

  • attention_mask(torch.LongTensor) — Topeng untuk menghindari perhatian pada indeks token padding dalam bentuk(batch_size x seqlen). Nilai default-nya adalah None.

  • position_ids(torch.LongTensor) — Ketika tidak None ada, itu dalam bentuk(batch_size x seqlen), menunjukkan indeks posisi setiap token urutan input dalam penyematan posisi. Nilai default-nya adalah None.

  • past_key_value(Cache) — Pre-computed keadaan tersembunyi (kunci dan nilai dalam blok perhatian diri dan di blok perhatian silang). Nilai default-nya adalah None.

  • output_attentions(bool) — Menunjukkan apakah akan mengembalikan tensor perhatian dari semua lapisan perhatian. Nilai default-nya adalah False.

  • use_cache(bool) — Menunjukkan apakah akan mengembalikan past_key_values status nilai kunci. Nilai default-nya adalah False.

• model(torch.nn.Module) — Model dari Model Hugging Face Transformer kompatibel dengan paralelisme tensor SMP untuk mengubah dan menerapkan fitur paralelisme tensor dari perpustakaan SMP.

• device(torch.device) — Jika dilewati, model baru dibuat pada perangkat ini. Jika modul asli memiliki parameter apa pun pada perangkat meta (lihatInisialisasi parameter tertunda), maka modul yang diubah juga akan dibuat pada perangkat meta, mengabaikan argumen yang diteruskan di sini. Nilai default-nya adalah None.

• dtype(torch.dtype) — Jika diteruskan, tetapkan ini sebagai manajer konteks dtype untuk pembuatan model dan membuat model dengan dtype ini. Ini biasanya tidak perlu, karena kita ingin membuat model fp32 saat menggunakanMixedPrecision, dan fp32 merupakan dtype default di PyTorch. Nilai default-nya adalah None.

• config(dict) - Ini adalah kamus untuk mengkonfigurasi transformator SMP. Nilai default-nya adalah None.

• load_state_dict_from_rank0(Boolean) - Secara default, modul ini membuat instance baru model dengan bobot baru. Ketika argumen ini diset True el ke, SMP mencoba memuat kamus keadaan PyTorch model asli dari peringkat 0 ke dalam model yang diubah untuk grup paralel tensor yang merupakan bagiannya peringkat 0. Ketika ini disetel keTrue, peringkat 0 tidak dapat memiliki parameter apa pun di perangkat meta. Hanya kelompok paralel tensor pertama yang mengisi bobot dari peringkat 0 setelah panggilan transformasi ini. Anda perlu mengatur sync_module_states ke True dalam pembungkus FSDP untuk mendapatkan bobot ini dari grup paralel tensor pertama ke semua proses lainnya. Dengan ini diaktifkan, pustaka SMP memuat kamus status dari model asli. Pustaka SMP mengambil model sebelum transform state_dict asi, mengubahnya agar sesuai dengan struktur model yang diubah, memecahnya untuk setiap peringkat paralel tensor, mengkomunikasikan keadaan ini dari peringkat 0 ke peringkat lain dalam kelompok paralel tensor yang merupakan bagian dari peringkat 0, dan memuatnya. Nilai default-nya adalah False.

• cp_comm_type(str) — Menentukan implementasi paralelisme konteks dan hanya berlaku jika context_parallel_degree lebih besar dari 1. Nilai yang tersedia untuk parameter ini adalah p2p danall_gather. p2pImplementasi menggunakan panggilan kirim-terima peer-to-peer untuk akumulasi tensor kunci-dan-nilai (KV) selama perhitungan perhatian, berjalan secara asinkron dan memungkinkan komunikasi tumpang tindih dengan komputasi. Di sisi lain, all_gather implementasi menggunakan operasi kolektif AllGather komunikasi untuk akumulasi tensor KV. Nilai default-nya adalah "p2p".

fungsi util torch.sagemaker

• torch.sagemaker.init(config: Optional[Union[str, Dict[str, Any]]] = None) -> None— Menginisialisasi pekerjaan PyTorch pelatihan dengan SMP.

• torch.sagemaker.is_initialized() -> bool— Memeriksa apakah pekerjaan pelatihan diinisialisasi dengan SMP. Saat kembali ke native PyTorch saat pekerjaan diinisialisasi dengan SMP, beberapa properti tidak relevan dan menjadiNone, seperti yang ditunjukkan dalam daftar Properties berikut.

• torch.sagemaker.utils.module_utils.empty_module_params(module: nn.Module, device: Optional[torch.device] = None, recurse: bool = False) -> nn.Module- Membuat parameter kosong pada yang diberikan device jika ada, dan dapat rekursif untuk semua modul bersarang jika ditentukan.

• torch.sagemaker.utils.module_utils.move_buffers_to_device(module: nn.Module, device: torch.device, recurse: bool = False) -> nn.Module— Memindahkan buffer modul ke yang diberikandevice, dan dapat rekursif untuk semua modul bersarang jika ditentukan.

Sifat-sifat

torch.sagemaker.statememegang beberapa properti yang berguna setelah inisialisasi SMP dengan. torch.sagemaker.init

• torch.sagemaker.state.hybrid_shard_degree(int) — Tingkat paralelisme data terpecah-pecah, salinan dari input pengguna dalam konfigurasi SMP diteruskan ke. torch.sagemaker.init() Untuk mempelajari selengkapnya, lihat Gunakan perpustakaan paralelisme SageMaker model v2.

• torch.sagemaker.state.rank(int) — Peringkat global untuk perangkat, dalam kisaran[0, world_size).

• torch.sagemaker.state.rep_rank_process_group(torch.distributed.ProcessGroup) — Grup proses termasuk semua perangkat dengan peringkat replikasi yang sama. Perhatikan perbedaan halus tetapi mendasar dengantorch.sagemaker.state.tp_process_group. Ketika kembali ke asli PyTorch, itu kembaliNone.

• torch.sagemaker.state.tensor_parallel_degree(int) — Tingkat paralelisme tensor, salinan dari input pengguna dalam konfigurasi SMP diteruskan ke. torch.sagemaker.init() Untuk mempelajari selengkapnya, lihat Gunakan perpustakaan paralelisme SageMaker model v2.

• torch.sagemaker.state.tp_size(int) — Alias untuktorch.sagemaker.state.tensor_parallel_degree.

• torch.sagemaker.state.tp_rank(int) — Peringkat paralelisme tensor untuk perangkat dalam kisaran[0, tp_size), ditentukan oleh derajat paralelisme tensor dan mekanisme peringkat.

• torch.sagemaker.state.tp_process_group(torch.distributed.ProcessGroup) — Grup proses paralel tensor termasuk semua perangkat dengan peringkat yang sama di dimensi lain (misalnya, paralelisme dan replikasi data terpecah-pecah) tetapi peringkat paralel tensor yang unik. Ketika kembali ke asli PyTorch, itu kembaliNone.

• torch.sagemaker.state.world_size(int) — Jumlah total perangkat yang digunakan dalam pelatihan.