本文為英文版的機器翻譯版本，如內容有任何歧義或不一致之處，概以英文版為準。

# SageMaker 模型平行化程式庫第 2 版的核心功能
<a name="model-parallel-core-features-v2"></a>

Amazon SageMaker AI 模型平行化程式庫第 2 版 (SMP v2) 提供發佈策略和節省記憶體技術，例如碎片資料平行化、張量平行化割，以及檢查點。SMP v2 提供的模型平行化策略與技術有助於發佈大型模型到多個裝置，同時最佳化訓練速度及記憶體使用量。SMP v2 也提供 Python 套件 `torch.sagemaker`，只需更動幾行程式碼即可協助您調整訓練指令碼。

本指南遵循[使用 SageMaker 模型平行化程式庫 v2](model-parallel-use-api-v2.md) 中介紹的基本兩步驟流程。若要深入了解 SMP v2 的核心功能及其使用方式，請參閱下列主題。

**注意**  
這些核心功能可在 SMP v2.0.0 和更新版本以及 SageMaker Python SDK v2.200.0 和更新版本中使用，並適用於 PyTorch v2.0.1 和更新版本。若要檢查套件的版本，請參閱[支援的架構和 AWS 區域](distributed-model-parallel-support-v2.md)。

**Topics**
+ [混合碎片資料平行化](model-parallel-core-features-v2-sharded-data-parallelism.md)
+ [專家平行化](model-parallel-core-features-v2-expert-parallelism.md)
+ [內容平行化](model-parallel-core-features-v2-context-parallelism.md)
+ [與針對 AWS 基礎設施最佳化的 SMDDP 程式庫的相容性](model-parallel-core-features-v2-smddp-allgather.md)
+ [混合精確度訓練](model-parallel-core-features-v2-mixed-precision.md)
+ [延遲參數初始化](model-parallel-core-features-v2-delayed-param-init.md)
+ [啟用檢查點](model-parallel-core-features-v2-pytorch-activation-checkpointing.md)
+ [啟用卸載](model-parallel-core-features-v2-pytorch-activation-offloading.md)
+ [張量平行化](model-parallel-core-features-v2-tensor-parallelism.md)
+ [微調](model-parallel-core-features-v2-fine-tuning.md)
+ [FlashAttention](model-parallel-core-features-v2-flashattention.md)
+ [使用 SMP 進行檢查點](model-parallel-core-features-v2-checkpoints.md)