SageMaker 模型平行化程式庫第 2 版的核心功能

Amazon SageMaker AI 模型平行化程式庫第 2 版 (SMP v2) 提供發佈策略和節省記憶體技術，例如碎片資料平行化、張量平行化割，以及檢查點。SMP v2 提供的模型平行化策略與技術有助於發佈大型模型到多個裝置，同時最佳化訓練速度及記憶體使用量。SMP v2 也提供 Python 套件 torch.sagemaker，只需更動幾行程式碼即可協助您調整訓練指令碼。

本指南遵循使用 SageMaker 模型平行化程式庫 v2 中介紹的基本兩步驟流程。若要深入了解 SMP v2 的核心功能及其使用方式，請參閱下列主題。