本文為英文版的機器翻譯版本，如內容有任何歧義或不一致之處，概以英文版為準。

# 張量平行處理
<a name="model-parallel-extended-features-pytorch-tensor-parallelism"></a>

*張量平行化*是模型平行化類型，其中特定模型權重、漸層與最佳化工具狀態會跨裝置分割。有別於管道平行處理 (其可保持個別權重不變，但會分割權重*集*)，張量平行處理會分割個別權重。這通常涉及特定作業、模組或模型層的分散式運算。

如果單一參數使用多數 GPU 記憶體 (例如字彙量較大的大型嵌入資料表或具大量類別的大型 softmax 層)，則需要張量平行化。在這種情況，將此大型張量或作業視為原子單位不具效率，且會阻礙記憶體負載的平衡。

對於極大型模型而言，純管道傳輸完全不足以符合需求，此時，張量平行處理也很有幫助。例如，對於需要分割超過數十個執行個體的 GPT-3 規模模型，純微批次管道傳輸的效率不佳，因為管道深度過高，而且額外負荷變得過大。

**注意**  
張量平行化適用 SageMaker 模型平行化程式庫 v1.6.0 及更高版本的 PyTorch。

**Topics**
+ [張量平行處理的運作方式](model-parallel-extended-features-pytorch-tensor-parallelism-how-it-works.md)
+ [使用張量平行化執行 SageMaker 分散式模型平行訓練任務](model-parallel-extended-features-pytorch-tensor-parallelism-examples.md)
+ [支援 Hugging Face 轉換器模型](model-parallel-extended-features-pytorch-hugging-face.md)
+ [在合併使用管道平行處理與張量平行處理組時的排名機制](model-parallel-extended-features-pytorch-ranking-mechanism.md)