SageMaker AI 分散データ並列処理ライブラリを使用した分散トレーニング

SageMaker AI 分散データ並列処理 (SMDDP) ライブラリは、使いやすさと PyTorch とのシームレスな統合を目指して設計されています。

SageMaker AI の SMDDP ライブラリを使用して深層学習モデルをトレーニングする場合、トレーニングスクリプトの記述とモデルのトレーニングに専念できます。

まず、AWS 向けに最適化された集合演算を使用するために、SMDDP ライブラリをインポートしてください。以下のトピックでは、最適化したい集合演算に応じて、トレーニングスクリプトに何を追加すればよいかを説明します。