サポート対象のフレームワーク、AWS リージョン、インスタンスタイプ

SageMaker AI 分散データ並列処理 (SMDDP) ライブラリを使用する前に、サポートされている ML フレームワークとインスタンスタイプを確認し、AWS アカウントおよび AWS リージョン に十分なクォータがあるか確かめてください。

サポートされるフレームワーク

次の表には、SageMaker AI と SMDDP がサポートしている深層学習フレームワークとそのバージョンをまとめています。SMDDP ライブラリは SageMaker AI フレームワークコンテナで利用でき、SageMaker モデル並列処理 (SMP) ライブラリ v2 によって分散される Docker コンテナに統合されています。また、バイナリファイルとしてダウンロード可能です。

PyTorch

** バイナリファイルの URL は、カスタムコンテナに SMDDP をインストールする場合に使用します。詳細については、「SageMaker AI 分散データ並列ライブラリを使用して独自の Docker コンテナを作成する」を参照してください。

PyTorch Lightning

SMDDP ライブラリは PyTorch Lightning に対応しており、次の PyTorch 用の SageMaker AI フレームワークコンテナと SMP Docker コンテナで使用できます。

PyTorch Lightning v2

PyTorch Lightning v1

** バイナリファイルの URL は、カスタムコンテナに SMDDP をインストールする場合に使用します。詳細については、「SageMaker AI 分散データ並列ライブラリを使用して独自の Docker コンテナを作成する」を参照してください。

# requirements.txt
pytorch-lightning
lightning-bolts

Hugging Face Transformers

Hugging Face 用の AWS 深層学習コンテナは、PyTorch と TensorFlow 用の SageMaker トレーニングコンテナをベースイメージとして使用しています。Hugging Face Transformers ライブラリのバージョンとペアになる PyTorch と TensorFlow のバージョンを調べるには、最新の Hugging Face コンテナと以前の Hugging Face コンテナバージョンを参照してください。

TensorFlow (非推奨)

AWS リージョン

SMDDP ライブラリは、AWS Deep Learning Containers for SageMaker AI と SMP Docker イメージが提供されているすべての AWS リージョンで利用できます。

サポートされるインスタンスタイプ

SMDDP ライブラリには、次のいずれかのインスタンスタイプが必要です。

インスタンスタイプの仕様については、「Amazon EC2 インスタンスタイプ」ページの「高速コンピューティング」のセクションを参照してください。インスタンスの料金の詳細については、「Amazon SageMaker の料金」を参照してください。

次のようなエラーメッセージが表示された場合は、「Request a service quota increase for SageMaker AI resources」の手順に従います。

ResourceLimitExceeded: An error occurred (ResourceLimitExceeded) when calling
the CreateTrainingJob operation: The account-level service limit 'ml.p3dn.24xlarge
for training job usage' is 0 Instances, with current utilization of 0 Instances
and a request delta of 1 Instances.
Please contact AWS support to request an increase for this limit.