Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich. # Unterstützte Frameworks AWS-Regionen, Instanztypen und getestete Modelle **Wichtig** Amazon Web Services (AWS) gibt bekannt, dass es keine neuen Releases oder Versionen von SageMaker Training Compiler geben wird. Sie können SageMaker Training Compiler weiterhin über die vorhandenen AWS Deep Learning Containers (DLCs) für SageMaker Schulungen verwenden. Es ist wichtig zu beachten, dass auf die vorhandenen DLCs Dateien zwar weiterhin zugegriffen werden kann, sie jedoch gemäß der [Support-Richtlinie für AWS Deep Learning Containers Framework](https://docs.aws.amazon.com/deep-learning-containers/latest/devguide/support-policy.html) keine Patches oder Updates mehr erhalten. AWS Bevor Sie SageMaker Training Compiler verwenden, überprüfen Sie, ob das Framework Ihrer Wahl unterstützt wird, ob die Instance-Typen in Ihrem AWS-Konto verfügbar sind und ob Sie AWS-Konto sich in einem der unterstützten AWS-Regionen Frameworks befinden. **Anmerkung** SageMaker Der Training Compiler ist im SageMaker Python SDK v2.70.0 oder höher verfügbar. ## Unterstützte Frameworks SageMaker Training Compiler unterstützt die folgenden Deep-Learning-Frameworks und ist über AWS Deep Learning Containers verfügbar. **Topics** + [PyTorch](#training-compiler-supported-frameworks-pytorch) + [TensorFlow](#training-compiler-supported-frameworks-tensorflow) ### PyTorch - **PyTorch** - **Framework-Version:** PyTorch v1.13.1 / **Deep Learning Container URI:** 763104351884.dkr.ecr. {{}}.amazonaws.com/:1.12.0-gpu-py38-cu113-ubuntu20.04-sagemaker pytorch-trcomp-training / **Erweiterbar für die Docker-Anpassung:** Nein - **Framework-Version:** PyTorch v1.12.0 / **Deep Learning Container URI:** 763104351884.dkr.ecr. {{}}.amazonaws.com/:1.13.1-gpu-py39-cu117-ubuntu20.04-sagemaker pytorch-trcomp-training / **Erweiterbar für die Docker-Anpassung:** Nein - **PyTorch mit Hugging Face Transformers** - **Framework-Version:** Transformers v4.21.1
PyTorch v1.11.0 / **Deep Learning Container URI:** 763104351884.dkr.ecr. {{}}.amazonaws.com/:1.11.0-transformers4.21.1-gpu-py38-cu113-ubuntu20.04 huggingface-pytorch-trcomp-training / **Erweiterbar für die Docker-Anpassung:** Nein - **Framework-Version:** Transformers v4.17.0
PyTorch v1.10.2 / **Deep Learning Container URI:** 763104351884.dkr.ecr. {{}}.amazonaws.com/:1.10.2-transformers4.17.0-gpu-py38-cu113-ubuntu20.04 huggingface-pytorch-trcomp-training / **Erweiterbar für die Docker-Anpassung:** Nein - **Framework-Version:** Transformers v4.11.0
PyTorch v1.9.0 / **Deep Learning Container URI:** 763104351884.dkr.ecr. {{}}.amazonaws.com/:1.9.0-transformers4.11.0-gpu-py38-cu111-ubuntu20.04 huggingface-pytorch-training-comp / **Erweiterbar für die Docker-Anpassung:** Nein ### TensorFlow - **TensorFlow** - **Framework-Version:** TensorFlow v2.11.0 / **Deep Learning Container URI:** 763104351884.dkr.ecr. {{}}.amazonaws.com/tensorflow-training:2.11.0-gpu-py39-cu112-ubuntu20.04-sagemaker / **Erweiterbar für die Docker-Anpassung:** Ja - **Framework-Version:** TensorFlow v2.10.0 / **Deep Learning Container URI:** 763104351884.dkr.ecr. {{}}.amazonaws.com/tensorflow-training:2.10.0-gpu-py39-cu112-ubuntu20.04-sagemaker / **Erweiterbar für die Docker-Anpassung:** Ja - **Framework-Version:** TensorFlow v2.9.1 / **Deep Learning Container URI:** 763104351884.dkr.ecr. {{}}.amazonaws.com/tensorflow-training:2.9.1-gpu-py39-cu112-ubuntu20.04-sagemaker / **Erweiterbar für die Docker-Anpassung:** Ja - **TensorFlow mit Hugging Face Transformers** - **Framework-Version:** Transformers v4.17.0
TensorFlow v2.6.3 / **Deep Learning Container URI:** 763104351884.dkr.ecr. {{}}.amazonaws.com/:2.6.3-transformers4.17.0-gpu-py38-cu112-ubuntu20.04 huggingface-tensorflow-trcomp-training / **Erweiterbar für die Docker-Anpassung:** Nein - **Framework-Version:** Transformers v4.11.0
TensorFlow v2.5.1 / **Deep Learning Container URI:** 763104351884.dkr.ecr. {{}}.amazonaws.com/:2.5.1-transformers4.11.0-gpu-py37-cu112-ubuntu18.04 huggingface-tensorflow-training-comp / **Erweiterbar für die Docker-Anpassung:** Nein Weitere Informationen finden Sie unter [Verfügbare Bilder](https://github.com/aws/deep-learning-containers/blob/master/available_images.md) im *AWS Deep Learning Containers GitHub Container-Repository*. ## AWS-Regionen Die [SageMaker Training Compiler Container](https://github.com/aws/deep-learning-containers/blob/master/available_images.md#sagemaker-training-compiler-containers) sind dort verfügbar, AWS-Regionen wo [AWS Deep Learning Containers im Einsatz](https://github.com/aws/deep-learning-containers/blob/master/available_images.md) sind, mit Ausnahme der Regionen China. ## Unterstützte Instance-Typen SageMaker Training Compiler wurde auf den folgenden ML-Instanztypen getestet und unterstützt diese. + P4-Instances + P3-Instances + G4dn-Instances + G5-Instances Die Spezifikationen der Instance-Typen finden Sie im Abschnitt **Beschleunigte Datenverarbeitung** auf der Seite [Amazon-EC2-Instance-Typen](https://aws.amazon.com/ec2/instance-types/). Informationen zu Instance-Preisen finden Sie unter [ SageMaker Amazon-Preise](https://aws.amazon.com/sagemaker/pricing/). Wenn Sie auf eine Fehlermeldung gestoßen sind, die der folgenden ähnelt, folgen Sie den Anweisungen unter [Beantragen Sie eine Erhöhung des Servicekontingents für SageMaker KI-Ressourcen](https://docs.aws.amazon.com/sagemaker/latest/dg/regions-quotas.html#service-limit-increase-request-procedure). ``` ResourceLimitExceeded: An error occurred (ResourceLimitExceeded) when calling the CreateTrainingJob operation: The account-level service limit 'ml.p3dn.24xlarge for training job usage' is 0 Instances, with current utilization of 0 Instances and a request delta of 1 Instances. Please contact AWS support to request an increase for this limit. ``` ## Getestete Modelle Die folgende Tabelle enthält eine Liste der Modelle, die mit SageMaker Training Compiler getestet wurden. Als Referenz ist neben anderen Trainingsparametern auch die größte Chargengröße aufgeführt, die in den Arbeitsspeicher passen kann. SageMaker Der Training Compiler kann den Speicherbedarf des Modell-Trainingsprozesses ändern. Infolgedessen kann während des Trainingsprozesses häufig eine größere Batchgröße verwendet werden, wodurch die Gesamttrainingszeit weiter reduziert wird. In einigen Fällen fördert der SageMaker Training Compiler auf intelligente Weise das Zwischenspeichern, was zu einer Verringerung der größten Batchgröße führt, die auf die GPU passen kann. Sie müssen die Hyperparameter Ihres Modells erneut anpassen und eine optimale Batch-Größe für Ihren Fall finden. Um Zeit zu sparen, können Sie anhand der folgenden Referenztabellen nach einer Batch-Größe suchen, die sich gut als Ausgangspunkt für Ihren Anwendungsfall eignen kann. **Anmerkung** Bei den Batch-Größen handelt es sich um lokale Batch-Größen, die auf jede einzelne GPU des jeweiligen Instance-Typs passen. Wenn Sie die Batch-Größe ändern, sollten Sie auch die Lernrate anpassen. ### PyTorch 1.13.1 **Modelle zur Verarbeitung natürlicher Sprache (NLP)** Die folgenden Modelle wurden für Trainingsaufträge für alle Kombinationen von einzelnen und mehreren Knoten mit einem oder mehreren GPU-Kernen und Automatic Mixed Precision (AMP) wie angegeben getestet. [See the AWS documentation website for more details](http://docs.aws.amazon.com/de_de/sagemaker/latest/dg/training-compiler-support.html) **Modelle für maschinelles Sehen (CV)** Wie angegeben mit [TensorFlowModel Garden](https://github.com/tensorflow/models) mit Automatic Mixed Precision (AMP) getestet. [See the AWS documentation website for more details](http://docs.aws.amazon.com/de_de/sagemaker/latest/dg/training-compiler-support.html) ### PyTorch 1.12,0 **Modelle zur Verarbeitung natürlicher Sprache (NLP)** Die folgenden Modelle wurden für Trainingsaufträge für alle Kombinationen von einzelnen und mehreren Knoten mit einem oder mehreren GPU-Kernen und Automatic Mixed Precision (AMP) wie angegeben getestet. [See the AWS documentation website for more details](http://docs.aws.amazon.com/de_de/sagemaker/latest/dg/training-compiler-support.html) ### TensorFlow 2.11.0 **Modelle für maschinelles Sehen (CV)** Wie angegeben mit [TensorFlowModel Garden](https://github.com/tensorflow/models) mit Automatic Mixed Precision (AMP) getestet. [See the AWS documentation website for more details](http://docs.aws.amazon.com/de_de/sagemaker/latest/dg/training-compiler-support.html) **Modelle zur Verarbeitung natürlicher Sprache (NLP)** Wie angegeben getestet, mit [Transformer-Modellen](https://github.com/huggingface/transformers) mit `Sequence_Len=128` und Automatic Mixed Precision (AMP). [See the AWS documentation website for more details](http://docs.aws.amazon.com/de_de/sagemaker/latest/dg/training-compiler-support.html) ### TensorFlow 2.10.0 **Modelle für maschinelles Sehen (CV)** Wie angegeben mit [TensorFlowModel Garden](https://github.com/tensorflow/models) mit Automatic Mixed Precision (AMP) getestet. [See the AWS documentation website for more details](http://docs.aws.amazon.com/de_de/sagemaker/latest/dg/training-compiler-support.html) **Modelle zur Verarbeitung natürlicher Sprache (NLP)** Wie angegeben getestet, mit [Transformer-Modellen](https://github.com/huggingface/transformers) mit `Sequence_Len=128` und Automatic Mixed Precision (AMP). [See the AWS documentation website for more details](http://docs.aws.amazon.com/de_de/sagemaker/latest/dg/training-compiler-support.html) ### TensorFlow 2,9.1 Mit [TensorFlowModel Garden](https://github.com/tensorflow/models) mit Automatic Mixed Precision (AMP) getestet. [See the AWS documentation website for more details](http://docs.aws.amazon.com/de_de/sagemaker/latest/dg/training-compiler-support.html) \* Die mit dem Sternchen (\*) markierten Batchgrößen geben die größte Batchgröße an, die vom Training Compiler-Entwicklerteam getestet wurde. SageMaker Bei den markierten Zellen kann die Instance ggf. eine größere Batch-Größe aufnehmen als angegeben. ### Transformers 4.21.1 mit 1.11.0 PyTorch Getestet mit `Sequence_Len=512` und Automatic Mixed Precision (AMP). [See the AWS documentation website for more details](http://docs.aws.amazon.com/de_de/sagemaker/latest/dg/training-compiler-support.html) ### Transformers 4.17.0 mit 1.10.2 PyTorch Getestet mit `Sequence_Len=512` und Automatic Mixed Precision (AMP). [See the AWS documentation website for more details](http://docs.aws.amazon.com/de_de/sagemaker/latest/dg/training-compiler-support.html) ### Transformers 4.11.0 mit 1.9.0 PyTorch Getestet mit `Sequence_Len=512` und Automatic Mixed Precision (AMP). [See the AWS documentation website for more details](http://docs.aws.amazon.com/de_de/sagemaker/latest/dg/training-compiler-support.html) [See the AWS documentation website for more details](http://docs.aws.amazon.com/de_de/sagemaker/latest/dg/training-compiler-support.html) ### Transformatoren 4.17.0 mit 2.6.3 TensorFlow Getestet mit `Sequence_Len=128` und Automatic Mixed Precision (AMP). | Modell | Instance-Typ | Batch-Größe für native Frameworks | Batch-Größe für Training Compiler | | --- | --- | --- | --- | | albert-base-v2 | ml.g4dn.16xlarge | 136 | 208 | | albert-base-v2 | ml.g5.4xlarge | 219 | 312 | | albert-base-v2 | ml.p3.2xlarge | 152 | 208 | | albert-base-v2 | ml.p3.8xlarge | 152 | 192 | | bert-base-uncased | ml.g4dn.16xlarge | 120 | 101 | | bert-base-uncased | ml.g5.4xlarge | 184 | 160 | | bert-base-uncased | ml.p3.2xlarge | 128 | 108 | | bert-large-uncased | ml.g4dn.16xlarge | 37 | 28 | | bert-large-uncased | ml.g5.4xlarge | 64 | 55 | | bert-large-uncased | ml.p3.2xlarge | 40 | 32 | | camembert-base | ml.g4dn.16xlarge | 96 | 100 | | camembert-base | ml.g5.4xlarge | 190 | 160 | | camembert-base | ml.p3.2xlarge | 129 | 108 | | camembert-base | ml.p3.8xlarge | 128 | 104 | | distilbert-base-uncased | ml.g4dn.16xlarge | 210 | 160 | | distilbert-base-uncased | ml.g5.4xlarge | 327 | 288 | | distilbert-base-uncased | ml.p3.2xlarge | 224 | 196 | | distilbert-base-uncased | ml.p3.8xlarge | 192 | 182 | | Google\_ electra-small-discriminator | ml.g4dn.16xlarge | 336 | 288 | | Google\_ electra-small-discriminator | ml.g5.4xlarge | 504 | 384 | | Google\_ electra-small-discriminator | ml.p3.2xlarge | 352 | 323 | | gpt2 | ml.g4dn.16xlarge | 89 | 64 | | gpt2 | ml.g5.4xlarge | 140 | 146 | | gpt2 | ml.p3.2xlarge | 94 | 96 | | gpt2 | ml.p3.8xlarge | 96 | 88 | | jplu\_ tf-xlm-roberta-base | ml.g4dn.16xlarge | 52 | 16 | | jplu\_ tf-xlm-roberta-base | ml.g5.4xlarge | 64 | 44 | | microsoft\_mpnet-base | ml.g4dn.16xlarge | 120 | 100 | | microsoft\_mpnet-base | ml.g5.4xlarge | 192 | 160 | | microsoft\_mpnet-base | ml.p3.2xlarge | 128 | 104 | | microsoft\_mpnet-base | ml.p3.8xlarge | 130 | 92 | | roberta-base | ml.g4dn.16xlarge | 108 | 64 | | roberta-base | ml.g5.4xlarge | 176 | 142 | | roberta-base | ml.p3.2xlarge | 118 | 100 | | roberta-base | ml.p3.8xlarge | 112 | 88 | ### Transformers 4.11.0 mit 2.5.1 TensorFlow Getestet mit `Sequence_Len=128` und Automatic Mixed Precision (AMP). [See the AWS documentation website for more details](http://docs.aws.amazon.com/de_de/sagemaker/latest/dg/training-compiler-support.html)