View a markdown version of this page

Kerangka Kerja yang Didukung, Wilayah AWS, Jenis Instance, dan Model yang Diuji - Amazon SageMaker AI
Kerangka Kerja yang DidukungWilayah AWSTipe Instans Yang DidukungModel yang Diuji

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Kerangka Kerja yang Didukung, Wilayah AWS, Jenis Instance, dan Model yang Diuji

penting

Amazon Web Services (AWS) mengumumkan bahwa tidak akan ada rilis atau versi baru dari SageMaker Training Compiler. Anda dapat terus menggunakan SageMaker Training Compiler melalui AWS Deep Learning Containers (DLC) yang ada untuk Training. SageMaker Penting untuk dicatat bahwa meskipun DLC yang ada tetap dapat diakses, mereka tidak akan lagi menerima tambalan atau pembaruan AWS, sesuai dengan Kebijakan Dukungan Framework AWS Deep Learning Containers.

Sebelum menggunakan SageMaker Training Compiler, periksa apakah kerangka kerja pilihan Anda didukung, jenis instans tersedia di Anda Akun AWS, dan Anda Akun AWS ada di salah satu yang didukung Wilayah AWS.

catatan

SageMaker Training Compiler tersedia di SageMaker Python SDK v2.70.0 atau yang lebih baru.

Kerangka Kerja yang Didukung

SageMaker Training Compiler mendukung kerangka kerja pembelajaran mendalam berikut dan tersedia melalui AWS Deep Learning Containers.

PyTorch

Kerangka Kerja Versi kerangka URI Wadah Pembelajaran Mendalam Dapat diperpanjang untuk kustomisasi Docker
PyTorch PyTorch v1.13.1 763104351884.dkr.ecr. <region>.amazonaws. com/pytorch-trcomp-pelatihan: 1.12.0-gpu-py38-cu113-ubuntu20.04-sagemaker Tidak
PyTorch v1.12.0 763104351884.dkr.ecr. <region>.amazonaws. com/pytorch-trcomp-pelatihan: 1.13.1-gpu-py39-cu117-ubuntu20.04-sagemaker Tidak
PyTorch dengan Hugging Face Transformers

Transformator v4.21.1

PyTorch v1.11.0

763104351884.dkr.ecr. <region>.amazonaws. com/huggingface-pytorch-trcomp-pelatihan: 1.11.0-transformator4.21.1-gpu-py38-cu113-ubuntu20.04

 Tidak

Transformer v4.17.0

PyTorch v1.10.2

763104351884.dkr.ecr. <region>.amazonaws. com/huggingface-pytorch-trcomp-pelatihan: 1.10.2-transformers4.17.0-gpu-py38-cu113-ubuntu20.04

 Tidak

Transformator v4.11.0

PyTorch v1.9.0

763104351884.dkr.ecr. <region>.amazonaws. com/huggingface-pytorch-training-comp:1.9.0-transformers4.11.0-gpu-py38-cu111-ubuntu20.04

 Tidak

TensorFlow

Kerangka Kerja Versi kerangka URI Wadah Pembelajaran Mendalam Dapat diperpanjang untuk kustomisasi Docker
TensorFlow

TensorFlow v2.11.0

763104351884.dkr.ecr. <region>.amazonaws. com/tensorflow-pelatihan: 2.11.0-gpu-py39-cu112-ubuntu20.04-sagemaker

 Ya

TensorFlow v2.10.0

763104351884.dkr.ecr. <region>.amazonaws. com/tensorflow-pelatihan: 2.10.0-gpu-py39-cu112-ubuntu20.04-sagemaker

 Ya

TensorFlow v2.9.1

763104351884.dkr.ecr. <region>.amazonaws. com/tensorflow-pelatihan: 2.9.1-gpu-py39-cu112-ubuntu20.04-sagemaker

 Ya
TensorFlow dengan Hugging Face Transformers

Transformer v4.17.0

TensorFlow v2.6.3

763104351884.dkr.ecr. <region>.amazonaws. com/huggingface-tensorflow-trcomp-pelatihan: 2.6.3-transformers4.17.0-gpu-py38-cu112-ubuntu20.04

 Tidak

Transformator v4.11.0

TensorFlow v2.5.1

763104351884.dkr.ecr. <region>.amazonaws. com/huggingface-tensorflow-training-comp:2.5.1-transformers4.11.0-gpu-py37-cu112-ubuntu18.04

 Tidak

Untuk informasi selengkapnya, lihat Gambar yang Tersedia di GitHub repositori AWS Deep Learning Containers.

Wilayah AWS

Wadah Kompiler SageMaker Pelatihan tersedia di Wilayah AWS tempat AWS Deep Learning Containers beroperasi kecuali wilayah Tiongkok.

Tipe Instans Yang Didukung

SageMaker Training Compiler diuji dan mendukung jenis instans ML berikut.

  • Instans P4

  • Instans P3

  • Instans G4dn

  • Instans G5

Untuk spesifikasi jenis instans, lihat bagian Komputasi Akselerasi di halaman Jenis Instans Amazon EC2. Untuk informasi tentang harga instans, lihat SageMaker Harga Amazon.

Jika Anda menemukan pesan kesalahan yang mirip dengan berikut ini, ikuti petunjuk di Minta peningkatan kuota layanan untuk sumber daya SageMaker AI.

ResourceLimitExceeded: An error occurred (ResourceLimitExceeded) when calling
the CreateTrainingJob operation: The account-level service limit 'ml.p3dn.24xlarge
for training job usage' is 0 Instances, with current utilization of 0 Instances
and a request delta of 1 Instances.
Please contact AWS support to request an increase for this limit.

Model yang Diuji

Tabel berikut mencakup daftar model yang telah diuji dengan SageMaker Training Compiler. Sebagai referensi, ukuran batch terbesar yang dapat dimasukkan ke dalam memori juga disertakan bersama parameter pelatihan lainnya. SageMaker Training Compiler dapat mengubah jejak memori dari proses pelatihan model; sebagai hasilnya, ukuran batch yang lebih besar sering dapat digunakan selama proses pelatihan, yang selanjutnya mengurangi total waktu pelatihan. Dalam beberapa kasus, SageMaker Training Compiler secara cerdas mempromosikan caching yang mengarah pada penurunan ukuran batch terbesar yang dapat muat pada GPU. Anda harus menyetel ulang hyperparameters model Anda dan menemukan ukuran batch yang optimal untuk casing Anda. Untuk menghemat waktu, gunakan tabel referensi berikut untuk mencari ukuran batch yang bisa menjadi titik awal yang baik untuk kasus penggunaan Anda.

catatan

Ukuran batch adalah ukuran batch lokal yang sesuai dengan masing-masing GPU individu dalam jenis instans masing-masing. Anda juga harus menyesuaikan tingkat pembelajaran saat mengubah ukuran batch.

Model pemrosesan bahasa alami (NLP)

Model-model berikut diuji untuk pekerjaan pelatihan untuk semua kombinasi node tunggal dan multi-node dengan core GPU tunggal atau multi dan Automatic Mixed Precision (AMP) seperti yang ditunjukkan.

Single-node/multi-nodetunggal- GPU/multi-GPU
Model Set data Tipe instans presisi Panjang Urutan Ukuran Batch untuk kerangka kerja asli Ukuran Batch untuk SageMaker Training Compiler
albert-basis-v2 wikitext-2-mentah-v1 g4dn.16xlarge mengapung16 128 80 192
albert-basis-v2 wikitext-2-mentah-v1 g5.4xlarge mengapung16 128 128 332
albert-basis-v2 wikitext-2-mentah-v1 p3.2xlarge mengapung16 128 80 224
bert-base-uncased wikitext-2-mentah-v1 g5.4xlarge mengapung16 128 160 288
dasar camembert wikitext-2-mentah-v1 g5.4xlarge mengapung16 128 160 280
distilbert-basis-tidak diolesi wikitext-2-mentah-v1 g5.4xlarge mengapung16 128 240 472
distilgpt2 wikitext-2-mentah-v1 g4dn.16xlarge mengapung16 128 77 128
distilgpt2 wikitext-2-mentah-v1 g5.4xlarge mengapung16 128 138 390
distilgpt2 wikitext-2-mentah-v1 p3.2xlarge mengapung16 128 96 256
distilroberta-basis wikitext-2-mentah-v1 g4dn.16xlarge mengapung16 128 96 192
distilroberta-basis wikitext-2-mentah-v1 g5.4xlarge mengapung16 128 171 380
distilroberta-basis wikitext-2-mentah-v1 p3.2xlarge mengapung16 128 112 256
gpt2 wikitext-2-mentah-v1 g4dn.16xlarge mengapung16 128 52 152
gpt2 wikitext-2-mentah-v1 g5.4xlarge mengapung16 128 84 240
gpt2 wikitext-2-mentah-v1 p3.2xlarge mengapung16 128 58 164
microsoft/deberta-dasar wikitext-2-mentah-v1 g4dn.16xlarge mengapung16 128 48 128
microsoft/deberta-dasar wikitext-2-mentah-v1 g5.4xlarge mengapung16 128 84 207
microsoft/deberta-dasar wikitext-2-mentah-v1 p3.2xlarge mengapung16 128 53 133
roberta-basis wikitext-2-mentah-v1 g5.4xlarge mengapung16 128 125 224
xlm-roberta-basis wikitext-2-mentah-v1 g4dn.16xlarge mengapung16 128 16 31
xlm-roberta-basis wikitext-2-mentah-v1 p3.2xlarge mengapung16 128 18 50
xlnet-base-cased wikitext-2-mentah-v1 g5.4xlarge mengapung16 128 128 240
bert-base-uncased wikitext-103-v1 g5.48xlarge mengapung16 512 29 50
distilbert-basis-tidak diolesi wikitext-103-v1 g5.48xlarge mengapung16 512 45 64
gpt2 wikitext-103-v1 g5.48xlarge mengapung16 512 18 45
roberta-basis wikitext-103-v1 g5.48xlarge mengapung16 512 23 44
gpt2 wikitext-103-v1 p4d.24xlarge mengapung16 512 36 64

Model Computer Vision (CV)

Diuji menggunakan TensorFlowModel Garden dengan Automatic Mixed Precision (AMP) seperti yang ditunjukkan.

Single/multi-node single/multi-GPU
Model Set data Tipe instans presisi Ukuran Batch untuk kerangka kerja asli Ukuran Batch untuk SageMaker Training Compiler
ResNet152 makanan101 g4dn.16xlarge mengapung16 128 144
ResNet152 makanan101 g5.4xlarge mengapung16 128 192
ResNet152 makanan101 p3.2xlarge mengapung16 152 156
VIt makanan101 g4dn.16xlarge mengapung16 512 512
VIt makanan101 g5.4xlarge mengapung16 992 768
VIt makanan101 p3.2xlarge mengapung16 848 768

Model pemrosesan bahasa alami (NLP)

Model-model berikut diuji untuk pekerjaan pelatihan untuk semua kombinasi node tunggal dan multi-node dengan core GPU tunggal atau multi dan Automatic Mixed Precision (AMP) seperti yang ditunjukkan.

Single-node/multi-nodetunggal- GPU/multi-GPU
Model Set data Tipe instans presisi Panjang Urutan Ukuran Batch untuk kerangka kerja asli Ukuran Batch untuk SageMaker Training Compiler
albert-basis-v2 wikitext-2-mentah-v1 ml.g5.2xbesar mengapung16 128 128 248
bert-base-uncased wikitext-2-mentah-v1 ml.g5.2xbesar mengapung16 128 160 288
dasar camembert wikitext-2-mentah-v1 ml.g5.2xbesar mengapung16 128 160 279
dasar camembert wikitext-2-mentah-v1 ml.p3.2xlarge mengapung16 128 105 164
distilgpt2 wikitext-2-mentah-v1 ml.g5.2xbesar mengapung16 128 136 256
distilgpt2 wikitext-2-mentah-v1 ml.p3.2xlarge mengapung16 128 80 118
gpt2 wikitext-2-mentah-v1 ml.g5.2xbesar mengapung16 128 84 240
gpt2 wikitext-2-mentah-v1 ml.p3.2xlarge mengapung16 128 80 119
microsoft/deberta-dasar wikitext-2-mentah-v1 ml.g5.2xbesar mengapung16 128 93 197
microsoft/deberta-dasar wikitext-2-mentah-v1 ml.p3.2xlarge mengapung16 128 113 130
roberta-basis wikitext-2-mentah-v1 ml.g5.2xbesar mengapung16 128 125 224
roberta-basis wikitext-2-mentah-v1 ml.p3.2xlarge mengapung16 128 78 112
xlnet-base-cased wikitext-2-mentah-v1 ml.g5.2xbesar mengapung16 128 138 240
bert-base-tidak berdasar wikitext-103-v1 ml.p4d.24xlarge mengapung16 512 52
distilbert-basis-tidak diolesi wikitext-103-v1 ml.p4d.24xlarge mengapung16 512 160
gpt2 wikitext-103-v1 ml.p4d.24xlarge mengapung16 512 25
roberta-basis wikitext-103-v1 ml.p4d.24xlarge mengapung16 512 64

Model Computer Vision (CV)

Diuji menggunakan TensorFlowModel Garden dengan Automatic Mixed Precision (AMP) seperti yang ditunjukkan.

Single/multi-node single/multi-GPU
Model Set data Tipe instans presisi Ukuran Batch untuk kerangka kerja asli Ukuran Batch untuk SageMaker Training Compiler
MaskRCNN-ResNet50-FPN COCO-2017 ml.g5.2xbesar mengapung16 6 8
MaskRCNN-ResNet50-FPN COCO-2017 ml.p3.2xlarge mengapung16 4 6
ResNet50 ImageNet ml.g5.2xbesar mengapung16 192 256
ResNet50 ImageNet ml.p3.2xlarge mengapung16 256 256
ResNet101 ImageNet ml.g5.2xbesar mengapung16 128 256
ResNet101 ImageNet ml.p3.2xlarge mengapung16 128 128
ResNet152 ImageNet ml.g5.2xbesar mengapung16 128 224
ResNet152 ImageNet ml.p3.2xlarge mengapung16 128 128
VisionTransformer ImageNet ml.g5.2xbesar mengapung16 112 144
VisionTransformer ImageNet ml.p3.2xlarge mengapung16 96 128

Model Natural Language Processing (NLP)

Diuji menggunakan model Transformer dengan Sequence_Len=128 dan Automatic Mixed Precision (AMP) seperti yang ditunjukkan.

Single/multi-node single/multi-GPU
Model Set data Tipe instans presisi Ukuran Batch untuk kerangka kerja asli Ukuran Batch untuk SageMaker Training Compiler
albert-basis-v2 wikitext-2-mentah-v1 ml.g5.2xbesar mengapung16 160 197
albert-basis-v2 wikitext-2-mentah-v1 ml.p3.2xlarge mengapung16 95 127
bert-base-tidak berdasar wikitext-2-mentah-v1 ml.g5.2xbesar mengapung16 160 128
bert-base-tidak berdasar wikitext-2-mentah-v1 ml.p3.2xlarge mengapung16 104 111
bert-besar-tidak bersalut wikitext-2-mentah-v1 ml.g5.2xbesar mengapung16 65 48
bert-besar-tidak bersalut wikitext-2-mentah-v1 ml.p3.2xlarge mengapung16 40 35
dasar camembert wikitext-2-mentah-v1 ml.g5.2xbesar mengapung16 128 162
dasar camembert wikitext-2-mentah-v1 ml.p3.2xlarge mengapung16 105 111
distilbert-basis-tidak diolesi wikitext-2-mentah-v1 ml.g5.2xbesar mengapung16 256 264
distilbert-basis-tidak diolesi wikitext-2-mentah-v1 ml.p3.2xlarge mengapung16 128 169
gpt2 wikitext-2-mentah-v1 ml.g5.2xbesar mengapung16 128 120
gpt2 wikitext-2-mentah-v1 ml.p3.2xlarge mengapung16 80 83
jplu/tf-xlm-roberta-basis wikitext-2-mentah-v1 ml.g5.2xbesar mengapung16 32 32
jplu/tf-xlm-roberta-basis wikitext-2-mentah-v1 ml.p3.2xlarge mengapung16 32 36
microsoft/mpnet-dasar wikitext-2-mentah-v1 ml.g5.2xbesar mengapung16 144 160
microsoft/mpnet-dasar wikitext-2-mentah-v1 ml.p3.2xlarge mengapung16 106 110
roberta-basis wikitext-2-mentah-v1 ml.g5.2xbesar mengapung16 128 128
roberta-basis wikitext-2-mentah-v1 ml.p3.2xlarge mengapung16 72 98
albert-basis-v2 wikitext-2-mentah-v1 ml.g5.48xbesar mengapung16 128 192
albert-basis-v2 wikitext-2-mentah-v1 ml.p3.16xlarge mengapung16 95 96
distilbert-basis-tidak diolesi wikitext-2-mentah-v1 ml.g5.48xbesar mengapung 16 256 256
distilbert-basis-tidak diolesi wikitext-2-mentah-v1 ml.p3.16xlarge mengapung 16 140 184
google/electra-diskriminator kecil wikitext-2-mentah-v1 ml.g5.48xbesar mengapung 16 256 384
google/electra-diskriminator kecil wikitext-2-mentah-v1 ml.p3.16xlarge mengapung 16 256 268
gpt2 wikitext-2-mentah-v1 ml.g5.48xbesar mengapung 16 116 116
gpt2 wikitext-2-mentah-v1 ml.p3.16xlarge mengapung 16 85 83
gpt2 wikitext-2-mentah-v1 ml.p4d.24xlarge mengapung 16 94 110
microsoft/mpnet-dasar wikitext-2-mentah-v1 ml.g5.48xbesar mengapung 16 187 164
microsoft/mpnet-dasar wikitext-2-mentah-v1 ml.p3.16xlarge mengapung 16 106 111

Model Computer Vision (CV)

Diuji menggunakan TensorFlowModel Garden dengan Automatic Mixed Precision (AMP) seperti yang ditunjukkan.

Single-nodetunggal- GPU/multi-GPU
Model Set data Tipe instans presisi Ukuran Batch untuk kerangka kerja asli Ukuran Batch untuk SageMaker Training Compiler
DetectionTransformer-ResNet50 COCO-2017 ml.g4dn.2xbesar mengapung 32 2 4
DetectionTransformer-ResNet50 COCO-2017 ml.g5.2xbesar mengapung 32 3 6
DetectionTransformer-ResNet50 COCO-2017 ml.p3.2xlarge mengapung 32 2 4
MaskRCNN-ResNet50-FPN COCO-2017 ml.g4dn.2xbesar mengapung 16 4 6
MaskRCNN-ResNet50-FPN COCO-2017 ml.g5.2xbesar mengapung 16 6 8
MaskRCNN-ResNet50-FPN COCO-2017 ml.g5.48xbesar mengapung 16 48 64
MaskRCNN-ResNet50-FPN COCO-2017 ml.p3.2xlarge mengapung 16 4 6
ResNet50 ImageNet ml.g4dn.2xbesar mengapung 16 224 256
ResNet50 ImageNet ml.g5.2xbesar mengapung 16 192 160
ResNet50 ImageNet ml.g5.48xbesar mengapung 16 2048 2048
ResNet50 ImageNet ml.p3.2xlarge mengapung 16 224 160
ResNet101 ImageNet ml.g4dn.2xbesar mengapung 16 160 128
ResNet101 ImageNet ml.g5.2xbesar mengapung 16 192 256
ResNet101 ImageNet ml.g5.48xbesar mengapung 16 2048 2048
ResNet101 ImageNet ml.p3.2xlarge mengapung 16 160 224
ResNet152 ImageNet ml.g4dn.2xbesar mengapung 16 128 128
ResNet152 ImageNet ml.g5.2xbesar mengapung 16 192 224
ResNet152 ImageNet ml.g5.48xbesar mengapung 16 1536 1792
ResNet152 ImageNet ml.p3.2xlarge mengapung 16 128 160
VisionTransformer ImageNet ml.g4dn.2xbesar mengapung 16 80 128
VisionTransformer ImageNet ml.g5.2xbesar mengapung 16 112 144
VisionTransformer ImageNet ml.g5.48xbesar mengapung 16 896 1152
VisionTransformer ImageNet ml.p3.2xlarge mengapung 16 80 128

Model Natural Language Processing (NLP)

Diuji menggunakan model Transformer dengan Sequence_Len=128 dan Automatic Mixed Precision (AMP) seperti yang ditunjukkan.

Single-nodetunggal- GPU/multi-GPU
Model Set data Tipe instans presisi Ukuran Batch untuk kerangka kerja asli Ukuran Batch untuk SageMaker Training Compiler
albert-basis-v2 wikitext-2-mentah-v1 g4dn.16xlarge mengapung 16 128 112
albert-basis-v2 wikitext-2-mentah-v1 p3.2xlarge mengapung 16 128 128
albert-basis-v2 wikitext-2-mentah-v1 p3.8xlarge mengapung 16 128 135
albert-basis-v2 wikitext-2-mentah-v1 g5.4xlarge mengapung 16 128 191
bert-base-tidak berdasar wikitext-2-mentah-v1 g4dn.16xlarge mengapung 16 64 94
bert-base-tidak berdasar wikitext-2-mentah-v1 p3.2xlarge mengapung 16 96 101
bert-base-tidak berdasar wikitext-2-mentah-v1 p3.8xlarge mengapung 16 96 96
bert-base-tidak berdasar wikitext-2-mentah-v1 g5.4xlarge mengapung 16 128 128
bert-besar-tidak bersalut wikitext-2-mentah-v1 g4dn.16xlarge mengapung 16 35 21
bert-besar-tidak bersalut wikitext-2-mentah-v1 p3.2xlarge mengapung 16 39 26
bert-besar-tidak bersalut wikitext-2-mentah-v1 g5.4xlarge mengapung 16 60 50
dasar camembert wikitext-2-mentah-v1 g4dn.16xlarge mengapung 16 96 90
dasar camembert wikitext-2-mentah-v1 p3.2xlarge mengapung 16 96 98
dasar camembert wikitext-2-mentah-v1 p3.8xlarge mengapung 16 96 96
dasar camembert wikitext-2-mentah-v1 g5.4xlarge mengapung 16 128 128
distilbert-basis-tidak diolesi wikitext-2-mentah-v1 g4dn.16xlarge mengapung 16 256 160
distilbert-basis-tidak diolesi wikitext-2-mentah-v1 p3.2xlarge mengapung 16 128 176
distilbert-basis-tidak diolesi wikitext-2-mentah-v1 p3.8xlarge mengapung 16 128 160
distilbert-basis-tidak diolesi wikitext-2-mentah-v1 g5.4xlarge mengapung 16 256 258
google_electra-diskriminator kecil wikitext-2-mentah-v1 g4dn.16xlarge mengapung 16 256 216
google_electra-diskriminator kecil wikitext-2-mentah-v1 p3.2xlarge mengapung 16 256 230
google_electra-diskriminator kecil wikitext-2-mentah-v1 p3.8xlarge mengapung 16 256 224
google_electra-diskriminator kecil wikitext-2-mentah-v1 g5.4xlarge mengapung 16 256 320
gpt2 wikitext-2-mentah-v1 g4dn.16xlarge mengapung 16 80 64
gpt2 wikitext-2-mentah-v1 p3.2xlarge mengapung 16 80 77
gpt2 wikitext-2-mentah-v1 p3.8xlarge mengapung 16 80 72
gpt2 wikitext-2-mentah-v1 g5.4xlarge mengapung 16 128 120
jplu_tf-xlm-roberta-basis wikitext-2-mentah-v1 g4dn.16xlarge mengapung 16 28 24
jplu_tf-xlm-roberta-basis wikitext-2-mentah-v1 p3.2xlarge mengapung 16 32 24
jplu_tf-xlm-roberta-basis wikitext-2-mentah-v1 p3.8xlarge mengapung 16 32 26
jplu_tf-xlm-roberta-basis wikitext-2-mentah-v1 g5.4xlarge mengapung 16 66 52
microsoft_mpnet-basis wikitext-2-mentah-v1 g4dn.16xlarge mengapung 16 96 92
microsoft_mpnet-basis wikitext-2-mentah-v1 p3.2xlarge mengapung16 96 101
microsoft_mpnet-basis wikitext-2-mentah-v1 p3.8xlarge mengapung16 96 101
microsoft_mpnet-basis wikitext-2-mentah-v1 g5.4xlarge mengapung16 128 152
roberta-basis wikitext-2-mentah-v1 g4dn.16xlarge mengapung16 64 72
roberta-basis wikitext-2-mentah-v1 p3.2xlarge mengapung16 64 84
roberta-basis wikitext-2-mentah-v1 p3.8xlarge mengapung16 64 86
roberta-basis wikitext-2-mentah-v1 g5.4xlarge mengapung16 128 128

Diuji menggunakan TensorFlowModel Garden dengan Automatic Mixed Precision (AMP).

Single-nodetunggal- GPU/multi-GPU
Model Set data Tipe instans Ukuran Batch untuk kerangka kerja asli Ukuran Batch untuk SageMaker Training Compiler
ResNet50 ImageNet ml.g4dn.2xbesar 192 256*
ResNet101 ImageNet ml.g4dn.2xbesar 128 160
ml.g5.2xbesar 224 256*
ml.p3.16xlarge 1536 1792
ResNet152 ImageNet ml.g5.2xbesar 192 224
ml.p3.2xlarge 160 160
ml.p3.16xlarge 1024 1280
VisionTransformer ImageNet ml.g4dn.2xbesar 80 128*
ml.g5.2xbesar 112 128*
ml.p3.2xlarge 56 128*
ml.p3.16xlarge 640 1024*
DetectionTransformer-ResNet50 COCO-2017 ml.g4dn.2xbesar 2 2
ml.g5.2xbesar 3 6
ml.p3.2xlarge 2 4
ml.p3.16xlarge 8 32
MaskRCNN-ResNet50-FPN COCO-2017 ml.g4dn.2xbesar 4 4
ml.g5.2xbesar 6 8
ml.p3.2xlarge 4 6

* Ukuran batch yang ditandai dengan simbol tanda bintang (*) menunjukkan ukuran batch terbesar yang diuji oleh tim pengembang SageMaker Training Compiler. Untuk sel yang ditandai, instance mungkin dapat menyesuaikan ukuran batch yang lebih besar dari yang ditunjukkan.

Diuji dengan Sequence_Len=512 dan Presisi Campuran Otomatis (AMP).

Single-node GPU tunggal
Model Set data Tipe instans Jumlah instans Ukuran Batch untuk kerangka kerja asli Ukuran Batch untuk Training Compiler
albert-basis-v2 wikitext-2 ml.g4dn.2xbesar 1 14 28
ml.g5.2xbesar 1 18 40
ml.p3.2xlarge 1 14 32
bert-base-cased wikitext-2 ml.g4dn.2xbesar 1 12 24
ml.g5.2xbesar 1 28 44
ml.p3.2xlarge 1 16 20
dasar camembert wikitext-2 ml.g4dn.2xbesar 1 16 28
ml.g5.2xbesar 1 24 40
ml.p3.2xlarge 1 16 24
distilbert-basis-tidak diolesi wikitext-2 ml.g4dn.2xbesar 1 28 52
ml.g5.2xbesar 1 40 76
ml.p3.2xlarge 1 32 48
wikitext-103-v1 ml.p4d.24xlarge 4 82 160
distilgpt2 wikitext-2 ml.g4dn.2xbesar 1 6 18
ml.g5.2xbesar 1 12 28
ml.p3.2xlarge 1 6 16
distilroberta-basis wikitext-2 ml.g4dn.2xbesar 1 20 40
ml.g5.2xbesar 1 28 56
ml.p3.2xlarge 1 24 40
EleutherAI/gpt-neo-125M wikitext-2 ml.g4dn.2xbesar 1 4 8
ml.g5.2xbesar 1 6 14
ml.p3.2xlarge 1 4 10
gpt2 wikitext-2 ml.g4dn.2xbesar 1 4 8
ml.g5.2xbesar 1 6 16
ml.p3.2xlarge 1 4 10
wikitext-103-v1 ml.p4d.24xlarge 4 13 25
roberta-basis wikitext-2 ml.g4dn.2xbesar 1 12 20
ml.g5.2xbesar 1 24 36
ml.p3.2xlarge 1 12 20
wikitext-103-v1 ml.p4d.24xlarge 4 36 64
xlnet-base-cased wikitext-2 ml.g4dn.2xbesar 1 2 6
ml.g5.2xbesar 1 2 10
ml.p3.2xlarge 1 2 8
bert-base-uncased wikitext-103-v1 ml.p4d.24xlarge 2 32 64
4 32 64
8 32 64
16 32 64
roberta-besar wikitext-103-v1 ml.p4d.24xlarge 4 16 24
microsoft/deberta-v3-dasar wikitext-103-v1 ml.p4d.24xlarge 16 9 23

Diuji dengan Sequence_Len=512 dan Presisi Campuran Otomatis (AMP).

Single-node GPU tunggal
Model Tipe instans Ukuran Batch untuk kerangka kerja asli Ukuran Batch untuk Training Compiler
albert-basis-v2 ml.p3.2xlarge 14 28
ml.g4dn.2xbesar 14 24
bert-base-cased ml.p3.2xlarge 16 24
ml.g4dn.2xbesar 12 24
bert-base-uncased ml.p3.2xlarge 16 24
ml.g4dn.2xbesar 12 28
dasar camembert ml.p3.2xlarge 12 24
ml.g4dn.2xbesar 12 28
distilbert-basis-tidak diolesi ml.p3.2xlarge 28 48
ml.g4dn.2xbesar 24 52
distilgpt2 ml.p3.2xlarge 6 12
ml.g4dn.2xbesar 6 14
distilroberta-basis ml.p3.2xlarge 20 40
ml.g4dn.2xbesar 12 40
EleutherAI/gpt-neo-125M ml.p3.2xlarge 2 10
ml.g4dn.2xbesar 2 8
facebook/bart-dasar ml.p3.2xlarge 2 6
ml.g4dn.2xbesar 2 6
gpt2 ml.p3.2xlarge 4 8
ml.g4dn.2xbesar 2 8
roberta-basis ml.p3.2xlarge 12 20
ml.g4dn.2xbesar 12 20
xlnet-base-cased ml.p3.2xlarge 2 8
ml.g4dn.2xbesar 4 6

Diuji dengan Sequence_Len=512 dan Presisi Campuran Otomatis (AMP).

Single-node GPU tunggal
Model Tipe instans Ukuran Batch untuk asli Ukuran Batch untuk Training Compiler
albert-basis-v2 ml.p3.2xlarge 12 32
bert-base-cased ml.p3.2xlarge 14 24
bert-base-chinese ml.p3.2xlarge 16 24
bert-base-multilingual-cased ml.p3.2xlarge 4 16
bert-basis-multibahasa-tidak berdasar ml.p3.2xlarge 8 16
bert-base-uncased ml.p3.2xlarge 12 24
cl- tohoku/bert -basis-jepang seluruh-kata-masking ml.p3.2xlarge 12 24
cl- tohoku/bert -basis-jepang ml.p3.2xlarge 12 24
distilbert-basis-tidak diolesi ml.p3.2xlarge 28 32
penyulingan-basis-tidak tersebut-finetuned-sst-2-bahasa Inggris ml.p3.2xlarge 28 32
distilgpt2 ml.p3.2xlarge 16 32
facebook/bart-dasar ml.p3.2xlarge 4 8
gpt2 ml.p3.2xlarge 6 20
nreimers/MiniLMv2-L6-H384-distilled-from-RoBERTa-Large ml.p3.2xlarge 20 32
roberta-basis ml.p3.2xlarge 12 20
Single-node Multi-GPU
Model Tipe instans Ukuran Batch untuk asli Ukuran Batch untuk Training Compiler
bert-base-chinese ml.p3.8xlarge 16 26
bert-base-multilingual-cased ml.p3.8xlarge 6 16
bert-basis-multibahasa-tidak berdasar ml.p3.8xlarge 6 16
bert-base-uncased ml.p3.8xlarge 14 24
distilbert-basis-tidak diolesi ml.p3.8xlarge 14 32
distilgpt2 ml.p3.8xlarge 6 32
facebook/bart-dasar ml.p3.8xlarge 8 16
gpt2 ml.p3.8xlarge 8 20
roberta-basis ml.p3.8xlarge 12 20

Diuji dengan Sequence_Len=128 dan Presisi Campuran Otomatis (AMP).

Model Tipe instans Ukuran Batch untuk kerangka kerja asli Ukuran Batch untuk Training Compiler
albert-basis-v2 ml.g4dn.16xlarge 136 208
albert-basis-v2 ml.g5.4xbesar 219 312
albert-basis-v2 ml.p3.2xlarge 152 208
albert-basis-v2 ml.p3.8xlarge 152 192
bert-base-uncased ml.g4dn.16xlarge 120 101
bert-base-uncased ml.g5.4xbesar 184 160
bert-base-uncased ml.p3.2xlarge 128 108
bert-besar-tidak bersalut ml.g4dn.16xlarge 37 28
bert-besar-tidak bersalut ml.g5.4xbesar 64 55
bert-besar-tidak bersalut ml.p3.2xlarge 40 32
dasar camembert ml.g4dn.16xlarge 96 100
dasar camembert ml.g5.4xbesar 190 160
dasar camembert ml.p3.2xlarge 129 108
dasar camembert ml.p3.8xlarge 128 104
distilbert-basis-tidak diolesi ml.g4dn.16xlarge 210 160
distilbert-basis-tidak diolesi ml.g5.4xbesar 327 288
distilbert-basis-tidak diolesi ml.p3.2xlarge 224 196
distilbert-basis-tidak diolesi ml.p3.8xlarge 192 182
google_electra-diskriminator kecil ml.g4dn.16xlarge 336 288
google_electra-diskriminator kecil ml.g5.4xbesar 504 384
google_electra-diskriminator kecil ml.p3.2xlarge 352 323
gpt2 ml.g4dn.16xlarge 89 64
gpt2 ml.g5.4xbesar 140 146
gpt2 ml.p3.2xlarge 94 96
gpt2 ml.p3.8xlarge 96 88
jplu_tf-xlm-roberta-basis ml.g4dn.16xlarge 52 16
jplu_tf-xlm-roberta-basis ml.g5.4xbesar 64 44
microsoft_mpnet-basis ml.g4dn.16xlarge 120 100
microsoft_mpnet-basis ml.g5.4xbesar 192 160
microsoft_mpnet-basis ml.p3.2xlarge 128 104
microsoft_mpnet-basis ml.p3.8xlarge 130 92
roberta-basis ml.g4dn.16xlarge 108 64
roberta-basis ml.g5.4xbesar 176 142
roberta-basis ml.p3.2xlarge 118 100
roberta-basis ml.p3.8xlarge 112 88

Diuji dengan Sequence_Len=128 dan Presisi Campuran Otomatis (AMP).

Single-node GPU tunggal
Model Tipe instans Ukuran Batch untuk asli Ukuran Batch untuk Training Compiler
albert-basis-v2 ml.p3.2xlarge 128 128
bart-dasar ml.p3.2xlarge 12 64
bart-besar ml.p3.2xlarge 4 28
bert-base-cased ml.p3.2xlarge 16 128
bert-base-chinese ml.p3.2xlarge 16 128
bert-base-multilingual-cased ml.p3.2xlarge 12 64
bert-basis-multibahasa-tidak berdasar ml.p3.2xlarge 16 96
bert-base-uncased ml.p3.2xlarge 16 96
bert-besar-tidak bersalut ml.p3.2xlarge 4 24
cl- tohoku/bert -basis-jepang ml.p3.2xlarge 16 128
cl- tohoku/bert -basis-jepang seluruh-kata-masking ml.p3.2xlarge 16 128
distilbert-basis-sst2 ml.p3.2xlarge 32 128
distilbert-basis-tidak diolesi ml.p3.2xlarge 32 128
distilgpt2 ml.p3.2xlarge 32 128
gpt2 ml.p3.2xlarge 12 64
gpt2-besar ml.p3.2xlarge 2 24
jplu/tf-xlm-roberta-basis ml.p3.2xlarge 12 32
roberta-basis ml.p3.2xlarge 4 64
roberta-besar ml.p3.2xlarge 4 64
t5-dasar ml.p3.2xlarge 64 64
t5-kecil ml.p3.2xlarge 128 128