Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Adaptor Kain Elastis untuk AI/ML dan beban kerja HPC di Amazon EC2

Elastic Fabric Adapter (EFA) adalah perangkat jaringan yang dapat Anda lampirkan ke EC2 instans Amazon untuk mempercepat aplikasi Artificial Intelligence (AI), Machine Learning (ML), dan High Performance Computing (HPC). EFA memungkinkan Anda mencapai kinerja aplikasi klaster AI/ML/HPC lokal, dengan skalabilitas, fleksibilitas, dan elastisitas yang disediakan oleh Cloud. AWS

EFA memberikan latensi yang lebih rendah dan lebih konsisten serta throughput yang lebih tinggi dibandingkan transportasi TCP yang secara tradisional digunakan dalam sistem HPC berbasis cloud. Ini meningkatkan kinerja komunikasi antar-instance yang sangat penting untuk penskalaan AI/ML dan aplikasi HPC. Hal ini dioptimalkan untuk bekerja pada infrastruktur AWS jaringan yang ada dan dapat skala tergantung pada persyaratan aplikasi.

EFA terintegrasi dengan Libfabric 1.7.0 dan yang lebih baru, dan mendukung Nvidia Collective Communications Library (NCCL) untuk aplikasi AI dan ML. dan Open MPI 4.1 dan yang lebih baru dan Intel MPI 2019 Update 5 dan yang lebih baru untuk aplikasi HPC.

EFA mendukung penulisan RDMA (Remote Direct Memory Access) pada sebagian besar jenis instans yang didukung yang memiliki Nitro versi 4 dan yang lebih baru. Pembacaan RDMA didukung pada semua instance dengan Nitro versi 4 dan yang lebih baru. Untuk informasi selengkapnya, lihat Tipe instans yang didukung.

Dasar-dasar EFA

Perangkat EFA dapat dilampirkan ke EC2 instance dengan dua cara:

Perangkat EFA menyediakan kemampuan seperti built-in OS-bypass dan kontrol kemacetan melalui protokol Scalable Reliable Datagram (SRD). Fitur perangkat EFA memungkinkan fungsionalitas transportasi latensi rendah dan andal yang memungkinkan antarmuka EFA memberikan kinerja aplikasi yang lebih baik untuk aplikasi HPC dan ML di Amazon. EC2 Sedangkan perangkat ENA menawarkan jaringan IP tradisional.

Secara tradisional, AI/ML aplikasi menggunakan aplikasi NCCL dan HPC menggunakan Message Passing Interface (MPI) untuk berinteraksi dengan transportasi jaringan sistem. Di AWS cloud, ini berarti bahwa antarmuka aplikasi dengan NCCL atau MPI, yang kemudian menggunakan TCP/IP tumpukan sistem operasi dan driver perangkat ENA untuk memungkinkan komunikasi jaringan antar instance.

Dengan EFA tradisional (EFA dengan ENA) atau antarmuka khusus EFA, AI/ML aplikasi menggunakan aplikasi NCCL dan HPC menggunakan MPI, untuk berinteraksi langsung dengan API Libfabric. API Libfabric memintas kernel sistem operasi dan berkomunikasi secara langsung dengan perangkat ITEFA untuk menempatkan paket pada jaringan. Ini mengurangi overhead dan memungkinkan AI/ML dan aplikasi HPC berjalan lebih efisien.

Perbedaan antara antarmuka jaringan ENA, EFA, dan EFA

Amazon EC2 menyediakan dua jenis antarmuka jaringan:

Tabel berikut memberikan perbandingan antarmuka jaringan ENA, EFA, dan EFA saja.

Antarmuka dan pustaka yang didukung

EFAs mendukung antarmuka dan pustaka berikut:

Tipe instans yang didukung

Semua jenis contoh berikut mendukung EFA. Selain itu, tabel menunjukkan dukungan baca RDMA dan penulisan RDMA untuk jenis instance.

Nitro v6

Jenis instans	Dukungan baca RDMA	Dukungan tulis RDMA
Komputasi yang Dioptimalkan
c8gn.16xlarge	Ya	Ya
c8gn.24xlarge	Ya	Ya
c8gn.48xlarge	Ya	Ya
c8gn.metal-24xl	Ya	Ya
c8gn.metal-48xl	Ya	Ya
Komputasi yang Dipercepat
p6-b200.48xlarge	Tidak	Ya

Nitro v5

Jenis instans	Dukungan baca RDMA	Dukungan tulis RDMA
Tujuan Umum
m8g.24xlarge	Ya	Tidak
m8g.48xlarge	Ya	Tidak
m8g.logam-24xl	Ya	Tidak
m8g.logam-48xl	Ya	Tidak
m8gd.24xlarge	Tidak	Tidak
m8gd.48xlarge	Tidak	Tidak
m8gd.metal-24xl	Tidak	Tidak
m8gd.metal-48xl	Tidak	Tidak
Komputasi yang Dioptimalkan
c7gn.16xlarge	Ya	Tidak
c7gn.logam	Ya	Tidak
c8g.24xlarge	Ya	Tidak
c8g.48xlarge	Ya	Tidak
c8g.logam-24xl	Ya	Tidak
c8g.logam-48xl	Ya	Tidak
c8gd.24xlarge	Tidak	Tidak
c8gd.48xlarge	Tidak	Tidak
c8gd.metal-24xl	Tidak	Tidak
c8gd.metal-48xl	Tidak	Tidak
Memori Dioptimalkan
r8g.24xlarge	Tidak	Ya
r8g.48xlarge	Tidak	Ya
r8g.logam-24xl	Tidak	Ya
r8g.logam-48xl	Tidak	Ya
r8gd.24xlarge	Tidak	Tidak
r8gd.48xlarge	Tidak	Tidak
r8gd.metal-24xl	Tidak	Tidak
r8gd.metal-48xl	Tidak	Tidak
x8g.24xlarge	Tidak	Ya
x8g.48xlarge	Tidak	Ya
x8g.logam-24xl	Tidak	Ya
x8g.logam-48xl	Tidak	Ya
Penyimpanan Dioptimalkan
i7ie.48xlarge	Ya	Tidak
i7ie.logam-48xl	Ya	Tidak
i8g.48xlarge	Tidak	Tidak
Komputasi yang Dipercepat
p5en.48xlarge	Tidak	Ya
p6e-gb200.36xlarge	Tidak	Ya
trn2.48xlarge	Tidak	Ya
trn2u.48xlarge	Tidak	Ya
Komputasi Performa Tinggi
hpc7g.4xlarge	Ya	Tidak
hpc7g.8xlarge	Ya	Tidak
hpc7g.16xlarge	Ya	Tidak

Nitro v4

Jenis instans	Dukungan baca RDMA	Dukungan tulis RDMA
Tujuan Umum
m6a.48xlarge	Ya	Ya
m6a.metal	Ya	Ya
m6i.32xlarge	Ya	Ya
m6i.metal	Ya	Ya
m6id.32xlarge	Ya	Ya
m6id.metal	Ya	Ya
m6idn.32xlarge	Ya	Ya
m6idn.metal	Ya	Ya
m6in.32xlarge	Ya	Ya
m6in.metal	Ya	Ya
m7a.48xlarge	Ya	Tidak
m7a.metal-48xl	Ya	Tidak
m7g.16xlarge	Ya	Tidak
m7g.metal	Ya	Tidak
m7gd.16xlarge	Ya	Tidak
m7gd.metal	Ya	Tidak
m7i.48xlarge	Ya	Tidak
m7i.metal-48xl	Ya	Tidak
Komputasi yang Dioptimalkan
c6a.48xlarge	Ya	Ya
c6a.metal	Ya	Ya
c6gn.16xlarge	Ya	Ya
c6i.32xlarge	Ya	Ya
c6i.metal	Ya	Ya
c6id.32xlarge	Ya	Ya
c6id.metal	Ya	Ya
c6in.32xlarge	Ya	Ya
c6in.metal	Ya	Ya
c7a.48xlarge	Ya	Tidak
c7a.metal-48xl	Ya	Tidak
c7g.16xlarge	Ya	Ya
c7g.metal	Ya	Ya
c7gd.16xlarge	Ya	Tidak
c7gd.metal	Ya	Tidak
c7i.48xlarge	Ya	Tidak
c7i.metal-48xl	Ya	Tidak
Memori Dioptimalkan
r6a.48xlarge	Tidak	Ya
r6a.metal	Tidak	Ya
r6i.32xlarge	Tidak	Ya
r6i.metal	Tidak	Ya
r6idn.32xlarge	Tidak	Ya
r6idn.metal	Tidak	Ya
r6in.32xlarge	Tidak	Ya
r6in.metal	Tidak	Ya
r6id.32xlarge	Tidak	Ya
r6id.metal	Tidak	Ya
r7a.48xlarge	Tidak	Ya
r7a.metal-48xl	Tidak	Ya
r7g.16xlarge	Tidak	Ya
r7g.metal	Tidak	Ya
r7gd.16xlarge	Tidak	Ya
r7gd.logam	Tidak	Ya
r7i.48xlarge	Tidak	Ya
r7i.metal-48xl	Tidak	Ya
r7iz.32xlarge	Tidak	Ya
r7iz.metal-32xl	Tidak	Ya
u7i-6tb.112xlarge	Tidak	Ya
u7i-8tb.112xlarge	Tidak	Ya
u7i-12tb.224xlarge	Tidak	Ya
u7in-16tb.224xlarge	Tidak	Ya
u7in-24tb.224xlarge	Tidak	Ya
u7in-32tb.224xlarge	Tidak	Ya
u7inh-32tb.480xlarge	Tidak	Tidak
x2idn.32xlarge	Tidak	Ya
x2idn.metal	Tidak	Ya
x2iedn.32xlarge	Tidak	Ya
x2iedn.metal	Tidak	Ya
Penyimpanan Dioptimalkan
i4g.16xlarge	Ya	Ya
i4i.32xlarge	Ya	Ya
i4i.metal	Ya	Ya
i7i.24xlarge	Ya	Ya
i7i.48xlarge	Ya	Ya
i7i.logam-48xl	Ya	Ya
im4gn.16xlarge	Ya	Ya
Komputasi yang Dipercepat
f2.48xbesar	Ya	Ya
g6.8xlarge	Ya	Ya
g6.12xlarge	Ya	Ya
g6.16xlarge	Ya	Ya
g6.24xlarge	Ya	Ya
g6.48xlarge	Ya	Ya
g6e.8xlarge	Ya	Ya
g6e.12xlarge	Ya	Ya
g6e.16xlarge	Ya	Ya
g6e.24xlarge	Ya	Ya
g6e.48xlarge	Ya	Ya
gr6.8xbesar	Ya	Ya
p5.48xlarge	Tidak	Ya
p5e.48xlarge	Tidak	Ya
trn1.32xlarge	Tidak	Ya
trn1n.32xlarge	Tidak	Ya
Komputasi Performa Tinggi
hpc6a.48xlarge	Ya	Ya
hpc6id.32xlarge	Ya	Ya
hpc7a.12xlarge	Ya	Tidak
hpc7a.24xlarge	Ya	Tidak
hpc7a.48xlarge	Ya	Tidak
hpc7a.96xlarge	Ya	Tidak

Nitro v3

Jenis instans	Dukungan baca RDMA	Dukungan tulis RDMA
Tujuan Umum
m5dn.24xlarge	Tidak	Tidak
m5dn.metal	Tidak	Tidak
m5n.24xlarge	Tidak	Tidak
m5n.metal	Tidak	Tidak
m5zn.12xlarge	Tidak	Tidak
m5zn.metal	Tidak	Tidak
Komputasi yang Dioptimalkan
c5n.9xlarge	Tidak	Tidak
c5n.18xlarge	Tidak	Tidak
c5n.metal	Tidak	Tidak
Memori Dioptimalkan
r5dn.24xlarge	Tidak	Tidak
r5dn.metal	Tidak	Tidak
r5n.24xlarge	Tidak	Tidak
r5n.metal	Tidak	Tidak
x2iezn.12xlarge	Tidak	Tidak
x2iezn.metal	Tidak	Tidak
Penyimpanan Dioptimalkan
i3en.12xlarge	Tidak	Tidak
i3en.24xlarge	Tidak	Tidak
i3en.metal	Tidak	Tidak
Komputasi yang Dipercepat
dl1.24xlarge	Ya	Tidak
dl2q.24xlarge	Tidak	Tidak
g4dn.8xlarge	Tidak	Tidak
g4dn.12xlarge	Tidak	Tidak
g4dn.16xlarge	Tidak	Tidak
g4dn.metal	Tidak	Tidak
g5.8xlarge	Tidak	Tidak
g5.12xlarge	Tidak	Tidak
g5.16xlarge	Tidak	Tidak
g5.24xlarge	Tidak	Tidak
g5.48xlarge	Tidak	Tidak
inf1.24xlarge	Tidak	Tidak
p3dn.24xlarge	Tidak	Tidak
p4d.24xlarge	Ya	Tidak
p4de.24xlarge	Ya	Tidak
vt1.24xlarge	Tidak	Tidak

Untuk melihat jenis instans yang tersedia yang mendukung EFAs di Wilayah tertentu

Tipe instans yang tersedia berbeda-beda menurut Wilayah. Untuk melihat jenis instance yang tersedia yang mendukung EFAs di Region, gunakan describe-instance-typesperintah dengan --region parameter. Sertakan parameter --filters untuk cakupan hasil ke tipe instans yang mendukung EFA dan --query parameter untuk cakupan output ke nilai InstanceType.

aws ec2 describe-instance-types \
    --region us-east-1  \
    --filters Name=network-info.efa-supported,Values=true \
    --query "InstanceTypes[*].[InstanceType]"  \
    --output text | sort

Sistem operasi yang didukung

Dukungan sistem operasi berbeda tergantung pada jenis prosesor. Tabel berikut menunjukkan sistem operasi yang didukung.

Batasan EFA

EFAs memiliki batasan sebagai berikut:

Harga EFA

EFA tersedia sebagai fitur EC2 jaringan Amazon opsional yang dapat Anda aktifkan pada instans apa pun yang didukung tanpa biaya tambahan.