View a markdown version of this page

Adaptor Kain Elastis untuk AI/ML dan beban kerja HPC di Amazon EC2 - Amazon Elastic Compute Cloud
Dasar-dasar EFAAntarmuka dan pustaka yang didukungTipe instans yang didukungSistem operasi yang didukungBatasan EFAHarga EFA

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Adaptor Kain Elastis untuk AI/ML dan beban kerja HPC di Amazon EC2

Elastic Fabric Adapter (EFA) adalah perangkat jaringan yang dapat Anda lampirkan ke instans Amazon EC2 untuk mempercepat aplikasi Artificial Intelligence (AI), Machine Learning (ML), dan High Performance Computing (HPC). EFA memungkinkan Anda mencapai kinerja aplikasi cluster lokal AI/ML atau HPC, dengan skalabilitas, fleksibilitas, dan elastisitas yang disediakan oleh Cloud. AWS

EFA memberikan latensi yang lebih rendah dan lebih konsisten serta throughput yang lebih tinggi dibandingkan transportasi TCP yang secara tradisional digunakan dalam sistem HPC berbasis cloud. Ini meningkatkan kinerja komunikasi antar instans yang sangat penting untuk penskalaan AI/ML dan aplikasi HPC. Ini dioptimalkan untuk bekerja pada infrastruktur AWS jaringan yang ada dan dapat ditingkatkan tergantung pada persyaratan aplikasi.

EFA terintegrasi dengan Libfabric, dan mendukung Nvidia Collective Communications Library (NCCL) dan NVIDIA Inference Xfer Library (NIXL) untuk aplikasi AI dan ML, dan Open MPI 4.1 dan yang lebih baru dan Intel MPI 2019 Update 5 dan yang lebih baru untuk aplikasi HPC. NCCL dan MPI terintegrasi dengan Libfabric 1.7.0 dan yang lebih baru. NIXL terintegrasi dengan Libfabric 1.21.0 dan yang lebih baru.

EFA mendukung penulisan RDMA (Remote Direct Memory Access) pada sebagian besar jenis instans yang didukung yang memiliki Nitro versi 4 dan yang lebih baru. Pembacaan RDMA didukung pada semua instance dengan Nitro versi 4 dan yang lebih baru. Untuk informasi selengkapnya, lihat Tipe instans yang didukung.

Daftar Isi

Dasar-dasar EFA

Perangkat EFA dapat dilampirkan ke instance EC2 dengan dua cara:

  1. Menggunakan antarmuka EFA tradisional, juga disebut EFA dengan ENA, yang menciptakan perangkat EFA dan perangkat ENA.

  2. Menggunakan EFA-only antarmuka, yang hanya menciptakan perangkat EFA.

Perangkat EFA menyediakan kemampuan seperti kontrol bawaan OS-bypass dan kemacetan melalui protokol Scalable Reliable Datagram (SRD). Fitur perangkat EFA memungkinkan fungsi transportasi yang andal dan latensi rendah yang memungkinkan antarmuka EFA memberikan kinerja aplikasi yang lebih baik untuk aplikasi HPC dan ML di Amazon EC2. Sementara perangkat ENA menawarkan jaringan IP tradisional. Untuk panduan tentang konfigurasi instans mana yang akan digunakan berdasarkan kasus penggunaan Anda, lihatMaksimalkan bandwidth jaringan.

Mengontraskan tumpukan perangkat lunak HPC tradisional dengan tumpukan yang menggunakan EFA.

Secara tradisional, AI/ML aplikasi menggunakan NCCL dan NIXL (untuk inferensi terpilah). Aplikasi HPC menggunakan Message Passing Interface (MPI) untuk berinteraksi dengan transportasi jaringan sistem. Di AWS cloud, ini berarti bahwa aplikasi berinteraksi dengan NCCL, NIXL, atau MPI, yang kemudian menggunakan tumpukan sistem operasi dan TCP/IP driver perangkat ENA untuk mengaktifkan komunikasi jaringan antar instance.

Dengan EFA tradisional (EFA dengan ENA) atau EFA-only antarmuka, AI/ML aplikasi menggunakan NCCL dan NIXL (untuk inferensi terpilah). Aplikasi HPC menggunakan MPI, untuk berinteraksi langsung dengan Libfabric API. API Libfabric memintas kernel sistem operasi dan berkomunikasi secara langsung dengan perangkat ITEFA untuk menempatkan paket pada jaringan. Ini mengurangi overhead dan memungkinkan AI/ML dan aplikasi HPC berjalan lebih efisien.

catatan

Libfabric adalah komponen inti dari kerangka Inter OpenFabrics faces (OFI), yang mendefinisikan dan mengekspor API ruang pengguna OFI. Untuk informasi lebih lanjut, lihat situs web Libfabric OpenFabrics.

Perbedaan antara ENA, EFA, dan antarmuka EFA-only jaringan

Amazon EC2 menyediakan dua jenis antarmuka jaringan:

  • Antar muka ENA menyediakan semua jaringan IP tradisional dan fitur routing yang diperlukan untuk mendukung jaringan IP untuk VPC. Untuk informasi selengkapnya, lihat Aktifkan jaringan yang disempurnakan dengan ENA pada instans EC2 Anda.

  • Antarmuka EFA (EFA dengan ENA) menyediakan perangkat ENA untuk jaringan IP dan perangkat EFA untuk komunikasi throughput tinggi dengan latensi rendah.

  • EFA-onlyantarmuka hanya mendukung kemampuan perangkat EFA, tanpa perangkat ENA untuk jaringan IP tradisional.

Tabel berikut memberikan perbandingan ENA, EFA, dan antarmuka EFA-only jaringan.

 ENA EFA (EFA dengan ENA) EFA-only
Mendukung fungsionalitas jaringan IP Ya Ya Tidak
Dapat ditetapkan alamat IPv4 atau IPv6 Ya Ya Tidak
Dapat digunakan sebagai antarmuka jaringan utama misalnya Ya Ya Tidak
Menghitung batas lampiran ENI misalnya Ya Ya Ya
Dukungan jenis instans Didukung pada semua jenis Nitro-based instans Jenis instans yang didukung Jenis instans yang didukung
Penamaan parameter di API EC2 interface efa efa-only
Penamaan bidang di konsol EC2 Tidak ada pilihan EFA dengan ENA EFA-only

Antarmuka dan pustaka yang didukung

EFA mendukung antarmuka dan pustaka berikut:

  • Buka MPI 4.1 dan yang lebih baru

  • Pembaruan 5 Intel MPI 2019 dan versi yang lebih baru

  • NVIDIA Collective Communications Library (NCCL) 2.4.2 dan yang lebih baru

  • NVIDIA Inference Xfer Library (NIXL) 1.0.0 dan yang lebih baru

  • AWS Neuron SDK versi 2.3 dan yang lebih baru

Tipe instans yang didukung

Semua jenis instance berikut mendukung EFA. Selain itu, tabel menunjukkan dukungan baca RDMA dan penulisan RDMA untuk jenis instance.

Nitro v6 (EFA v4)
Tipe instans Dukungan baca RDMA Dukungan penulisan RDMA
Tujuan Umum
m8a.48xbesar Ya Ya
m8a.logam-48xl Ya Ya
m8azn.24xbesar Ya Ya
m8azn.logam-24xl Ya Ya
m8gb.16xbesar Ya Ya
m8gb.24xbesar Ya Ya
m8gb.48xbesar Ya Ya
m8gb.logam-24xl Ya Ya
m8gb.logam-48xl Ya Ya
m8gn.16xbesar Ya Ya
m8gn.24xbesar Ya Ya
m8gn.48xbesar Ya Ya
m8gn.logam-24xl Ya Ya
m8gn.logam-48xl Ya Ya
m8i.48xbesar Ya Ya
m8i.96xbesar Ya Ya
m8i.logam-48xl Ya Ya
m8i.logam-96xl Ya Ya
m8id.48xbesar Ya Ya
m8id.96xbesar Ya Ya
m8id.logam-48xl Ya Ya
m8id.logam-96xl Ya Ya
m8in.48xbesar Ya Ya
m8in.96xbesar Ya Ya
m8in.logam-48xl Ya Ya
m8in.logam-96xl Ya Ya
m8idn.48xbesar Ya Ya
m8idn.96xbesar Ya Ya
m8idn.logam-48xl Ya Ya
m8idn.logam-96xl Ya Ya
m8ib.48xbesar Ya Ya
m8ib.96xbesar Ya Ya
m8ib.logam-48xl Ya Ya
m8ib.logam-96xl Ya Ya
m8idb.48xbesar Ya Ya
m8idb.96xbesar Ya Ya
m8idb.logam-48xl Ya Ya
m8idb.logam-96xl Ya Ya
m9g.48xbesar Ya Ya
m9g.logam-48xl Ya Ya
m9gd.48xbesar Ya Ya
m9gd.logam-48xl Ya Ya
Komputasi yang Dioptimalkan
c8a.48xbesar Ya Ya
c8a.logam-48xl Ya Ya
c8gb.16xbesar Ya Ya
c8gb.24xbesar Ya Ya
c8gb.48xbesar Ya Ya
c8gb.logam-24xl Ya Ya
c8gb.logam-48xl Ya Ya
c8gn.16xbesar Ya Ya
c8gn.24xbesar Ya Ya
c8gn.48xbesar Ya Ya
c8gn.logam-24xl Ya Ya
c8gn.logam-48xl Ya Ya
c8i.48xbesar Ya Ya
c8i.96xbesar Ya Ya
c8i.logam-48xl Ya Ya
c8i.logam-96xl Ya Ya
c8id.48xbesar Ya Ya
c8id.96xbesar Ya Ya
c8id.logam-48xl Ya Ya
c8id.logam-96xl Ya Ya
c8in.48xbesar Ya Ya
c8in.96xbesar Ya Ya
c8in.logam-48xl Ya Ya
c8in.logam-96xl Ya Ya
c8ib.48xbesar Ya Ya
c8ib.96xbesar Ya Ya
c8ib.logam-48xl Ya Ya
c8ib.logam-96xl Ya Ya
c9g.48xbesar Ya Ya
c9g.logam-48xl Ya Ya
c9gd.48xbesar Ya Ya
c9gd.logam-48xl Ya Ya
Memori Dioptimalkan
r8a.48xbesar Ya Ya
r8a.logam-48xl Ya Ya
r8gb.16xbesar Ya Ya
r8gb.24xbesar Ya Ya
r8gb.48xbesar Ya Ya
r8gb.logam-24xl Ya Ya
r8gb.logam-48xl Ya Ya
r8gn.16xbesar Ya Ya
r8gn.24xbesar Ya Ya
r8gn.48xbesar Ya Ya
r8gn.logam-24xl Ya Ya
r8gn.logam-48xl Ya Ya
r8i.48xbesar Ya Ya
r8i.96xbesar Ya Ya
r8i.logam-48xl Ya Ya
r8i.logam-96xl Ya Ya
r8id.48xbesar Ya Ya
r8id.96xbesar Ya Ya
r8id.logam-48xl Ya Ya
r8id.logam-96xl Ya Ya
r8in.48xbesar Ya Ya
r8in.96xbesar Ya Ya
r8in.logam-48xl Ya Ya
r8in.logam-96xl Ya Ya
r8idn.48xbesar Ya Ya
r8idn.96xbesar Ya Ya
r8idn.logam-48xl Ya Ya
r8idn.logam-96xl Ya Ya
r8ib.48xbesar Ya Ya
r8ib.96xbesar Ya Ya
r8ib.logam-48xl Ya Ya
r8ib.logam-96xl Ya Ya
r8idb.48xbesar Ya Ya
r8idb.96xbesar Ya Ya
r8idb.logam-48xl Ya Ya
r8idb.logam-96xl Ya Ya
x8aedz.24xbesar Ya Ya
x8aedz.logam-24xl Ya Ya
x8i.48xbesar Ya Ya
x8i.64xbesar Ya Ya
x8i.96xbesar Ya Ya
x8i.logam-48xl Ya Ya
x8i.logam-96xl Ya Ya
Penyimpanan Dioptimalkan
i8ge.48xbesar Ya Ya
i8ge.logam-48xl Ya Ya
Komputasi yang Dipercepat
g7.8xbesar Ya Ya
g7.12xbesar Ya Ya
g7.24xbesar Ya Ya
g7.48xbesar Ya Ya
g7e.8xbesar Ya Ya
g7e.12xbesar Ya Ya
g7e.24xbesar Ya Ya
g7e.48xbesar Ya Ya
p6-b200.48xbesar Ya Ya
p6-b300.48xbesar Ya Ya
Komputasi Performa Tinggi
hpc8a.96xbesar Ya Ya
Nitro v5 (EFA v3)
Tipe instans Dukungan baca RDMA Dukungan menulis RDMA
Tujuan Umum
m8g.24xbesar Ya Ya
m8g.48xbesar Ya Ya
m8g.logam-24xl Ya Ya
m8g.logam-48xl Ya Ya
m8gd.24xbesar Ya Ya
m8gd.48xbesar Ya Ya
m8gd.logam-24xl Ya Ya
m8gd.logam-48xl Ya Ya
Komputasi yang Dioptimalkan
c7gn.16xlarge Ya Tidak
c7gn.logam Ya Tidak
c8g.24xbesar Ya Ya
c8g.48xbesar Ya Ya
c8g.logam-24xl Ya Ya
c8g.logam-48xl Ya Ya
c8gd.24xbesar Ya Ya
c8gd.48xbesar Ya Ya
c8gd.logam-24xl Ya Ya
c8gd.logam-48xl Ya Ya
Memori Dioptimalkan
r8g.24xbesar Ya Ya
r8g.48xbesar Ya Ya
r8g.logam-24xl Ya Ya
r8g.logam-48xl Ya Ya
r8gd.24xbesar Ya Ya
r8gd.48xbesar Ya Ya
r8gd.logam-24xl Ya Ya
r8gd.logam-48xl Ya Ya
x8g.24xbesar Ya Ya
x8g.48xbesar Ya Ya
x8g.logam-24xl Ya Ya
x8g.logam-48xl Ya Ya
Penyimpanan Dioptimalkan
i7ie.48xbesar Ya Ya
i7ie.logam-48xl Ya Ya
i8g.48xbesar Ya Ya
i8g.logam-48xl Ya Ya
Komputasi yang Dipercepat
p5en.48xbesar Ya Ya
p6e-gb200.36xbesar Ya Ya
trn2.3xbesar Ya Ya
trn2.48xbesar Ya Ya
trn2u.48xbesar Ya Ya
Komputasi Performa Tinggi
hpc7g.4xlarge Ya Tidak
hpc7g.8xlarge Ya Tidak
hpc7g.16xlarge Ya Tidak
Nitro v4 (EFA v2)
Tipe instans Dukungan baca RDMA Dukungan menulis RDMA
Tujuan Umum
m6a.48xlarge Ya Ya
m6a.metal Ya Ya
m6i.32xlarge Ya Ya
m6i.metal Ya Ya
m6id.32xlarge Ya Ya
m6id.metal Ya Ya
m6idn.32xlarge Ya Ya
m6idn.metal Ya Ya
m6in.32xlarge Ya Ya
m6in.metal Ya Ya
m7a.48xlarge Ya Ya
m7a.metal-48xl Ya Ya
m7g.16xlarge Ya Ya
m7g.metal Ya Ya
m7gd.16xlarge Ya Ya
m7gd.logam Ya Ya
m7i.48xlarge Ya Ya
m7i.metal-48xl Ya Ya
Komputasi yang Dioptimalkan
c6a.48xlarge Ya Ya
c6a.metal Ya Ya
c6gn.16xlarge Ya Ya
c6i.32xlarge Ya Ya
c6i.metal Ya Ya
c6id.32xlarge Ya Ya
c6id.metal Ya Ya
c6in.32xlarge Ya Ya
c6in.metal Ya Ya
c7a.48xlarge Ya Ya
c7a.metal-48xl Ya Ya
c7g.16xlarge Ya Ya
c7g.metal Ya Ya
c7gd.16xlarge Ya Ya
c7gd.logam Ya Ya
c7i.48xlarge Ya Ya
c7i.metal-48xl Ya Ya
Memori Dioptimalkan
r6a.48xlarge Ya Ya
r6a.metal Ya Ya
r6i.32xlarge Ya Ya
r6i.metal Ya Ya
r6id.32xlarge Ya Ya
r6id.metal Ya Ya
r6idn.32xlarge Ya Ya
r6idn.metal Ya Ya
r6in.32xlarge Ya Ya
r6in.metal Ya Ya
r7a.48xlarge Ya Ya
r7a.metal-48xl Ya Ya
r7g.16xlarge Ya Ya
r7g.metal Ya Ya
r7gd.16xlarge Ya Ya
r7gd.metal Ya Ya
r7i.48xlarge Ya Ya
r7i.metal-48xl Ya Ya
r7iz.32xlarge Ya Ya
r7iz.metal-32xl Ya Ya
u7i-6tb.112xbesar Ya Ya
u7i-8tb.112xbesar Ya Ya
u7i-12tb.224xbesar Ya Ya
u7in-16tb.224xbesar Ya Ya
u7in-24tb.224xbesar Ya Ya
u7in-32tb.224xbesar Ya Ya
u7inh-32tb.480xbesar Ya Ya
x2idn.32xlarge Ya Ya
x2idn.metal Ya Ya
x2iedn.32xlarge Ya Ya
x2iedn.metal Ya Ya
Penyimpanan Dioptimalkan
i4g.16xlarge Ya Ya
i4i.32xlarge Ya Ya
i4i.metal Ya Ya
i7i.24xbesar Ya Ya
i7i.48xbesar Ya Ya
i7i.logam-48xl Ya Ya
im4gn.16xlarge Ya Ya
Komputasi yang Dipercepat
f2.48xbesar Ya Ya
g6.8xbesar Ya Ya
g6.12xbesar Ya Ya
g6.16xbesar Ya Ya
g6.24xbesar Ya Ya
g6.48xbesar Ya Ya
g6e.8xbesar Ya Ya
g6e.12xbesar Ya Ya
g6e.16xbesar Ya Ya
g6e.24xbesar Ya Ya
g6e.48xbesar Ya Ya
gr6.8xbesar Ya Ya
p5.4xbesar Ya Ya
p5.48xlarge Ya Ya
p5e.48xlarge Ya Ya
trn1.32xlarge Ya Ya
trn1n.32xlarge Ya Ya
Komputasi Performa Tinggi
hpc6a.48xlarge Ya Ya
hpc6id.32xlarge Ya Ya
hpc7a.12xlarge Ya Ya
hpc7a.24xlarge Ya Ya
hpc7a.48xlarge Ya Ya
hpc7a.96xlarge Ya Ya
Nitro v3 (EFA v1)
Tipe instans Dukungan baca RDMA Dukungan menulis RDMA
Tujuan Umum
m5dn.24xlarge Tidak Tidak
m5dn.metal Tidak Tidak
m5n.24xlarge Tidak Tidak
m5n.metal Tidak Tidak
m5zn.12xlarge Tidak Tidak
m5zn.metal Tidak Tidak
Komputasi yang Dioptimalkan
c5n.9xlarge Tidak Tidak
c5n.18xlarge Tidak Tidak
c5n.metal Tidak Tidak
Memori Dioptimalkan
r5dn.24xlarge Tidak Tidak
r5dn.metal Tidak Tidak
r5n.24xlarge Tidak Tidak
r5n.metal Tidak Tidak
x2iezn.12xlarge Tidak Tidak
x2iezn.metal Tidak Tidak
Penyimpanan Dioptimalkan
i3en.12xlarge Tidak Tidak
i3en.24xlarge Tidak Tidak
i3en.metal Tidak Tidak
Komputasi yang Dipercepat
dl2q.24xlarge Tidak Tidak
g4dn.8xlarge Tidak Tidak
g4dn.12xlarge Tidak Tidak
g4dn.16xlarge Tidak Tidak
g4dn.metal Tidak Tidak
g5.8xlarge Tidak Tidak
g5.12xlarge Tidak Tidak
g5.16xlarge Tidak Tidak
g5.24xlarge Tidak Tidak
g5.48xlarge Tidak Tidak
inf1.24xlarge Tidak Tidak
p3dn.24xlarge Tidak Tidak
p4d.24xlarge Ya Tidak
p4de.24xlarge Ya Tidak
vt1.24xlarge Tidak Tidak
Generasi Sebelumnya
p3dn.24xlarge Tidak Tidak
Untuk melihat tipe instans yang tersedia yang mendukung EFA di Wilayah tertentu

Tipe instans yang tersedia berbeda-beda menurut Wilayah. Untuk melihat tipe instans yang tersedia yang mendukung EFA di suatu Wilayah, gunakan perintah describe-instance-types dengan parameter --region. Sertakan parameter --filters untuk cakupan hasil ke tipe instans yang mendukung EFA dan --query parameter untuk cakupan output ke nilai InstanceType.

aws ec2 describe-instance-types \
    --region us-east-1  \
    --filters Name=network-info.efa-supported,Values=true \
    --query "InstanceTypes[*].[InstanceType]"  \
    --output text | sort

Sistem operasi yang didukung

Dukungan sistem operasi berbeda tergantung pada jenis prosesor. Tabel berikut menunjukkan sistem operasi yang didukung.

Sistem operasi Intel/AMD (x86_64) jenis contoh AWS Jenis instance Graviton (arm64)
Amazon Linux 2023 ✓ ✓
RHEL 8, 9, dan 10 ✓ ✓
Debian 11, 12, dan 13 ✓ ✓
Rocky Linux 8 dan 9 ✓ ✓
Ubuntu 22.04, 24.04, dan 26.04 ✓ ✓
SUSE Linux Enterprise 15 SP2 dan yang lebih baru ✓ ✓
catatan

Beberapa sistem operasi yang terdaftar mungkin tidak didukung dengan Intel MPI. Jika Anda menggunakan Intel MPI, lihat dokumentasi Intel MPI untuk memverifikasi dukungan untuk sistem operasi Anda.

Batasan EFA

EFA memiliki batasan sebagai berikut:

  • Penulisan RDMA tidak didukung dengan semua jenis instance. Untuk informasi selengkapnya, lihat Tipe instans yang didukung.

  • Lalu lintas EFA 1 antara P4d/P4de/DL1 instance dan jenis instans lainnya saat ini tidak didukung.

  • Tipe instans yang mendukung beberapa kartu jaringan dapat dikonfigurasi dengan satu EFA per kartu jaringan. Semua tipe instans yang didukung hanya mendukung satu EFA per instans.

  • c7g.16xlarge,m7g.16xlarge, dan Inst r7g.16xlarge ans Khusus dan Host Khusus tidak didukung saat EFA dilampirkan.

  • Lalu lintas EFA 1 tidak dapat melintasi Zona Ketersediaan atau VPC. Ini tidak berlaku untuk lalu lintas IP normal dari perangkat ENA dari antarmuka EFA.

  • Lalu lintas EFA 1 tidak dapat dirutekan. Lalu lintas IP normal dari perangkat ENA dari antarmuka EFA tetap dapat dirutekan.

  • EFA tidak didukung. AWS Outposts

  • Perangkat EFA dari antarmuka EFA (EFA dengan ENA) didukung pada instans Windows hanya untuk aplikasi berbasis AWS Cloud Digital Interface Software Development Kit (AWS CDI SDK). Jika Anda melampirkan antarmuka EFA (EFA dengan ENA) ke instance Windows untuk aplikasi berbasis non-CDI SDK, itu berfungsi sebagai antarmuka ENA, tanpa kemampuan perangkat EFA tambahan. Antar EFA-only muka tidak didukung oleh aplikasi AWS CDI berbasis Windows atau Linux. Untuk informasi selengkapnya, lihat Panduan AWS Cloud Digital Interface Pengguna Perangkat Pengembangan Perangkat Lunak (AWS CDI SDK).

1 Lalu lintas EFA mengacu pada lalu lintas yang ditransmisikan melalui perangkat EFA baik EFA (EFA dengan ENA) atau antarmuka. EFA-only

Harga EFA

EFA tersedia sebagai fitur jaringan Amazon EC2 opsional yang dapat Anda aktifkan pada instans apa pun yang didukung tanpa biaya tambahan.