Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Elastic Fabric Adapter für AI/ML und HPC-Workloads auf Amazon EC2

Ein Elastic Fabric Adapter (EFA) ist ein Netzwerkgerät, das Sie an Ihre Amazon-EC2-Instance anfügen können, um Künstliche Intelligenz (KI), Machine Learning und High Performance Computing (HPC)-Anwendungen zu beschleunigen. Mit EFA können Sie die Anwendungsleistung eines On-Premises- KI/ML- oder HPC-Clusters erreichen – mit der Skalierbarkeit, Flexibilität und Elastizität der AWS Cloud.

EFA bietet eine geringere und konsistentere Latenz und höheren Durchsatz als der TCP-Transport, der normalerweise in Cloud-basierten HPC-Systemen verwendet wird. Es verbessert die Leistung der Kommunikation zwischen Instanzen, was für Skalierungs- AI/ML und HPC-Anwendungen entscheidend ist. Es ist für die Verwendung in der vorhandenen AWS Netzwerkinfrastruktur optimiert und kann je nach Anwendungsanforderungen skaliert werden.

EFA ist in Libfabric integriert und unterstützt Nvidia Collective Communications Library (NCCL) und NVIDIA Inference Xfer Library (NIXL) für KI- und ML-Anwendungen sowie Open MPI 4.1 und höher sowie Intel MPI 2019 Update 5 und höher für HPC-Anwendungen. NCCL und MPI lassen sich in Libfabric 1.7.0 und höher integrieren. NIXL lässt sich in Libfabric 1.21.0 und höher integrieren.

EFA unterstützt RDMA (Remote Direct Memory Access)-Schreibvorgänge auf den meisten unterstützten Instance-Typen mit Nitro Version 4 und höher. RDMA-Lesevorgänge werden auf allen Instances mit Nitro Version 4 und höher unterstützt. Weitere Informationen finden Sie unter Unterstützte Instance-Typen.

EFA-Grundlagen

Ein EFA-Gerät kann auf zwei Arten an eine EC2-Instance angefügt werden:

Das EFA-Gerät bietet Funktionen wie eine integrierte Betriebssystemumgehung und die Überlastungskontrolle über das SRD-Protokoll (Scalable Reliable Datagram). Die EFA-Gerätefunktionen ermöglichen zuverlässige Transportfunktionen mit niedriger Latenz, sodass die EFA-Schnittstelle eine bessere Anwendungsleistung für HPC- und ML-Anwendungen auf Amazon EC2 bietet. Das ENA-Gerät bietet dagegen herkömmliche IP-Netzwerke.

Traditionell verwenden AI/ML Anwendungen NCCL und NIXL (für disaggregierte Inferenz). HPC-Anwendungen verwenden das Message Passing Interface (MPI) als Schnittstelle zum Netzwerktransport des Systems. In der AWS Cloud bedeutet dies, dass Anwendungen eine Schnittstelle zu NCCL, NIXL oder MPI haben, die dann den TCP/IP Stack des Betriebssystems und den ENA-Gerätetreiber verwenden, um die Netzwerkkommunikation zwischen Instanzen zu ermöglichen.

Mit einer herkömmlichen EFA- (EFA mit ENA) oder einer reinen EFA-Schnittstelle verwenden AI/ML Anwendungen NCCL und NIXL (für disaggregierte Inferenz). HPC-Anwendungen verwenden MPI, um direkt mit der Libfabric-API zu kommunizieren. Die Libfabric-API umgeht den Betriebssystem-Kernel und kommuniziert direkt mit dem EFA-Gerät, um Pakete auf dem Netzwerk zu platzieren. Dies reduziert den Overhead AI/ML und ermöglicht eine effizientere Ausführung von HPC-Anwendungen.

Unterschiede zwischen ENA-, EFA- und reinen EFA-Netzwerkschnittstellen

Amazon EC2 bietet zwei Arten von Netzwerkschnittstellen:

Die folgende Tabelle enthält einen Vergleich von ENA-, EFA- und Nur-EFA-Netzwerkschnittstellen.

Unterstützte Schnittstellen und Bibliotheken

EFAs unterstützt die folgenden Schnittstellen und Bibliotheken:

Unterstützte Instance-Typen

Alle der folgenden Instance-Typen unterstützen EFA. Darüber hinaus geben die Tabellen die RDMA-Lese- und RDMA-Schreibunterstützung für die Instance-Typen an.

Nitro v6

Instance-Typ	RDMA-Leseunterstützung	RDMA-Schreibunterstützung.
Allgemeine Zwecke
m8a.48xlarge	Ja	Ja
M8 A, Metall, 48 XL	Ja	Ja
m8azn.24x groß	Ja	Ja
m8azn.metall-24xl	Ja	Ja
m8gb. 16x groß	Ja	Ja
8 GB. 24 x groß	Ja	Ja
8 GB. 48 x groß	Ja	Ja
m 8 GB, Metall, 24 XL	Ja	Ja
m8 gb.metal-48xl	Ja	Ja
m8gn.16x groß	Ja	Ja
M8 Gn. 24 x groß	Ja	Ja
M8 Gn. 48 x groß	Ja	Ja
M8 Gn. Metall, 24 XL	Ja	Ja
M8 Gn. Metall-48 XL	Ja	Ja
m8i.48x groß	Ja	Ja
m8i.96xlarge	Ja	Ja
m8i.metal-48xl	Ja	Ja
m8i.metal-96xl	Ja	Ja
m8id. 48x groß	Ja	Ja
m8id. 96x groß	Ja	Ja
m8 id. Metall, 48 XL	Ja	Ja
m8id.metall-96xl	Ja	Ja
Für Datenverarbeitung optimiert
c8a.48x groß	Ja	Ja
C8A.Metall-48 XL	Ja	Ja
c8gb. 16x groß	Ja	Ja
c 8 gb. 24 x groß	Ja	Ja
c 8 gb. 48 x groß	Ja	Ja
C 8 GB, Metall, 24 XL	Ja	Ja
C8 GB.Metall-48 XL	Ja	Ja
c8gn.16x groß	Ja	Ja
c8gn.24xlarge	Ja	Ja
c8gn.48xlarge	Ja	Ja
c8gn.metal-24xl	Ja	Ja
c8gn.metal-48xl	Ja	Ja
c8i.48x groß	Ja	Ja
c8i.96xlarge	Ja	Ja
c8i.metall-48xl	Ja	Ja
c8i.metal-96xl	Ja	Ja
c8id.48x groß	Ja	Ja
c8id.96x groß	Ja	Ja
C8 ID, Metall, 48 XL	Ja	Ja
c8id.metall-96xl	Ja	Ja
RAM-optimiert
r8a.48x groß	Ja	Ja
r8a.metal-48xl	Ja	Ja
r8gb.16xlarge	Ja	Ja
r8gb.24xlarge	Ja	Ja
r8gb. 48x groß	Ja	Ja
r8gb.metal-24xl	Ja	Ja
R 8 GB, Metall, 48 XL	Ja	Ja
r8gn.16xlarge	Ja	Ja
r8gn.24xlarge	Ja	Ja
r8gn.48xlarge	Ja	Ja
r8gn.metal-24xl	Ja	Ja
r8gn.metal-48xl	Ja	Ja
r8i.48x groß	Ja	Ja
r8i.96xlarge	Ja	Ja
r8i.metall-48xl	Ja	Ja
r8i.metal-96xl	Ja	Ja
r8id.48x groß	Ja	Ja
r8id.96x groß	Ja	Ja
r8 id. Metall, 48 XL	Ja	Ja
r8id.metal-96xl	Ja	Ja
x8aedz.24x groß	Ja	Ja
x8aedz.metall-24xl	Ja	Ja
x8i.48x groß	Ja	Ja
x8i.64x groß	Ja	Ja
x8i.96x groß	Ja	Ja
x8i.Metall-48xl	Ja	Ja
x8i.Metall-96xl	Ja	Ja
Speicheroptimiert
i8ge.48xlarge	Ja	Nein
i8ge.metal-48xl	Ja	Nein
Beschleunigte Datenverarbeitung
g7e.8 x groß	Ja	Ja
g7e.12x groß	Ja	Ja
g7e.24x groß	Ja	Ja
g7e.48x groß	Ja	Ja
p6-b200.48xlarge	Ja	Ja
p6-b 300.48x groß	Ja	Ja
High Performance Computing (HPC)
hpc8a.96x groß	Ja	Ja

Nitro v5

Instance-Typ	RDMA-Leseunterstützung	RDMA-Schreibunterstützung.
Allgemeine Zwecke
m8g.24xlarge	Ja	Nein
m8g.48xlarge	Ja	Nein
m8g.metal-24xl	Ja	Nein
m8g.metal-48xl	Ja	Nein
m8gd.24xlarge	Nein	Nein
m8gd.48xlarge	Nein	Nein
m8gd.metal-24xl	Nein	Nein
m8gd.metal-48xl	Nein	Nein
Für Datenverarbeitung optimiert
c7gn.16xlarge	Ja	Nein
c7gn.metal	Ja	Nein
c8g.24xlarge	Ja	Nein
c8g.48xlarge	Ja	Nein
c8g.metal-24xl	Ja	Nein
c8g.metal-48xl	Ja	Nein
c8gd.24xlarge	Nein	Nein
c8gd.48xlarge	Nein	Nein
c8gd.metal-24xl	Nein	Nein
c8gd.metal-48xl	Nein	Nein
RAM-optimiert
r8g.24xlarge	Nein	Nein
r8g.48xlarge	Nein	Nein
r8g.metal-24xl	Nein	Nein
r8g.metal-48xl	Nein	Nein
r8gd.24xlarge	Nein	Nein
r8gd.48xlarge	Nein	Nein
r8gd.metal-24xl	Nein	Nein
r8gd.metal-48xl	Nein	Nein
x8g.24xlarge	Nein	Nein
x8g.48xlarge	Nein	Nein
x8g.metal-24xl	Nein	Nein
x8g.metal-48xl	Nein	Nein
Speicheroptimiert
i7ie.48xlarge	Ja	Nein
i7ie.metal-48xl	Ja	Nein
i8g.48xlarge	Nein	Nein
i8g.metall-48xl	Nein	Nein
Beschleunigte Datenverarbeitung
p5en.48xlarge	Ja	Ja
p6e-gb200.36xlarge	Ja	Ja
Trn 2.3 x groß	Ja	Ja
trn2.48xlarge	Ja	Ja
trn2u.48xlarge	Ja	Ja
High Performance Computing (HPC)
hpc7g.4xlarge	Ja	Nein
hpc7g.8xlarge	Ja	Nein
hpc7g.16xlarge	Ja	Nein

Nitro v4

Instance-Typ	RDMA-Leseunterstützung	RDMA-Schreibunterstützung.
Allgemeine Zwecke
m6a.48xlarge	Ja	Ja
m6a.metal	Ja	Ja
m6i.32xlarge	Ja	Ja
m6i.metal	Ja	Ja
m6id.32xlarge	Ja	Ja
m6id.metal	Ja	Ja
m6idn.32xlarge	Ja	Ja
m6idn.metal	Ja	Ja
m6in.32xlarge	Ja	Ja
m6in.metal	Ja	Ja
m7a.48xlarge	Ja	Nein
m7a.metal-48xl	Ja	Nein
m7g.16xlarge	Ja	Nein
m7g.metal	Ja	Nein
m7gd.16xlarge	Ja	Nein
m7gd.metal	Ja	Nein
m7i.48xlarge	Ja	Nein
m7i.metal-48xl	Ja	Nein
Für Datenverarbeitung optimiert
c6a.48xlarge	Ja	Ja
c6a.metal	Ja	Ja
c6gn.16xlarge	Ja	Ja
c6i.32xlarge	Ja	Ja
c6i.metal	Ja	Ja
c6id.32xlarge	Ja	Ja
c6id.metal	Ja	Ja
c6in.32xlarge	Ja	Ja
c6in.metal	Ja	Ja
c7a.48xlarge	Ja	Nein
c7a.metal-48xl	Ja	Nein
c7g.16xlarge	Ja	Ja
c7g.metal	Ja	Ja
c7gd.16xlarge	Ja	Nein
c7gd.metal	Ja	Nein
c7i.48xlarge	Ja	Nein
c7i.metal-48xl	Ja	Nein
RAM-optimiert
r6a.48xlarge	Ja	Ja
r6a.metal	Ja	Ja
r6i.32xlarge	Ja	Ja
r6i.metal	Ja	Ja
r6id.32xlarge	Ja	Ja
r6id.metal	Ja	Ja
r6idn.32xlarge	Ja	Ja
r6idn.metal	Ja	Ja
r6in.32xlarge	Ja	Ja
r6in.metal	Ja	Ja
r7a.48xlarge	Nein	Nein
r7a.metal-48xl	Nein	Nein
r7g.16xlarge	Nein	Nein
r7g.metal	Nein	Nein
r7gd.16xlarge	Nein	Nein
r7gd.metal	Nein	Nein
r7i.48xlarge	Nein	Nein
r7i.metal-48xl	Nein	Nein
r7iz.32xlarge	Nein	Nein
r7iz.metal-32xl	Nein	Nein
u7i-6tb.112xlarge	Ja	Ja
u7i-8tb.112xlarge	Ja	Ja
u7i-12tb.224xlarge	Ja	Ja
u7in-16tb.224xlarge	Ja	Ja
u7in-24tb.224xlarge	Ja	Ja
u7in-32tb.224xlarge	Ja	Ja
u7inh-32tb.480xlarge	Ja	Ja
x2idn.32xlarge	Ja	Ja
x2idn.metal	Ja	Ja
x2iedn.32xlarge	Ja	Ja
x2iedn.metal	Ja	Ja
Speicheroptimiert
i4g.16xlarge	Ja	Ja
i4i.32xlarge	Ja	Ja
i4i.metal	Ja	Ja
i7i.24x groß	Ja	Nein
i7i.48xlarge	Ja	Nein
i7i.metal-48xl	Ja	Nein
im4gn.16xlarge	Ja	Ja
Beschleunigte Datenverarbeitung
f2.48xlarge	Ja	Ja
g6.8xlarge	Ja	Ja
g6.12xlarge	Ja	Ja
g6.16xlarge	Ja	Ja
g6.24xlarge	Ja	Ja
g6.48xlarge	Ja	Ja
g6e.8xlarge	Ja	Ja
g6e.12xlarge	Ja	Ja
g6e.16xlarge	Ja	Ja
g6e.24xlarge	Ja	Ja
g6e.48xlarge	Ja	Ja
gr6.8xlarge	Ja	Ja
p5.4xlarge	Ja	Ja
p5.48xlarge	Ja	Ja
p5e.48xlarge	Ja	Ja
trn1.32xlarge	Ja	Ja
trn1n.32xlarge	Ja	Ja
High Performance Computing (HPC)
hpc6a.48xlarge	Ja	Ja
hpc6id.32xlarge	Ja	Ja
hpc7a.12xlarge	Ja	Nein
hpc7a.24xlarge	Ja	Nein
hpc7a.48xlarge	Ja	Nein
hpc7a.96xlarge	Ja	Nein

Nitro v3

Instance-Typ	RDMA-Leseunterstützung	RDMA-Schreibunterstützung.
Allgemeine Zwecke
m5dn.24xlarge	Nein	Nein
m5dn.metal	Nein	Nein
m5n.24xlarge	Nein	Nein
m5n.metal	Nein	Nein
m5zn.12xlarge	Nein	Nein
m5zn.metal	Nein	Nein
Für Datenverarbeitung optimiert
c5n.9xlarge	Nein	Nein
c5n.18xlarge	Nein	Nein
c5n.metal	Nein	Nein
RAM-optimiert
r5dn.24xlarge	Nein	Nein
r5dn.metal	Nein	Nein
r5n.24xlarge	Nein	Nein
r5n.metal	Nein	Nein
x2iezn.12xlarge	Nein	Nein
x2iezn.metal	Nein	Nein
Speicheroptimiert
i3en.12xlarge	Nein	Nein
i3en.24xlarge	Nein	Nein
i3en.metal	Nein	Nein
Beschleunigte Datenverarbeitung
dl1.24xlarge	Ja	Nein
dl2q.24xlarge	Nein	Nein
g4dn.8xgroß	Nein	Nein
g4dn.12xgroß	Nein	Nein
g4dn.16xgroß	Nein	Nein
g4dn.metal	Nein	Nein
g5.8xlarge	Nein	Nein
g5.12xlarge	Nein	Nein
g5.16xlarge	Nein	Nein
g5.24xlarge	Nein	Nein
g5.48xlarge	Nein	Nein
inf1.24xlarge	Nein	Nein
p3dn.24xgroß	Nein	Nein
p4d.24xgroß	Ja	Nein
p4de.24xlarge	Ja	Nein
vt1.24xlarge	Nein	Nein
Vorherige Generation
p3dn.24xgroß	Nein	Nein

Um die verfügbaren Instance-Typen zu sehen, die EFAs in einer bestimmten Region unterstützt werden

Die verfügbaren Instance-Typen variieren je nach Region. Um die verfügbaren Instance-Typen zu sehen, die EFAs in einer Region unterstützt werden, verwenden Sie den describe-instance-typesBefehl mit dem --region Parameter. Schließen Sie den Parameter --filters ein, um die Ergebnisse auf die Instance-Typen zu beschränken, die EFA unterstützen, und den Parameter --query, um die Ausgabe auf den Wert von InstanceType zu beschränken.

aws ec2 describe-instance-types \
    --region us-east-1  \
    --filters Name=network-info.efa-supported,Values=true \
    --query "InstanceTypes[*].[InstanceType]"  \
    --output text | sort

Unterstützte Betriebssysteme

Die Betriebssystemunterstützung ist je nach Prozessortyp unterschiedlich. Die folgende Tabelle zeigt die unterstützten Betriebssysteme.

EFA-Einschränkungen

EFAs haben die folgenden Einschränkungen:

¹EFA-Datenverkehr bezieht sich auf den Datenverkehr, der über das EFA-Gerät entweder über eine EFA (EFA mit ENA)- oder eine Nur-EFA-Schnittstelle übertragen wird.

EFA-Preisgestaltung

EFA ist als optionales Amazon-EC2-Netzwerkfeature verfügbar, das Sie ohne zusätzliche Kosten auf jeder unterstützten Instance aktivieren können.