本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。
使用多個網路卡最大化 Amazon EC2 執行個體的網路頻寬
許多支援 EFA 的執行個體類型也具有多個網路卡。如需詳細資訊,請參閱網路卡。如果您計劃搭配其中一個執行個體類型使用 EFA,我們建議您使用下列基本組態:
-
針對主要網路介面 (網路卡索引
0、裝置索引0),建立 EFA (EFA 搭配 ENA) 介面。您不能使用僅限 EFA 的網路介面做為主要網路介面。 -
對於每個額外的網路介面,根據您的使用案例,例如 ENA 頻寬需求或 IP 位址空間,使用下一個未使用的網路卡索引
1、裝置索引 和 EFA (EFA 搭配 ENA) 或僅限 EFA 網路介面。如需使用案例範例,請參閱P5 和 P5e 執行個體的 EFA 組態。
注意
P5 執行個體需要以特定方式設定網路介面,才能啟用最大網路頻寬。如需詳細資訊,請參閱P5 和 P5e 執行個體的 EFA 組態。
下列範例示範如何根據這些建議啟動執行個體。
p5.48xlarge 和 p5e.48xlarge 執行個體支援 32 個網路卡且擁有的總網路頻寬容量為 3,200 Gbps,其中最多 800 Gbps 可用於 IP 網路流量。由於 EFA 和 IP 網路流量共用相同的基礎資源,因此一個使用的頻寬將減少另一個可用的頻寬。這表示只要總頻寬不超過 3,200 Gbps,且 IP 頻寬不超過 800 Gbps,您就可以在 EFA 流量和 IP 流量之間以任何組合分配網路頻寬。例如,如果您使用 400 Gbps 的 IP 頻寬,則可以同時達到高達 2,800 Gbps 的 EFA 頻寬。
使用案例 1:儲存 IP 位址並避免潛在的 Linux IP 問題
此組態提供高達 3,200 Gbps 的 EFA 網路頻寬,以及高達 100 Gbps 的 IP 網路頻寬,並具有一個私有 IP 位址。此組態也有助於避免潛在的 Linux IP 問題,例如不允許自動指派公有 IP 位址和 IP 路由挑戰 (主機名稱對 IP 位址映射問題和來源 IP 位址不相符),如果執行個體具有多個網路介面,則可能會發生這種情況。
-
對於主要網路介面 (網路卡索引 0、裝置索引 0),請使用 EFA (EFA 搭配 ENA) 網路介面。
-
對於剩餘的網路介面 (網路卡索引 1-31、裝置索引 1),請使用僅限 EFA 的網路介面。
使用案例 2:最大 EFA 和 IP 網路頻寬
此組態提供高達 3,200 Gbps 的 EFA 網路頻寬,以及高達 800 Gbps 的 IP 網路頻寬和 8 個私有 IP 位址。您無法使用此組態自動指派公有 IP 位址。但是,在啟動進行網際網路連線之後,可以將彈性 IP 位址連接至主要網路介面 (NetworkCardIndex=0、DeviceIndex=0)。
-
對於主要網路介面 (網路卡索引 0、裝置索引 0),請使用 EFA (EFA 搭配 ENA) 網路介面。
-
對於其餘的介面,請執行下列動作:
-
在網路卡索引 1、2 和 3 上指定僅限 EFA 的網路介面,並使用裝置索引 1。
-
在下列每個網路卡索引子集中指定一個 EFA (EFA 搭配 ENA) 網路介面和三個僅限 EFA 的網路介面,並將裝置索引 1 用於所有這些介面:
-
[4、5、6、7]
-
[8、9、10、11]
-
[12、13、14、15]
-
[16、17、18、19]
-
[20、21、22、23]
-
[24、25、26、27]
-
[28、29、30、31]
-
-
下圖說明了此設定。
$ aws --region $REGION ec2 run-instances \ --instance-type p5.48xlarge \ --count 1 \ --key-name key_pair_name \ --image-id ami_id \ --network-interfaces "NetworkCardIndex=0,DeviceIndex=0,Groups=security_group_id,SubnetId=subnet_id,InterfaceType=efa" \ "NetworkCardIndex=1,DeviceIndex=1,Groups=security_group_id,SubnetId=subnet_id,InterfaceType=efa-only" \ "NetworkCardIndex=2,DeviceIndex=1,Groups=security_group_id,SubnetId=subnet_id,InterfaceType=efa-only" \ "NetworkCardIndex=3,DeviceIndex=1,Groups=security_group_id,SubnetId=subnet_id,InterfaceType=efa-only" \ "NetworkCardIndex=4,DeviceIndex=1,Groups=security_group_id,SubnetId=subnet_id,InterfaceType=efa" \ "NetworkCardIndex=5,DeviceIndex=1,Groups=security_group_id,SubnetId=subnet_id,InterfaceType=efa-only" \ "NetworkCardIndex=6,DeviceIndex=1,Groups=security_group_id,SubnetId=subnet_id,InterfaceType=efa-only" \ "NetworkCardIndex=7,DeviceIndex=1,Groups=security_group_id,SubnetId=subnet_id,InterfaceType=efa-only" \ "NetworkCardIndex=8,DeviceIndex=1,Groups=security_group_id,SubnetId=subnet_id,InterfaceType=efa" \ "NetworkCardIndex=9,DeviceIndex=1,Groups=security_group_id,SubnetId=subnet_id,InterfaceType=efa-only" \ "NetworkCardIndex=10,DeviceIndex=1,Groups=security_group_id,SubnetId=subnet_id,InterfaceType=efa-only" \ "NetworkCardIndex=11,DeviceIndex=1,Groups=security_group_id,SubnetId=subnet_id,InterfaceType=efa-only" \ "NetworkCardIndex=12,DeviceIndex=1,Groups=security_group_id,SubnetId=subnet_id,InterfaceType=efa" \ "NetworkCardIndex=13,DeviceIndex=1,Groups=security_group_id,SubnetId=subnet_id,InterfaceType=efa-only" \ "NetworkCardIndex=14,DeviceIndex=1,Groups=security_group_id,SubnetId=subnet_id,InterfaceType=efa-only" \ "NetworkCardIndex=15,DeviceIndex=1,Groups=security_group_id,SubnetId=subnet_id,InterfaceType=efa-only" \ "NetworkCardIndex=16,DeviceIndex=1,Groups=security_group_id,SubnetId=subnet_id,InterfaceType=efa" \ "NetworkCardIndex=17,DeviceIndex=1,Groups=security_group_id,SubnetId=subnet_id,InterfaceType=efa-only" \ "NetworkCardIndex=18,DeviceIndex=1,Groups=security_group_id,SubnetId=subnet_id,InterfaceType=efa-only" \ "NetworkCardIndex=19,DeviceIndex=1,Groups=security_group_id,SubnetId=subnet_id,InterfaceType=efa-only" \ "NetworkCardIndex=20,DeviceIndex=1,Groups=security_group_id,SubnetId=subnet_id,InterfaceType=efa" \ "NetworkCardIndex=21,DeviceIndex=1,Groups=security_group_id,SubnetId=subnet_id,InterfaceType=efa-only" \ "NetworkCardIndex=22,DeviceIndex=1,Groups=security_group_id,SubnetId=subnet_id,InterfaceType=efa-only" \ "NetworkCardIndex=23,DeviceIndex=1,Groups=security_group_id,SubnetId=subnet_id,InterfaceType=efa-only" \ "NetworkCardIndex=24,DeviceIndex=1,Groups=security_group_id,SubnetId=subnet_id,InterfaceType=efa" \ "NetworkCardIndex=25,DeviceIndex=1,Groups=security_group_id,SubnetId=subnet_id,InterfaceType=efa-only" \ "NetworkCardIndex=26,DeviceIndex=1,Groups=security_group_id,SubnetId=subnet_id,InterfaceType=efa-only" \ "NetworkCardIndex=27,DeviceIndex=1,Groups=security_group_id,SubnetId=subnet_id,InterfaceType=efa-only" \ "NetworkCardIndex=28,DeviceIndex=1,Groups=security_group_id,SubnetId=subnet_id,InterfaceType=efa" \ "NetworkCardIndex=29,DeviceIndex=1,Groups=security_group_id,SubnetId=subnet_id,InterfaceType=efa-only" \ "NetworkCardIndex=30,DeviceIndex=1,Groups=security_group_id,SubnetId=subnet_id,InterfaceType=efa-only" \ "NetworkCardIndex=31,DeviceIndex=1,Groups=security_group_id,SubnetId=subnet_id,InterfaceType=efa-only" ...
P6-B200 執行個體的總網路頻寬容量為 3,200 Gbps,其中最多 1600 Gbps 可用於 ENA。其中有 8 個 GPU 和 8 個網路卡,其中每個網路卡支援高達 400 Gbps EFA 頻寬和 200 Gbps ENA 頻寬。由於 EFA 和 ENA 流量共用相同的基礎資源,因此一個使用的頻寬將減少另一個可用的頻寬。
使用案例 1:儲存 IP 位址
此組態每個執行個體至少耗用一個私有 IP 位址,並支援高達 3200 Gbps 的 EFA 頻寬和 200 Gbps 的 ENA 頻寬。
-
對於主要網路介面 (網路卡索引 0、裝置索引 0),請使用 EFA (EFA 搭配 ENA) 網路介面。
-
對於剩餘的 7 個網路卡 (網路卡索引 1-7、裝置索引 1),請使用僅限 EFA 的網路介面。
使用案例 2:最大 EFA 和 ENA 頻寬
此組態每個執行個體至少耗用 8 個私有 IP 位址,並支援高達 3200 Gbps 的 EFA 頻寬和 1600 Gbps 的 ENA 頻寬。
-
對於主要網路介面 (網路卡索引 0、裝置索引 0) 和其餘 7 個網路卡 (網路卡索引 1-7、裝置索引 1),請使用 EFA (EFA 搭配 ENA) 網路介面。
P6e-GB200 執行個體最多可設定 17 個網路卡。下圖顯示 P6e-GB200 執行個體的實體網路介面卡 (NIC) 配置,以及網路卡索引 (NCI) 的映射。
主要 NCI (索引 0) 支援高達 100 Gbps 的 ENA 頻寬。具有下列索引的 NCI 僅支援 EFA 網路介面和 400 Gbps EFA 頻寬:[1, 3, 5, 7, 9, 11, 13, 15]。具有下列索引的 NCI 支援高達 200 Gbps 的 ENA 或 EFA 頻寬:[2, 4, 6, 8, 10, 12, 14, 16]。
下列群組中的 NCI 在主機上共用基礎實體 NIC:
-
[1 和 2]
-
[3 和 4]
-
[5 和 6]
-
[7 和 8]
-
[9 和 10]
-
[11 和 12]
-
[13 和 14]
-
[15 和 16]
每個實體 NIC 最多支援 400 Gbps 的頻寬。由於這些群組中的 NCI 共用相同的基礎實體 NIC,因此其中一個使用的頻寬將減少另一個可使用的頻寬。例如,如果 NCI 2 使用 200 Gbps 的 ENA 頻寬,則 NCI 1 同時可使用最多 200 Gbps 的 EFA 頻寬。
主機上的每個基礎 GPU 都可以直接透過下列 NCI 對來傳送流量:
-
[1 和 3]
-
[5 和 7]
-
[9 和 11]
-
[13 和 15]
每個 GPU 支援高達 400 Gbps 的 EFA 頻寬。由於這些群組中的網路卡共用相同的 GPU,因此其中一個使用的頻寬將減少另一個可使用的頻寬。例如,如果 NCI 1 使用 200 Gbps 的 EFA 頻寬,則 NCI 3 同時可使用最多 200 Gbps 的 EFA 頻寬。因此,為了達到最大的 EFA 效能,建議執行下列其中一項操作,以達到總共 1,600 Gbps 的 EFA 頻寬:
-
將僅限 EFA 的網路介面新增至每個群組中的一個 NIC,以達到每個網路介面 400 Gbps (4 個 EFA 網路介面 x 400 Gbps)。
-
將僅限 EFA 的網路界面新增至每個群組中的每個 NIC,以達到每個網路介面 200 Gbps (8 個 EFA 網路介面 x 200 Gbps)。
例如,下列組態在每個 NCI 群組中使用單一僅限 EFA 網路介面,提供高達 1,600 Gbps 的 EFA 頻寬,使用僅限主要 NCI (索引 0) 提供高達 100 Gbps 的 ENA 網路頻寬。
-
對於主要 NCI (網路卡索引 0,裝置索引 0),請使用 ENA 網路介面。
-
將僅限 EFA 的網路介面新增至下列項目:
-
NCI 1,裝置索引 0
-
NCI 5,裝置索引 0
-
NCI 9,裝置索引 0
-
NCI 13,裝置索引 0
-
P6-B300 執行個體的總網路頻寬容量高達 6400 Gbps,對於 ENA 流量則高達 3870 Gbps。它們有 8 GPUs 和 17 個網路卡,其中主要網路卡僅支援頻寬高達 350 Gbps 的 ENA 網路介面。次要網路卡支援高達 400 Gbps EFA 和高達 220 Gbps 的 ENA 頻寬。由於 EFA 和 ENA 流量共用相同的基礎資源,因此一個使用的頻寬將減少另一個可用的頻寬。
使用案例 1:儲存 IP 位址
此組態每個執行個體至少耗用一個私有 IP 地址,並支援高達 6400 Gbps 的 EFA 頻寬和高達 350 Gbps 的 ENA 頻寬。
-
對於主要網路界面 (網路卡索引 0、裝置索引 0),請使用 ENA 網路界面。
-
對於剩餘的網路卡 (網路卡索引 1-16、裝置索引 1),請使用僅限 EFA 的網路介面。
--network-interfaces \ "NetworkCardIndex=0,DeviceIndex=0,Groups=security_group_id,SubnetId=subnet_id,InterfaceType=interface" \ "NetworkCardIndex=1,DeviceIndex=0,Groups=security_group_id,SubnetId=subnet_id,InterfaceType=efa-only" \ "NetworkCardIndex=2,DeviceIndex=0,Groups=security_group_id,SubnetId=subnet_id,InterfaceType=efa-only" \ "NetworkCardIndex=3,DeviceIndex=0,Groups=security_group_id,SubnetId=subnet_id,InterfaceType=efa-only" \ "NetworkCardIndex=4,DeviceIndex=0,Groups=security_group_id,SubnetId=subnet_id,InterfaceType=efa-only" \ "NetworkCardIndex=5,DeviceIndex=0,Groups=security_group_id,SubnetId=subnet_id,InterfaceType=efa-only" \ "NetworkCardIndex=6,DeviceIndex=0,Groups=security_group_id,SubnetId=subnet_id,InterfaceType=efa-only" \ "NetworkCardIndex=7,DeviceIndex=0,Groups=security_group_id,SubnetId=subnet_id,InterfaceType=efa-only" \ "NetworkCardIndex=8,DeviceIndex=0,Groups=security_group_id,SubnetId=subnet_id,InterfaceType=efa-only" \ "NetworkCardIndex=9,DeviceIndex=0,Groups=security_group_id,SubnetId=subnet_id,InterfaceType=efa-only" \ "NetworkCardIndex=10,DeviceIndex=0,Groups=security_group_id,SubnetId=subnet_id,InterfaceType=efa-only" \ "NetworkCardIndex=11,DeviceIndex=0,Groups=security_group_id,SubnetId=subnet_id,InterfaceType=efa-only" \ "NetworkCardIndex=12,DeviceIndex=0,Groups=security_group_id,SubnetId=subnet_id,InterfaceType=efa-only" \ "NetworkCardIndex=13,DeviceIndex=0,Groups=security_group_id,SubnetId=subnet_id,InterfaceType=efa-only" \ "NetworkCardIndex=14,DeviceIndex=0,Groups=security_group_id,SubnetId=subnet_id,InterfaceType=efa-only" \ "NetworkCardIndex=15,DeviceIndex=0,Groups=security_group_id,SubnetId=subnet_id,InterfaceType=efa-only" \ "NetworkCardIndex=16,DeviceIndex=0,Groups=security_group_id,SubnetId=subnet_id,InterfaceType=efa-only
使用案例 2:最大 EFA 和 ENA 頻寬
此組態每個執行個體至少耗用 17 個私有 IP 地址,並支援高達 6400 Gbps 的 EFA 頻寬和高達 3870 Gbps 的 ENA 頻寬。
-
對於主要網路界面 (網路卡索引 0、裝置索引 0),請使用 ENA 網路界面。
-
對於剩餘的網路卡,請建立僅限 EFA 的介面 (網路卡索引 1-16 裝置索引 1) 和 ENA 介面網路卡索引 1-16 裝置索引 2)。
--network-interfaces \ "NetworkCardIndex=0,DeviceIndex=0,Groups=security_group_id,SubnetId=subnet_id,InterfaceType=interface" \ "NetworkCardIndex=1,DeviceIndex=0,Groups=security_group_id,SubnetId=subnet_id,InterfaceType=efa-only" \ "NetworkCardIndex=2,DeviceIndex=0,Groups=security_group_id,SubnetId=subnet_id,InterfaceType=efa-only" \ "NetworkCardIndex=3,DeviceIndex=0,Groups=security_group_id,SubnetId=subnet_id,InterfaceType=efa-only" \ "NetworkCardIndex=4,DeviceIndex=0,Groups=security_group_id,SubnetId=subnet_id,InterfaceType=efa-only" \ "NetworkCardIndex=5,DeviceIndex=0,Groups=security_group_id,SubnetId=subnet_id,InterfaceType=efa-only" \ "NetworkCardIndex=6,DeviceIndex=0,Groups=security_group_id,SubnetId=subnet_id,InterfaceType=efa-only" \ "NetworkCardIndex=7,DeviceIndex=0,Groups=security_group_id,SubnetId=subnet_id,InterfaceType=efa-only" \ "NetworkCardIndex=8,DeviceIndex=0,Groups=security_group_id,SubnetId=subnet_id,InterfaceType=efa-only" \ "NetworkCardIndex=9,DeviceIndex=0,Groups=security_group_id,SubnetId=subnet_id,InterfaceType=efa-only" \ "NetworkCardIndex=10,DeviceIndex=0,Groups=security_group_id,SubnetId=subnet_id,InterfaceType=efa-only" \ "NetworkCardIndex=11,DeviceIndex=0,Groups=security_group_id,SubnetId=subnet_id,InterfaceType=efa-only" \ "NetworkCardIndex=12,DeviceIndex=0,Groups=security_group_id,SubnetId=subnet_id,InterfaceType=efa-only" \ "NetworkCardIndex=13,DeviceIndex=0,Groups=security_group_id,SubnetId=subnet_id,InterfaceType=efa-only" \ "NetworkCardIndex=14,DeviceIndex=0,Groups=security_group_id,SubnetId=subnet_id,InterfaceType=efa-only" \ "NetworkCardIndex=15,DeviceIndex=0,Groups=security_group_id,SubnetId=subnet_id,InterfaceType=efa-only" \ "NetworkCardIndex=16,DeviceIndex=0,Groups=security_group_id,SubnetId=subnet_id,InterfaceType=efa-only" \ "NetworkCardIndex=1,DeviceIndex=1,Groups=security_group_id,SubnetId=subnet_id,InterfaceType=ena" \ "NetworkCardIndex=2,DeviceIndex=1,Groups=security_group_id,SubnetId=subnet_id,InterfaceType=ena" \ "NetworkCardIndex=3,DeviceIndex=1,Groups=security_group_id,SubnetId=subnet_id,InterfaceType=ena" \ "NetworkCardIndex=4,DeviceIndex=1,Groups=security_group_id,SubnetId=subnet_id,InterfaceType=ena" \ "NetworkCardIndex=5,DeviceIndex=1,Groups=security_group_id,SubnetId=subnet_id,InterfaceType=ena" \ "NetworkCardIndex=6,DeviceIndex=1,Groups=security_group_id,SubnetId=subnet_id,InterfaceType=ena" \ "NetworkCardIndex=7,DeviceIndex=1,Groups=security_group_id,SubnetId=subnet_id,InterfaceType=ena" \ "NetworkCardIndex=8,DeviceIndex=1,Groups=security_group_id,SubnetId=subnet_id,InterfaceType=ena" \ "NetworkCardIndex=9,DeviceIndex=1,Groups=security_group_id,SubnetId=subnet_id,InterfaceType=ena" \ "NetworkCardIndex=10,DeviceIndex=1,Groups=security_group_id,SubnetId=subnet_id,InterfaceType=ena" \ "NetworkCardIndex=11,DeviceIndex=1,Groups=security_group_id,SubnetId=subnet_id,InterfaceType=ena" \ "NetworkCardIndex=12,DeviceIndex=1,Groups=security_group_id,SubnetId=subnet_id,InterfaceType=ena" \ "NetworkCardIndex=13,DeviceIndex=1,Groups=security_group_id,SubnetId=subnet_id,InterfaceType=ena" \ "NetworkCardIndex=14,DeviceIndex=1,Groups=security_group_id,SubnetId=subnet_id,InterfaceType=ena" \ "NetworkCardIndex=15,DeviceIndex=1,Groups=security_group_id,SubnetId=subnet_id,InterfaceType=ena" \ "NetworkCardIndex=16,DeviceIndex=1,Groups=security_group_id,SubnetId=subnet_id,InterfaceType=ena