開始使用適用於 Amazon EC2 上推論工作負載的 EFA 和 NIXL

在 https://console.aws.amazon.com/ec2/ 開啟 Amazon EC2 主控台。

在導覽窗格中，選擇 Security Groups (安全群組)，然後選擇 Create Security Group (建立安全群組)。

在 Create Security Group (建立安全群組) 視窗中，執行下列動作：

1. 對於 Security group name (安全群組名稱)，輸入安全群組的描述性名稱，例如 EFA-enabled security group。

2. (選用) 對於 Description (描述)，輸入安全群組的簡短描述。

3. 對於 VPC，選取您打算讓具備 EFA 功能的執行個體在其中啟動的 VPC。

4. 選擇 Create Security Group (建立安全群組)。

選取您建立的安全群組，在 Details (詳細資料) 索引標籤上，複製 Security group ID (安全群組 ID)。

在仍然選取安全群組的情況下，依序選取 Actions (動作) 和 Edit inbound rules (編輯傳入規則)，然後執行下列動作。

1. 選擇新增規則。

2. 針對類型，選擇所有流量。

3. 若為 Source type (來源類型)，選擇 Custom (自訂)，然後將您複製的安全群組 ID 貼到欄位中。

4. 選擇新增規則。

5. 針對 Type (類型)，選擇 SSH。

6. 針對 Source type (來源類別)，選擇 Anywhere-IPv4(隨處 - IPv4)。

7. 選擇儲存規則。

在仍然選取安全群組的情況下，依序選取 Actions (動作) 和 Edit outbound rules (編輯傳出規則)，然後執行下列動作。

1. 選擇新增規則。

2. 針對類型，選擇所有流量。

3. 若為 Destination type (目的地類型)，選擇 Custom (自訂)，然後將您複製的安全群組 ID 貼到欄位中。

4. 選擇儲存規則。

前往 https://console.aws.amazon.com/ec2/ 開啟 Amazon EC2 主控台。

在導覽窗格中，選擇 Instances (執行個體)，接著選擇 Launch Instances (啟動執行個體) 來開啟新的啟動執行個體精靈。

(選用) 在 Name and tags (名稱和標籤) 區段中，為執行個體命名，例如，EFA-instance。該名稱將指派作為執行個體的資源標籤 (Name=EFA-instance)。

在應用程式和作業系統映像區段中，為其中一個支援的作業系統選取 AMI。您也可以在 DLAMI 版本備註頁面上選取支援的 DLAMI。

在執行個體類型區段中，選取支援的執行個體類型。

在 Key pair (金鑰對) 區段中，選取要用於執行個體的金鑰對。

在 Network settings (網路設定) 區段，選擇 Edit (編輯)，接著執行下列動作：

1. 對於 Subnet (子網路)，請選擇要在其中啟動執行個體的子網路。若您未選取子網路，便無法啟用 EFA 的執行個體。

2. 針對 Firewall (security groups) (防火牆 (安全群組))，選取 Select existing security group (選取現有的安全群組)，接著選取您在前一個步驟中建立的安全群組。

3. 展開進階設定區段。

   針對網路介面 1，選取網路卡索引 = 0、裝置索引 = 0，以及介面類型 = EFA 搭配 ENA。

   (選用) 如果您使用的是多卡執行個體類型，例如 p4d.24xlarge 或 p5.48xlarge，則針對所需的每個額外網路介面，選擇新增網路介面，針對網路卡索引，選擇下一個未使用的索引，然後選擇裝置索引 = 1，介面類型 = EFA 搭配 ENA 或僅限 EFA。

在儲存區段中，根據需求設定磁碟區。

在右邊的 Summary (摘要) 面板中，選擇 Launch instance (啟動執行個體)。

為確保所有軟體套件皆為最新版本，請對您的執行個體執行快速軟體更新。

$ sudo apt-get update && sudo apt-get upgrade -y

請安裝 Nvidia GPU 驅動程式和 Nvidia CUDA 工具組需要的公用程式。

$ sudo apt-get install build-essential -y

若要使用 Nvidia GPU 驅動程式，您必須先停用 nouveau 開源驅動程式。

1. 針對您目前執行的核心版本，安裝需要的公用程式和核心標頭套件。

   $ sudo apt-get install -y gcc make linux-headers-$(uname -r)

2. 新增 nouveau 至 /etc/modprobe.d/blacklist.conf 拒絕清單檔案。

   $ cat << EOF | sudo tee --append /etc/modprobe.d/blacklist.conf
   blacklist vga16fb
   blacklist nouveau
   blacklist rivafb
   blacklist nvidiafb
   blacklist rivatv
   EOF

3. 使用您偏好的文字編輯器開啟 /etc/default/grub，然後新增下列命令。

   GRUB_CMDLINE_LINUX="rdblacklist=nouveau"

4. 重建 Grub 組態。

   $ sudo update-grub

重新啟動執行個體並重新連線至其中。

新增 CUDA 儲存庫並安裝 Nvidia GPU 驅動程式、NVIDIA CUDA 工具組和 cuDNN。

$ sudo apt-key adv --fetch-keys http://developer.download.nvidia.com/compute/machine-learning/repos/ubuntu2004/x86_64/7fa2af80.pub \
&& wget -O /tmp/deeplearning.deb http://developer.download.nvidia.com/compute/machine-learning/repos/ubuntu2004/x86_64/nvidia-machine-learning-repo-ubuntu2004_1.0.0-1_amd64.deb \
&& sudo dpkg -i /tmp/deeplearning.deb \
&& wget -O /tmp/cuda.pin https://developer.download.nvidia.com/compute/cuda/repos/ubuntu2004/x86_64/cuda-ubuntu2004.pin \
&& sudo mv /tmp/cuda.pin /etc/apt/preferences.d/cuda-repository-pin-600 \
&& sudo apt-key adv --fetch-keys https://developer.download.nvidia.com/compute/cuda/repos/ubuntu2004/x86_64/3bf863cc.pub \
&& sudo add-apt-repository 'deb http://developer.download.nvidia.com/compute/cuda/repos/ubuntu2004/x86_64/ /' \
&& sudo apt update \
&& sudo apt install nvidia-dkms-535 \
&& sudo apt install -o Dpkg::Options::='--force-overwrite' cuda-drivers-535 cuda-toolkit-12-3 libcudnn8 libcudnn8-dev -y

重新啟動執行個體並重新連線至其中。

(僅限 p4d.24xlarge 和 p5.48xlarge) 安裝 Nvidia Fabric Manager。

1. 您安裝的 Nvidia Fabric Manager 版本必須與您在上一個步驟中安裝的 Nvidia 核心模組版本一致。

   執行以下命令來判斷 Nvidia 核心模組的版本。

   $ cat /proc/driver/nvidia/version | grep "Kernel Module"

   以下為範例輸出。

   NVRM version: NVIDIA UNIX x86_64 Kernel Module  450.42.01  Tue Jun 15 21:26:37 UTC 2021

   在上述範例中，已安裝核心模組主要版本 450。這表示您需要安裝 Nvidia Fabric Manager 版本 450。

2. 安裝 Nvidia Fabric Manager。執行以下命令，並指定在上一步驟中使用的主要版本。

   $ sudo apt install -o Dpkg::Options::='--force-overwrite' nvidia-fabricmanager-major_version_number

   例如，如果已安裝核心模組的主要版本 450，請使用下列命令來安裝同樣版本的 Nvidia Fabric Manager。

   $ sudo apt install -o Dpkg::Options::='--force-overwrite' nvidia-fabricmanager-450

3. 啟動服務，並確保服務會在執行個體啟動時自動啟動。NV Switch Management 需要使用 Nvidia Fabric Manager。

   $ sudo systemctl start nvidia-fabricmanager && sudo systemctl enable nvidia-fabricmanager

確認每次執行個體啟動時都已設定 CUDA 路徑。

若要確認 Nvidia GPU 驅動程式正確運作，請執行下列命令。

$ nvidia-smi -q | head

命令應該回傳 Nvidia GPU、Nvidia GPU 驅動程式和 Nvidia CUDA 工具組的資訊。

安裝所需的依存項目。

$ sudo apt -y install build-essential devscripts debhelper check libsubunit-dev fakeroot pkg-config dkms

下載並解壓縮 GDRCopy 套件。

$ wget https://github.com/NVIDIA/gdrcopy/archive/refs/tags/v2.4.tar.gz \
&& tar xf v2.4.tar.gz \
&& cd gdrcopy-2.4/packages

建置 GDRCopy DEB 套件。

$ CUDA=/usr/local/cuda ./build-deb-packages.sh

安裝 GDRCopy DEB 套件。

$ sudo dpkg -i gdrdrv-dkms_2.4-1_amd64.*.deb \
&& sudo dpkg -i libgdrapi_2.4-1_amd64.*.deb \
&& sudo dpkg -i gdrcopy-tests_2.4-1_amd64.*.deb \
&& sudo dpkg -i gdrcopy_2.4-1_amd64.*.deb

連接至您啟動的執行個體。如需詳細資訊，請參閱使用 SSH 連線至您的 Linux 執行個體。

下載 EFA 軟體安裝檔案。軟體安裝檔案已封裝成壓縮 tarball (.tar.gz) 檔案。若要下載最新穩定版本，請使用下列命令：

$ curl -O https://efa-installer.amazonaws.com/aws-efa-installer-1.47.0.tar.gz

從壓縮.tar.gz檔案解壓縮檔案，刪除 tarball，然後導覽至解壓縮的目錄。

$ tar -xf aws-efa-installer-1.47.0.tar.gz && rm -rf aws-efa-installer-1.47.0.tar.gz && cd aws-efa-installer

執行 EFA 軟體安裝指令碼。

$ sudo ./efa_installer.sh -y

Libfabric 安裝在 /opt/amazon/efa 目錄中。

如果 EFA 安裝程式提示您重新啟動執行個體，請執行這項操作，然後重新連線至執行個體。否則，請登出執行個體，然後重新登入以完成安裝。

確認已成功安裝 EFA 軟體元件。

$ fi_info -p efa -t FI_EP_RDM

此命令應該會傳回 Libfabric EFA 介面的相關資訊。以下範例顯示命令輸出。

在 https://console.aws.amazon.com/ec2/ 開啟 Amazon EC2 主控台。

在導覽窗格中，選擇 Instances (執行個體)。

選取您建立的暫時執行個體，然後選取 Actions (動作)、Image (映像)、Create image (建立映像)。

對於 Create image (建立映像)，執行下列動作：

1. 對於 Image name (映像名稱)，輸入 AMI 的描述性名稱。

2. (選用) 對於 Image description (映像描述)，輸入 AMI 的簡短描述。

3. 選擇建立映像。

在導覽窗格中，選擇 AMIs。

在清單中找出您建立的 AMI。等待狀態從pending變為available，再繼續進行下一個步驟。

在 https://console.aws.amazon.com/ec2/ 開啟 Amazon EC2 主控台。

在導覽窗格中，選擇 Instances (執行個體)。

選取您建立的暫時執行個體，然後選取動作、執行個體狀態、終止執行個體。

出現確認提示時，請選擇終止。

前往 https://console.aws.amazon.com/ec2/ 開啟 Amazon EC2 主控台。

在導覽窗格中，選擇 Instances (執行個體)，接著選擇 Launch Instances (啟動執行個體) 來開啟新的啟動執行個體精靈。

(選用) 在 Name and tags (名稱和標籤) 區段中，為執行個體命名，例如，EFA-instance。該名稱將指派作為執行個體的資源標籤 (Name=EFA-instance)。

在 Application and OS Images (應用程式和作業系統映像) 區段中，選取 My AMIs (我的 AMI)，接著選取您在前一個步驟中建立的 AMI。

在執行個體類型區段中，選取支援的執行個體類型。

在 Key pair (金鑰對) 區段中，選取要用於執行個體的金鑰對。

在 Network settings (網路設定) 區段，選擇 Edit (編輯)，接著執行下列動作：

1. 對於 Subnet (子網路)，請選擇要在其中啟動執行個體的子網路。若您未選取子網路，便無法啟用 EFA 的執行個體。

2. 針對防火牆 （安全群組），選擇選取現有的安全群組，然後選取您在步驟 1 中建立的安全群組。

3. 展開進階設定區段。

   針對網路介面 1，選取網路卡索引 = 0、裝置索引 = 0，以及介面類型 = EFA 搭配 ENA。

   (選用) 如果您使用的是多卡執行個體類型，例如 p4d.24xlarge 或 p5.48xlarge，則針對所需的每個額外網路介面，選擇新增網路介面，針對網路卡索引，選擇下一個未使用的索引，然後選擇裝置索引 = 1，介面類型 = EFA 搭配 ENA 或僅限 EFA。

(選用) 在儲存區段中，根據需求設定磁碟區。

在右邊的摘要面板，針對執行個體的數目，輸入要啟動的具備 EFA 功能的執行個體數量，接著選擇啟動執行個體。

選取叢集中的一個執行個體作為領導節點，並與它連線。

在領導節點上停用 strictHostKeyChecking 並啟用 ForwardAgent。使用您偏好的文字編輯器開啟 ~/.ssh/config，然後新增下列命令。

Host *
    ForwardAgent yes
Host *
    StrictHostKeyChecking no

產生 RSA 金鑰對。

$ ssh-keygen -t rsa -N "" -f ~/.ssh/id_rsa

在 $HOME/.ssh/ 目錄中建立金鑰對。

變更領導節點上私有金鑰的許可。

$ chmod 600 ~/.ssh/id_rsa
chmod 600 ~/.ssh/config

使用您偏好的文字編輯器開啟 ~/.ssh/id_rsa.pub 並複製該金鑰。

對於叢集中的每個成員節點，執行以下操作：

1. 連線到執行個體。

2. 使用您偏好的文字編輯器開啟 ~/.ssh/authorized_keys，然後新增您先前複製的公有金鑰。

若要測試無密碼的 SSH 是否如預期運作，請連線至領導節點並執行下列命令。

$ ssh member_node_private_ip

您應該連線至成員節點，而不會提示您輸入金鑰或密碼。

安裝 vLLM。

$ pip install vllm

使用 NIXL 啟動 vLLM 伺服器。下列範例命令會為 NIXL 交握連線、KV 連接器、KV 角色和傳輸後端建立一個預填充 （生產者） 和一個解碼 （消費者） 執行個體。如需詳細範例和指令碼，請參閱 NIXLConnector 使用者指南。

若要搭配 EFA 使用 NIXL，請根據您的設定和使用案例設定環境變數。

上述範例組態會設定下列項目：