本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。
Amazon FSx for Lustre 入門
接下來,您可以了解如何開始使用 Amazon FSx for Lustre。這些步驟會逐步引導您建立 Amazon FSx for Lustre 檔案系統,並從運算執行個體存取它。或者,它們示範如何使用 Amazon FSx for Lustre 檔案系統,透過以檔案為基礎的應用程式來處理 Amazon S3 儲存貯體中的資料。
此入門練習包含下列步驟。
先決條件
若要執行此入門練習,您需要下列項目:
-
具有建立 Amazon FSx for Lustre 檔案系統和 Amazon EC2 執行個體所需許可 AWS 的帳戶。如需詳細資訊,請參閱設定 Amazon FSx for Lustre。
-
建立要與您的 FSx for Lustre 檔案系統關聯的 Amazon VPC 安全群組,並且在建立檔案系統之後不要變更。如需詳細資訊,請參閱為您的 Amazon FSx 檔案系統建立安全群組。
-
在以 Amazon VPC 服務為基礎的虛擬私有雲端 (VPC) 中執行支援 Linux 版本的 Amazon EC2 執行個體。針對本入門練習,建議使用 Amazon Linux 2023。您將在此 EC2 執行個體上安裝 Lustre用戶端,然後在 EC2 執行個體上掛載 FSx for Lustre 檔案系統。如需建立 EC2 執行個體的詳細資訊,請參閱《Amazon EC2 使用者指南》中的入門:啟動執行個體或啟動執行個體。
除了 Amazon Linux 2023 之外,Lustre用戶端還支援 Amazon Linux 2、Red Hat Enterprise Linux (RHEL)、CentOS、Rocky Linux、SUSE Linux Enterprise Server 和 Ubuntu 作業系統。如需詳細資訊,請參閱Lustre 檔案系統和用戶端核心相容性。
-
為此入門練習建立 Amazon EC2 執行個體時,請記住下列事項:
-
我們建議您在預設 VPC 中建立執行個體。
-
我們建議您在建立 EC2 執行個體時使用預設安全群組。
-
決定您要建立、抓取或持久性的 Amazon FSx for Lustre 檔案系統類型。如需詳細資訊,請參閱FSx for Lustre 檔案系統的部署和儲存類別選項。
每個 FSx for Lustre 檔案系統需要每個中繼資料伺服器 (MDS) 一個 IP 地址,以及每個儲存伺服器 (OSS) 一個 IP 地址。如需詳細資訊,請參閱檔案系統的 IP 地址。
存放資料以供工作負載處理的 Amazon S3 儲存貯體。S3 儲存貯體將是 FSx for Lustre 檔案系統的連結耐用資料儲存庫。
步驟 1:建立 FSx for Lustre 檔案系統
您可以在 Amazon FSx 主控台中建立檔案系統。請注意,使用 Amazon FSx 主控台建立時,所有 FSx for Lustre 檔案系統都建置在 2.15 Lustre版上。
建立 檔案系統
-
在 https://console.aws.amazon.com/fsx/
:// 開啟 Amazon FSx 主控台。 -
從儀表板中,選擇建立檔案系統以啟動檔案系統建立精靈。
-
選擇 FSx for Lustre ,然後選擇下一步以顯示建立檔案系統頁面。
使用檔案系統詳細資訊區段開始您的組態。
-
對於檔案系統名稱 - 選用,請提供檔案系統的名稱。您最多可以使用 256 個 Unicode 字母、空格和數字加上特殊字元 + - = . _ : /。
-
針對部署和儲存類別,選擇其中一個選項:
針對長期儲存和對延遲敏感的工作負載,選擇持久性 SSD。使用 SSD 儲存體時,您需要支付佈建的儲存體數量。
或者,選擇啟用 EFA 以啟用檔案系統的彈性布料轉接器 (EFA) 支援。如需 EFA 的詳細資訊,請參閱 使用已啟用 EFA 的檔案系統。
針對長期儲存選擇持久性、智慧型分層。Intelligent-Tiering 儲存類別提供完全彈性且符合成本效益的儲存體,適用於大多數工作負載,以及選用的 SSD 讀取快取,可為經常存取的資料讀取提供 SSD 延遲。使用 Intelligent-Tiering 時,會根據資料集的大小,向您收取所存放資料的費用,而且不需要指定檔案系統大小。
或者,選擇啟用 EFA 以啟用檔案系統的彈性布料轉接器 (EFA) 支援。
選擇臨時儲存和短期資料處理的 Scratch、SSD 部署。使用 SSD 儲存體時,您需要支付佈建的儲存體數量。
-
選擇檔案系統的輸送量。您需要支付佈建輸送量的費用。
對於持久性 SSD 儲存,選擇每單位儲存值的輸送量。每單位儲存的輸送量是每佈建 1 tebibyte (TiB) 儲存的讀取和寫入輸送量。
對於 Scratch SSD 儲存,選擇每單位儲存值的輸送量。
針對智慧型分層儲存,選擇輸送量容量值。
-
對於儲存容量 (僅限 SSD 儲存類別),請以 TB 為單位設定檔案系統的儲存容量:
對於持久性 SSD 部署類型,請將此值設定為 1.2 TiB、2.4 TiB 或 2.4 TiB 的增量。
對於已啟用 EFA 的持久性 SSD 部署類型,請針對 1000、500、250 和 125 MBps/TiB 輸送量層,以 4.8 TiB、9.6 TiB、19.2 TiB 和 38.4 TiB 的增量來設定此值。 TiB
您可以在建立檔案系統之後,視需要增加儲存容量。如需詳細資訊,請參閱管理儲存容量。
-
針對中繼資料組態,請選擇下列其中一個選項,為您的檔案系統佈建中繼資料 IOPS 的數量:
-
如果您希望 Amazon FSx for Lustre 根據檔案系統的儲存容量自動佈建和擴展檔案系統上的中繼資料 IOPS,請選擇自動 (僅限 SSD 儲存類別)。
-
如果您想要指定使用 SSD 或 Intelligent-Tiering 儲存類別為檔案系統佈建的中繼資料 IOPS 數量,請選擇使用者佈建。有效值如下:
對於 SSD 檔案系統,有效值為
1500
、3000
、12000
、6000
和12000
的倍數,上限為192000
。對於 Intelligent-Tiering 檔案系統,有效值為
6000
和12000
。
如需中繼資料 IOPS 的詳細資訊,請參閱 Lustre 中繼資料效能組態。
-
-
針對 SSD 讀取快取 (僅限 Intel-Tiering),選取自動 (與輸送量容量成正比) 或自訂 (使用者佈建)。使用自動選項,Amazon FSx for Lustre 會根據您佈建的輸送量自動選擇讀取快取大小。如果您知道作用中工作資料集的大致大小,則可以選取自訂來自訂 SSD 讀取快取的大小。如需詳細資訊,請參閱管理佈建的 SSD 讀取快取。
-
針對資料壓縮類型,選擇 NONE 以關閉資料壓縮,或選擇 LZ4 以 LZ4 演算法開啟資料壓縮。如需詳細資訊,請參閱Lustre 資料壓縮。
-
在網路與安全區段中,提供下列聯網和安全群組資訊:
針對 Virtual Private Cloud (VPC),選擇您要與檔案系統建立關聯的 VPC。針對此入門練習,請選擇您為 Amazon EC2 執行個體選擇的相同 VPC。
對於 VPC 安全群組,應該已新增 VPC 預設安全群組的 ID。
如果您不是使用預設安全群組,請確定下列傳入規則已新增至您用於此入門練習的安全群組。
Type 通訊協定 連接埠範圍 來源 描述 所有 TCP TCP 0-65535 自訂 the_ID_of_this_security_group
傳入Lustre流量規則 重要
請確定您使用的安全群組遵循 中提供的組態指示使用 Amazon VPC 的檔案系統存取控制。您必須設定安全群組,以允許連接埠 988 和 1018-1023 上來自安全群組本身或完整子網路 CIDR 的傳入流量,這是允許檔案系統主機彼此通訊的必要條件。
如果您要建立已啟用 EFA 的檔案系統,請務必指定已啟用 EFA 的安全群組。
針對子網路,從可用子網路清單中選擇任何值。
-
對於加密區段,可用的選項取決於您要建立的檔案系統類型:
-
對於持久性檔案系統,您可以選擇 AWS Key Management Service (AWS KMS) 加密金鑰來加密靜態檔案系統上的資料。
-
對於暫存檔案系統,靜態資料會使用 管理的金鑰進行加密 AWS。
-
對於暫存 2 和持久性檔案系統,當從支援的 Amazon EC2 執行個體類型存取檔案系統時,傳輸中的資料會自動加密。如需詳細資訊,請參閱加密傳輸中的資料。
-
-
對於資料儲存庫匯入/匯出選用區段,預設會停用將檔案系統連結至 Amazon S3 資料儲存庫。如需啟用此選項以及建立與現有 S3 儲存貯體之資料儲存庫關聯的相關資訊,請參閱 在建立檔案系統時連結 S3 儲存貯體 (主控台)。
重要
選取此選項也會停用備份,而且您將無法在建立檔案系統時啟用備份。
如果您將一或多個 Amazon FSx for Lustre 檔案系統連結至 Amazon S3 儲存貯體,則在刪除所有連結的檔案系統之前,請勿刪除 Amazon S3 儲存貯體。
Intelligent-Tiering 檔案系統不支援連結至 Amazon S3 資料儲存庫。
-
對於記錄選用,預設會啟用記錄。啟用時,檔案系統上資料儲存庫活動的失敗和警告會記錄到 Amazon CloudWatch Logs。如需設定記錄的資訊,請參閱 管理記錄。
-
在備份和維護選用中,您可以執行下列動作。
-
停用每日自動備份。除非您啟用資料儲存庫匯入/匯出,否則此選項預設為啟用。
-
設定每日自動備份時段的開始時間。
-
設定自動備份保留期,從 1 到 35 天。
-
設定每週維護時段開始時間,或將其設定為預設無偏好設定。
如需詳細資訊,請參閱使用備份保護您的資料及Amazon FSx for Lustre 維護時段。
-
-
對於 Root Squash 選用,根 Squash 預設為停用。如需啟用和設定根 squash 的資訊,請參閱 在建立檔案系統時啟用根 squash (主控台)。
-
建立您要套用至檔案系統的任何標籤。
-
選擇下一步以顯示建立檔案系統摘要頁面。
-
檢閱 Amazon FSx for Lustre 檔案系統的設定,然後選擇建立檔案系統。
現在您已建立檔案系統,請記下其完整網域名稱和掛載名稱以供後續步驟使用。您可以在檔案系統儀表板中選擇檔案系統的名稱,然後選擇連接,以尋找檔案系統的完整網域名稱和掛載名稱。
步驟 2:安裝和設定Lustre用戶端
您必須先執行下列動作,才能從 Amazon EC2 執行個體存取 Amazon FSx for Lustre 檔案系統:
確認您的 EC2 執行個體符合最低核心需求。
視需要更新核心。
下載並安裝 Lustre用戶端。
檢查核心版本並下載Lustre用戶端
-
在 EC2 執行個體上開啟終端機視窗。
-
執行下列命令,判斷目前在運算執行個體上執行的核心。
uname -r
-
執行以下任意一項:
-
如果命令
6.1.79-99.167.amzn2023.x86_64
針對 x86 型 EC2 執行個體傳回 ,或針對 Graviton2-based EC2 執行個體傳回6.1.79-99.167.amzn2023.aarch64
或更高版本,請使用下列命令下載並安裝Lustre用戶端。sudo dnf install -y lustre-client
-
如果命令傳回的結果小於
6.1.79-99.167.amzn2023.x86_64
以 x86 為基礎的 EC2 執行個體,或小於以6.1.79-99.167.amzn2023.aarch64
Graviton2 為基礎的 EC2 執行個體,請執行下列命令來更新核心並重新啟動 Amazon EC2 執行個體。 Graviton2-basedsudo dnf -y update kernel && sudo reboot
確認已使用 uname -r命令更新核心。然後下載並安裝Lustre用戶端,如上所述。
如需在其他 Linux 發行版本上安裝Lustre用戶端的詳細資訊,請參閱 安裝Lustre用戶端。
-
步驟 3:掛載檔案系統
若要掛載檔案系統,您將建立掛載目錄或掛載點,然後將檔案系統掛載到用戶端,並確認用戶端可以存取檔案系統。
掛載檔案系統
-
使用以下命令建立掛載點的目錄。
sudo mkdir -p /mnt/fsx
-
將 Amazon FSx for Lustre 檔案系統掛載到您建立的目錄。使用下列命令並取代下列項目:
將 取代為實際檔案系統的網域名稱系統 (DNS) 名稱。file_system_dns_name
將 取代為檔案系統的掛載名稱,您可以透過執行 describe-file-systems AWS CLI 命令或 DescribeFileSystems API 操作取得。mountname
sudo mount -t lustre -o relatime,flock
file_system_dns_name
@tcp:/mountname
/mnt/fsx此命令使用兩個選項
-o relatime
和 掛載您的檔案系統flock
:-
relatime
– 雖然atime
選項會在每次存取檔案時維護atime
(節點存取時間) 資料,但relatime
選項也會維護atime
資料,但不會在每次存取檔案時維護資料。啟用relatime
選項後,只有當檔案自上次更新後已經過修改 (mtime
),或檔案上次存取的時間超過特定時間 (預設為 6 小時) 時,才會將atime
資料atime
寫入磁碟。使用relatime
或atime
選項將檔案發行程序最佳化。注意
如果您的工作負載需要精確的存取時間準確性,您可以使用 掛載選項進行
atime
掛載。不過,這樣做可能會增加維持精確存取時間值所需的網路流量,進而影響工作負載效能。如果您的工作負載不需要中繼資料存取時間,使用
noatime
掛載選項停用存取時間的更新可提供效能提升。請注意,檔案發行或發佈資料有效性等atime
重點程序在其發行版本中將不準確。 -
flock
– 啟用檔案系統的檔案鎖定。如果您不想要啟用檔案鎖定,請在沒有 的情況下使用mount
命令flock
。
-
使用下列命令,列出您掛載檔案系統 的目錄內容
/mnt/fsx
,以確認掛載命令成功。ls /mnt/fsx
import-path lustre $您也可以使用
df
命令,如下所示。df Filesystem 1K-blocks Used Available Use% Mounted on devtmpf 1001808 0 1001808 0% /dev tmpfs 1019760 0 1019760 0% /dev/shm tmpfs 1019760 392 1019368 1% /run tmpfs 1019760 0 1019760 0% /sys/fs/cgroup /dev/xvda1 8376300 1263180 7113120 16% / 123.456.789.0@tcp:/
mountname
3547698816 13824 3547678848 1% /mnt/fsx tmpfs 203956 0 203956 0% /run/user/1000結果顯示掛載在 /mnt/fsx 上的 Amazon FSx 檔案系統。
步驟 4:執行工作流程
現在您的檔案系統已建立並掛載到運算執行個體,您可以使用它來執行高效能運算工作負載。
您可以建立資料儲存庫關聯,將檔案系統連結至 Amazon S3 資料儲存庫,如需詳細資訊,請參閱 將您的檔案系統連結至 Amazon S3 儲存貯體。
將檔案系統連結至 Amazon S3 資料儲存庫之後,您可以隨時將寫入檔案系統的資料匯出回 Amazon S3 儲存貯體。從其中一個運算執行個體的終端機執行下列命令,將檔案匯出至 Amazon S3 儲存貯體。
sudo lfs hsm_archive
file_name
如需如何在資料夾或大型檔案集合上快速執行此命令的詳細資訊,請參閱 使用 HSM 命令匯出檔案。
步驟 5:清除 資源
完成本練習後,您應該遵循這些步驟來清理資源並保護 AWS 您的帳戶。
清理資源
-
如果您想要執行最終匯出,請執行下列命令。
nohup find /mnt/fsx -type f -print0 | xargs -0 -n 1 sudo lfs hsm_archive &
-
在 Amazon EC2 主控台上,終止您的執行個體。如需詳細資訊,請參閱《Amazon EC2 使用者指南》中的終止您的執行個體。
-
在 Amazon FSx for Lustre 主控台上,使用下列程序刪除您的檔案系統:
-
在導覽窗格中,選擇檔案系統。
-
從儀表板上的檔案系統清單中選擇要刪除的檔案系統。
-
針對 Actions (動作),選擇 Delete file system (刪除檔案系統)。
-
在出現的對話方塊中,選擇您是否要對檔案系統進行最終備份。然後提供檔案系統 ID 以確認刪除。選擇刪除檔案系統。
-
-
如果您已為此練習建立 Amazon S3 儲存貯體,而且您不想保留匯出的資料,您現在可以將其刪除。如需詳細資訊,請參閱《Amazon Simple Storage Service 使用者指南》中的刪除儲存貯體。