View a markdown version of this page

FSx for Lustre 檔案系統的部署和儲存類別選項 - FSx for Lustre

本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。

FSx for Lustre 檔案系統的部署和儲存類別選項

Amazon FSx for Lustre 提供兩種檔案系統部署選項:持久性和暫存。它提供三種儲存類別:SSD (固態硬碟)、Intelligent-TieringHDD (硬碟)。

當您使用 AWS 管理主控台、 AWS Command Line Interface (AWS CLI) 或 Amazon FSx for Lustre API 建立新的檔案系統時,您可以選擇檔案系統部署類型和儲存類別。如需詳細資訊,請參閱《Amazon FSx API 參考》中的 步驟 1:建立 FSx for Lustre 檔案系統CreateFileSystem

持久性檔案系統

持久性檔案系統專為長期儲存和工作負載而設計。對於 SSD 和 HDD 型檔案系統,資料會在檔案系統所在的相同可用區域內自動複寫。對於智慧型分層檔案系統,資料會跨多個可用區域複寫。連接至檔案伺服器的資料磁碟區會獨立於其連接的檔案伺服器進行複寫。

Amazon FSx 會持續監控持續性檔案系統是否有硬體故障,並在發生故障時自動取代基礎設施元件。在持久性檔案系統上,如果檔案伺服器無法使用,則會在失敗後的幾分鐘內自動取代。在此期間,用戶端會透明地重試該伺服器上的資料請求,並在取代檔案伺服器後最終成功。持久性檔案系統上的資料會複寫在磁碟上,而任何失敗的磁碟都會以透明的方式自動取代。

將持久性檔案系統用於長期儲存,以及用於長時間或無限期執行且可能對可用性中斷敏感的以輸送量為中心的工作負載。

從支援傳輸中加密的 Amazon EC2 執行個體存取持續部署類型時,會自動加密傳輸中的資料。

Amazon FSx for Lustre 支援兩種持久性部署類型:持久性 1 和持久性 2。

持久性 2 部署類型

持久性 2 是最新一代的持久性部署類型,最適合需要長期儲存,且需要最高 IOPS 和輸送量的使用案例。持久性 2 檔案系統支援 SSD 和智慧型分層儲存類別。

您可以使用 Amazon FSx 主控台和 Amazon FSx API AWS Command Line Interface,建立已啟用中繼資料組態和 EFA 的持久性 2 檔案系統。

持久性 1 部署類型

持久性 1 部署類型非常適合需要長期儲存的使用案例。持久性 1 部署類型支援 SSD (固態硬碟) 和 HDD (硬碟) 儲存類別。

您只能使用 AWS CLI 和 Amazon FSx API 來建立持久性 1 部署類型。

Scratch 檔案系統

Scratch 檔案系統專為臨時儲存和短期處理資料而設計。檔案伺服器故障時,資料不會複寫也不會保留。暫存檔案系統提供高達每 TiB 儲存容量基準輸送量 200 MBps 之六倍的高爆量輸送量。如需詳細資訊,請參閱SSD 和 HDD 儲存類別的效能特性

當您需要針對短期、處理繁重的工作負載進行成本最佳化儲存時,請使用暫存檔案系統。

在暫存檔案系統上,如果檔案伺服器失敗且未複寫資料,則不會取代檔案伺服器。如果暫存檔案系統無法使用檔案伺服器或儲存磁碟,則存放在其他伺服器上的檔案仍然可以存取。如果用戶端嘗試存取無法使用伺服器或磁碟上的資料,用戶端會遇到立即 I/O 錯誤。

下表說明在一天和一週內暫存範例大小檔案系統的可用性或耐久性。由於較大的檔案系統擁有更多檔案伺服器和更多磁碟,因此故障的機率會增加。

檔案系統大小 (TiB) 檔案伺服器數量 一天內的可用性/耐用性 一週內的可用性/耐用性

1.2

2

99.9%

99.4%

2.4

2

99.9%

99.4%

4.8

3

99.8%

99.2%

9.6

5

99.8%

98.6%

50.4

22

99.1%

93.9%

檔案系統的 IP 地址

每個 FSx for Lustre 檔案系統需要每個中繼資料伺服器 (MDS) 一個 IP 地址,以及每個儲存伺服器 (OSS) 一個 IP 地址。

使用 SSD 或 HDD 儲存類別的檔案系統
檔案系統類型 輸送量,MBps/TiB 每個 OSS 的儲存體
持久性 2 EFA* 125 每個 OSS 38.4 TiB
250 每個 OSS 19.2 TiB
500 每個 OSS 9.6 TiB
1000 每個 OSS 4.8 TiB
持久性 2 非 EFA* 125、250、500、1000 每個 OSS 2.4 TiB
持久性 1 SSD 50、100、200 每個 OSS 2.4 TiB
持久性 HDD 12 每個 OSS 6 TiB
40 每個 OSS 1.8 TiB
抓取 2 200 每個 OSS 2.4 TiB
抓取 1 200 每個 OSS 3.6 TiB
使用 Intelligent-Tiering 儲存類別的檔案系統
檔案系統類型 每個 OSS 的輸送量
Intelligent-Tiering*

每個 OSS 4000 MBps

注意

* Amazon FSx 為持久性 2 SSD 上的每 12,000 個中繼資料 IOPS 和使用中繼資料組態設定的智慧型分層檔案系統佈建中繼資料伺服器。

Amazon FSx for Lustre Intelligent-Tiering 檔案系統支援每個 OSS 最多 512 TiB 的儲存體。

FSx for Lustre 儲存類別

Amazon FSx for Lustre 提供固態硬碟 (SSD)、智慧型分層和硬碟 (HDD) 儲存類別,針對不同的資料處理需求進行最佳化:

  • SSD 儲存類別提供完整資料集的低延遲 (毫秒以下) 存取。已佈建 SSD 儲存體方案,這表示您指定檔案系統大小,並支付佈建儲存體數量的儲存成本。將 SSD 儲存類別用於延遲敏感的工作負載,這些工作負載需要所有資料的全快閃儲存效能。

    與持久性 1 檔案系統相比,具有 SSD 儲存體的持久性 2 檔案系統支援每單位儲存體的更高輸送量 (即每 TiB 250、500 或 1000 MBps)。對於具有 SSD 儲存體的持久性 1 檔案系統,每單位儲存體的輸送量為每 TiB 50、100 或 200 MBps。對於具有 SSD 儲存體的 Scratch 檔案系統,每單位儲存體的輸送量為每 TiB 200 MBps。

  • Intelligent-Tiering 儲存類別提供全彈性、智慧型分層儲存。彈性表示您支付所存放的資料量,不必指定檔案系統大小。智慧分層表示您會自動支付較少的費用,以存放您最近未存取的資料。此儲存類別會將冷資料分層至成本較低的儲存層,以自動最佳化成本。您可以佈建選用的 SSD 讀取快取,以低延遲 (毫秒以下) 存取經常存取的資料。Intelligent-Tiering 儲存類別可為大多數工作負載提供最佳的價格和效能平衡。將 Intelligent-Tiering 儲存體方案用於易於快取且不需要所有資料全快閃儲存體效能的工作負載。Intelligent-Tiering 檔案系統支援輸送量容量,增量為 4000 MBps。

  • HDD 儲存類別可用於需要跨所有資料一致單一位數 ms 延遲的工作負載。您可以佈建大小為 HDD 儲存容量 20% 的選用 SSD 讀取快取,以提供經常存取資料的低延遲存取。使用 HDD 儲存,您可以指定檔案系統大小,並支付您佈建的儲存量。對於具有 HDD 儲存體的持久性 1 檔案系統,每單位儲存體的輸送量為每 TiB 12 或 40 MBps。

如需這些儲存類別效能的詳細資訊,請參閱 SSD 和 HDD 儲存類別的效能特性Intelligent-Tiering 儲存類別的效能特性

Intelligent-Tiering 儲存類別方案資料的方式

Amazon FSx Intelligent-Tiering 儲存類別會自動將資料存放在三個存取層中。它旨在透過自動將資料移至最具成本效益的存取層來最佳化儲存成本,而不會影響效能或營運開銷。Intelligent-Tiering 儲存類別會根據上次存取時間自動將資料分層,因此會自動最佳化較低作用中資料的成本:

  • 過去 30 天內存取的資料會存放在經常存取層中。

  • 連續 30 天未存取的資料會自動移至不常存取層,且成本低於經常存取層中的資料。

  • 連續 90 天未存取的資料會自動移至 Archive Instant Access 層,而且成本低於不常存取層中的資料。

當您存取不常存取或封存即時存取層中的資料時,資料會自動移回經常存取層。此外,修改輸送量容量 (在 OSTs 中重新平衡資料)、重新分割檔案或目錄,或使用 `lfs migrate` 等操作可能會將部分資料移回經常存取層。

對非快取資料的所有存取都有相同的效能特性,與資料層無關,而且除了正常讀取/寫入操作成本之外,沒有額外的 IOPS、擷取或轉換成本。

部署類型可用性

Scratch 2、Persistent 1 和 Persistent 2 部署類型提供如下 AWS 區域:

AWS 區域 持久性 2 持久性 2 Intelligent-Tiering 持久性 1 抓取 2

美國東部 (俄亥俄)

美國東部 (維吉尼亞北部)

美國東部 (亞特蘭大) 本地區域

✓ *

美國東部 (達拉斯) 本地區域

✓ *

美國東部 (南彎) 本地區域

✓ *

美國西部 (加利佛尼亞北部)

美國西部 (洛杉磯) 本地區域

美國西部 (奧勒岡)

美國西部 (鳳凰城) 本地區域

✓ *

非洲 (開普敦)

亞太區域 (紐西蘭)

✓ *

亞太區域 (香港)

亞太區域 (海德拉巴)

亞太地區 (雅加達)

亞太地區 (馬來西亞)

亞太地區 (墨爾本)

亞太地區 (孟買)

亞太區域 (大阪)

亞太區域 (首爾)

亞太區域 (新加坡)

亞太地區 (雪梨)

亞太區域 (台北)

亞太區域 (泰國)

亞太地區 (東京)

加拿大 (中部)

加拿大西部 (卡加利)

歐洲 (法蘭克福)

歐洲 (愛爾蘭)

歐洲 (倫敦)

歐洲 (米蘭)

Europe (Paris)

歐洲 (西班牙)

歐洲 (斯德哥爾摩)

歐洲 (蘇黎世)

以色列 (特拉維夫)

✓ *

墨西哥 (中部)

✓ *

Middle East (Bahrain)

中東 (阿拉伯聯合大公國)

南美洲 (聖保羅)

AWS GovCloud (美國東部)

AWS GovCloud (美國西部)

注意

* 這些 AWS 區域 支援不帶 EFA 的 SSD 儲存類別的 Persistent-125 和 Persistent-250 檔案系統。