什麼是 Amazon FSx for Lustre? - FSx for Lustre

本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。

什麼是 Amazon FSx for Lustre?

FSx for Lustre 可讓您輕鬆且經濟實惠地啟動和執行熱門的高效能Lustre檔案系統。對於速度很重要的工作負載,例如機器學習、高效能運算 (HPC)、影片處理和財務建模。

Lustre 檔案系統是專為需要快速儲存的應用程式所設計,您希望儲存與運算保持一致。 Lustre 的建置是為了解決快速且經濟實惠地處理全球不斷成長的資料集的問題。這是廣泛使用的檔案系統,專為全世界速度最快的電腦而設計。它提供低於毫秒的延遲、高達多個 TBps 的輸送量和高達數百萬個 IOPS。如需 的詳細資訊Lustre,請參閱 Lustre網站

作為全受管服務,Amazon FSx 可讓您更輕鬆地Lustre用於儲存速度重要的工作負載。FSx for Lustre 消除了設定和管理Lustre檔案系統的傳統複雜性,讓您能夠在幾分鐘內啟動和執行經過戰鬥測試的高效能檔案系統。它還提供多個部署選項和儲存類別,讓您可以針對需求最佳化成本。

FSx for Lustre 與 POSIX 相容,因此您可以使用目前的 Linux 應用程式,而無需進行任何變更。FSx for Lustre 提供原生檔案系統界面,就像任何檔案系統使用 Linux 作業系統一樣運作。它還提供read-after-write一致性,並支援檔案鎖定。

多個部署選項和儲存類別

Amazon FSx for Lustre 提供暫存持久性檔案系統的選擇,以滿足不同的資料處理需求。暫存檔案系統非常適合暫時儲存和短期處理資料。檔案伺服器故障時,資料不會複寫也不會保留。持久性檔案系統非常適合長期儲存和專注於輸送量的工作負載。在持久性檔案系統中,資料會複寫,如果失敗,則會取代檔案伺服器。如需詳細資訊,請參閱FSx for Lustre 檔案系統的部署和儲存類別選項

Amazon FSx for Lustre 提供固態硬碟 (SSD)、智慧型分層和硬碟 (HDD) 儲存類別,針對不同的資料處理需求進行最佳化:

  • SSD 儲存類別針對具有小型隨機檔案操作且需要高達 TBps 輸送量的工作負載進行最佳化。它提供完整資料集的一致低於毫秒延遲存取。

  • Intelligent-Tiering 儲存類別適用於不需要完整資料集一致低延遲的大多數工作負載。它提供完全彈性且經濟實惠的儲存空間、高達多個 TBps 的輸送量,以及存取經常存取資料的低於毫秒延遲,以及選用的 SSD 讀取快取。

  • HDD 儲存類別可以用於需要一致單一位數 ms 延遲的工作負載,以及完整資料集高達數十 GBps 的輸送量。您可以選擇性地佈建 SSD 讀取快取,其大小為 HDD 儲存容量的 20%。

如需詳細資訊,請參閱FSx for Lustre 儲存類別

FSx for Lustre 和資料儲存庫

您可以將 FSx for Lustre 檔案系統連結至 Amazon S3 上的資料儲存庫或內部部署資料存放區。

FSx for Lustre S3 資料儲存庫整合

FSx for Lustre 與 Amazon S3 整合,可讓您更輕鬆地使用Lustre高效能檔案系統處理雲端資料集。連結至 Amazon S3 儲存貯體時,FSx for Lustre 檔案系統會以透明的方式將 S3 物件顯示為檔案。Amazon FSx 會在建立檔案系統時匯入 S3 儲存貯體中所有現有檔案的清單。建立檔案系統後,Amazon FSx 也可以匯入新增至資料儲存庫的檔案清單。您可以設定匯入偏好設定以符合您的工作流程需求。檔案系統也可讓您將檔案系統資料寫回 S3。資料儲存庫任務可簡化 FSx for Lustre 檔案系統與 Amazon S3 上耐用資料儲存庫之間的資料傳輸和中繼資料。如需詳細資訊,請參閱搭配 Amazon FSx for Lustre 使用資料儲存庫資料儲存庫任務

FSx for Lustre 和內部部署資料儲存庫

透過 Amazon FSx for Lustre,您可以使用 AWS Direct Connect 或 將資料匯入 , AWS 雲端 將資料處理工作負載從內部部署爆量到 AWS VPN。如需詳細資訊,請參閱將 Amazon FSx 與現場部署資料搭配使用

存取 FSx for Lustre 檔案系統

您可以混合並比對連接至單一 FSx for Lustre 檔案系統的運算執行個體類型和 Linux Amazon Machine Image (AMIs)。

Amazon FSx for Lustre 檔案系統可從在 Amazon Elastic Compute Cloud (Amazon EC2) 執行個體上執行的運算工作負載、在 Amazon Elastic Container Service (Amazon ECS) Docker 容器上執行的運算工作負載,以及在 Amazon Elastic Kubernetes Service (Amazon EKS) 上執行的容器存取。

  • Amazon EC2 – 您可以使用開放原始碼Lustre用戶端從 Amazon EC2 運算執行個體存取檔案系統。Amazon EC2 執行個體可以從相同 Amazon Virtual Private Cloud (Amazon VPC) 內的其他可用區域存取您的檔案系統,前提是您的聯網組態提供 VPC 內跨子網路的存取。在掛載 Amazon FSx for Lustre 檔案系統之後,您可以使用其檔案和目錄,就像使用本機檔案系統一樣。

  • Amazon EKS – 您可以使用開放原始碼 FSx for Lustre CSI 驅動程式,從在 Amazon EKS 上執行的容器存取 Amazon FSx for Lustre,如 Amazon EKS 使用者指南中所述。在 Amazon EKS 上執行的容器可以使用 Amazon FSx for Lustre 支援的高效能持久性磁碟區 (PVs)。

  • Amazon ECS – 您可以從 Amazon EC2 執行個體上的 Amazon ECS Docker 容器存取 Amazon EC2 FSx for Lustre。如需詳細資訊,請參閱從 Amazon Elastic Container Service 掛載

Amazon FSx for Lustre 與最熱門的 Linux 型 AMIs 相容,包括 Amazon Linux 2023 和 Amazon Linux 2、Red Hat Enterprise Linux (RHEL)、CentOS、Ubuntu 和 SUSE Linux。Lustre 用戶端隨附於 Amazon Linux 2023 和 Amazon Linux 2。對於 RHEL、CentOS 和 Ubuntu,用戶端 AWS Lustre儲存庫會提供與這些作業系統相容的用戶端。

使用 FSx for Lustre,您可以透過 AWS Direct Connect 或 匯入資料 AWS 雲端 ,將內部部署中的運算密集型工作負載爆量到 AWS Virtual Private Network。您可以從內部部署存取 Amazon FSx 檔案系統、視需要將資料複製到檔案系統,以及在雲端執行個體上執行運算密集型工作負載。

如需可從中存取 FSx for Lustre 檔案系統的用戶端、運算執行個體和環境的詳細資訊,請參閱 存取檔案系統

與 AWS 服務的整合

Amazon FSx for Lustre 與 Amazon SageMaker AI 整合為輸入資料來源。將 SageMaker AI 與 FSx for Lustre 搭配使用時,您的機器學習訓練任務會透過消除 Amazon S3 的初始下載步驟來加速。此外,在節省 S3 請求成本的同一資料集上,避免重複下載重複任務的常見物件,可降低您的總體擁有成本 (TCO)。如需詳細資訊,請參閱《Amazon SageMaker AI 開發人員指南》中的什麼是 SageMaker AI?。 Amazon SageMaker 如需如何使用 Amazon FSx for Lustre 做為 SageMaker AI 資料來源的逐步解說,請參閱AWS Machine Learning部落格中的使用 Amazon FSx for Lustre 和 Amazon EFS 檔案系統加速 Amazon SageMaker AI 的訓練 FSx EFS

FSx for Lustre AWS Batch 使用 EC2 啟動範本與 整合。 AWS Batch 可讓您在 上執行批次運算工作負載 AWS 雲端,包括高效能運算 (HPC)、機器學習 (ML) 和其他非同步工作負載。 會根據任務資源需求 AWS Batch 自動且動態地調整執行個體的大小。如需詳細資訊,請參閱AWS Batch 《 使用者指南》中的什麼是 AWS Batch?

FSx for Lustre 與 AWS整合 AWS ParallelCluster。 AWS ParallelCluster 是一種支援的開放原始碼叢集管理工具,用於部署和管理 HPC 叢集。它可以自動建立 FSx for Lustre 檔案系統,或在叢集建立過程中使用現有的檔案系統。

安全和合規

FSx for Lustre 檔案系統支援靜態和傳輸中的加密。Amazon FSx 會使用 in AWS Key Management Service () 管理的金鑰自動加密靜態檔案系統資料AWS KMS。從支援的 Amazon EC2 執行個體存取時,傳輸中的資料也會在特定 AWS 區域 的檔案系統上自動加密。如需 FSx for Lustre 中資料加密的詳細資訊,包括支援傳輸中資料加密 AWS 區域 的位置,請參閱 Amazon FSx for Lustre 的資料加密。Amazon FSx 已經過評估,符合 ISO、PCI-DSS 和 SOC 認證,且符合 HIPAA 資格。如需詳細資訊,請參閱Amazon FSx for Lustre 中的安全性

前提

在本指南中,我們會做出下列假設:

  • 如果您使用 Amazon Elastic Compute Cloud (Amazon EC2),我們假設您已熟悉該服務。如需如何使用 Amazon EC2 的詳細資訊,請參閱 Amazon EC2 文件

  • 我們假設您熟悉使用 Amazon Virtual Private Cloud (Amazon VPC)。如需如何使用 Amazon VPC 的詳細資訊,請參閱《Amazon VPC 使用者指南》。

  • 我們假設您尚未根據 Amazon VPC 服務變更 VPC 預設安全群組的規則。如果您有的話,請務必新增必要的規則,以允許從 Amazon EC2 執行個體到 Amazon FSx for Lustre 檔案系統的網路流量。如需詳細資訊,請參閱使用 Amazon VPC 的檔案系統存取控制

Amazon FSx for Lustre 的定價

使用 Amazon FSx for Lustre,無需預付硬體或軟體成本。您只需支付使用的資源,無需最低承諾、設定成本或額外費用。如需與服務相關的定價和費用資訊,請參閱 Amazon FSx for Lustre 定價

Amazon FSx for Lustre 論壇

如果您在使用 Amazon FSx for Lustre 時遇到問題,請檢查論壇

您是第一次使用 Amazon FSx for Lustre 嗎?

如果您是第一次使用 Amazon FSx for Lustre,我們建議您依序閱讀以下章節:

  1. 如果您準備好建立第一個 Amazon FSx for Lustre 檔案系統,請嘗試 Amazon FSx for Lustre 入門

  2. 如需有關效能的資訊,請參閱 Amazon FSx for Lustre 效能

  3. 如需將檔案系統連結至 Amazon S3 儲存貯體資料儲存庫的資訊,請參閱 搭配 Amazon FSx for Lustre 使用資料儲存庫

  4. 如需 Amazon FSx for Lustre 安全詳細資訊,請參閱 Amazon FSx for Lustre 中的安全性

  5. 如需 Amazon FSx for Lustre 可擴展性限制的資訊,包括輸送量和檔案系統大小,請參閱 Amazon FSx for Lustre 的服務配額

  6. 如需 Amazon FSx for Lustre API 的詳細資訊,請參閱 Amazon FSx for Lustre API 參考