Lustre 資料壓縮 - FSx for Lustre

本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。

Lustre 資料壓縮

您可以使用Lustre資料壓縮功能來節省高效能 Amazon FSx for Lustre 檔案系統和備份儲存的成本。啟用資料壓縮時,Amazon FSx for Lustre 會自動壓縮新寫入的檔案,再寫入磁碟,並在讀取時自動解壓縮。

資料壓縮使用 LZ4 演算法,經過最佳化,可提供高層級的壓縮,而不會對檔案系統效能造成負面影響。LZ4 是一種Lustre社群信任和效能導向演算法,可在壓縮速度和壓縮檔案大小之間取得平衡。啟用資料壓縮通常不會對延遲產生可測量的影響。

資料壓縮可減少 Amazon FSx for Lustre 檔案伺服器和儲存體之間傳輸的資料量。如果您尚未使用壓縮檔案格式,則會在使用資料壓縮時看到整體檔案系統輸送量容量增加。在您飽和前端網路介面卡之後,與資料壓縮相關的輸送量容量增加將會受到上限限制。

例如,如果您的檔案系統是 PERSISTENT-50 SSD 部署類型,您的網路輸送量的基準為每 TiB 儲存 250 MBps。您的磁碟輸送量的基準為每 TiB 50 MBps。透過資料壓縮,您的磁碟輸送量可能會從每 TiB 50 MBps 增加到每 TiB 最多 250 MBps,這是基準網路輸送量限制。如需網路和磁碟輸送量限制的詳細資訊,請參閱 中的檔案系統效能資料表SSD 和 HDD 儲存類別的效能特性。如需資料壓縮效能的詳細資訊,請參閱 AWS 儲存部落格上的使用Amazon FSx for Lustre資料壓縮文章來減少花費,同時提高效能

管理資料壓縮

您可以在建立新的 Amazon FSx for Lustre 檔案系統時開啟或關閉資料壓縮。當您從主控台或 API 建立 Amazon FSx for Lustre 檔案系統時 AWS CLI,資料壓縮預設為關閉。

  1. 開啟位於 https://https://console.aws.amazon.com/fsx/ 的 Amazon FSx 主控台。

  2. 請遵循「入門」一節步驟 1:建立 FSx for Lustre 檔案系統中所述建立新檔案系統的程序。

  3. 檔案系統詳細資訊區段中,針對資料壓縮類型,選擇 LZ4

  4. 完成精靈,就像您在建立新檔案系統時一樣。

  5. 選擇 Review and create (檢閱和建立)。

  6. 檢閱您為 Amazon FSx for Lustre 檔案系統選擇的設定,然後選擇建立檔案系統

當檔案系統可用時,會開啟資料壓縮。

  • 若要在資料壓縮開啟的情況下建立 FSx for Lustre 檔案系統,請使用 Amazon FSx CLI 命令create-file-system搭配 DataCompressionType 參數,如下所示。對應的 API 操作是 CreateFileSystem

    $ aws fsx create-file-system \ --client-request-token CRT1234 \ --file-system-type LUSTRE \ --file-system-type-version 2.12 \ --lustre-configuration DeploymentType=PERSISTENT_1,PerUnitStorageThroughput=50,DataCompressionType=LZ4 \ --storage-capacity 3600 \ --subnet-ids subnet-123456 \ --tags Key=Name,Value=Lustre-TEST-1 \ --region us-east-2

成功建立檔案系統後,Amazon FSx 會將檔案系統描述傳回為 JSON,如下列範例所示。

{ "FileSystems": [ { "OwnerId": "111122223333", "CreationTime": 1549310341.483, "FileSystemId": "fs-0123456789abcdef0", "FileSystemType": "LUSTRE", "FileSystemTypeVersion": "2.12", "Lifecycle": "CREATING", "StorageCapacity": 3600, "VpcId": "vpc-123456", "SubnetIds": [ "subnet-123456" ], "NetworkInterfaceIds": [ "eni-039fcf55123456789" ], "DNSName": "fs-0123456789abcdef0.fsx.us-east-2.amazonaws.com", "ResourceARN": "arn:aws:fsx:us-east-2:123456:file-system/fs-0123456789abcdef0", "Tags": [ { "Key": "Name", "Value": "Lustre-TEST-1" } ], "LustreConfiguration": { "DeploymentType": "PERSISTENT_1", "DataCompressionType": "LZ4", "PerUnitStorageThroughput": 50 } } ] }

您也可以變更現有檔案系統的資料壓縮組態。當您開啟現有檔案系統的資料壓縮時,只會壓縮新寫入的檔案,而不會壓縮現有檔案。如需詳細資訊,請參閱壓縮先前寫入的檔案

  1. 開啟位於 https://https://console.aws.amazon.com/fsx/ 的 Amazon FSx 主控台。

  2. 導覽至檔案系統,然後選擇您要管理資料壓縮Lustre的檔案系統。

  3. 針對動作,選擇更新資料壓縮類型

  4. 更新資料壓縮類型對話方塊中,選擇 LZ4 以開啟資料壓縮,或選擇 NONE 以將其關閉。

  5. 選擇更新

  6. 您可以在更新索引標籤的檔案系統詳細資訊頁面上監控更新進度。

若要更新現有 FSx for Lustre 檔案系統的資料壓縮組態,請使用 AWS CLI 命令 update-file-system。設定下列參數:

  • --file-system-id設定為您要更新之檔案系統的 ID。

  • --lustre-configuration DataCompressionType 設定為 NONE 關閉資料壓縮LZ4或使用 LZ4 演算法開啟資料壓縮。

此命令指定使用 LZ4 演算法開啟資料壓縮。

$ aws fsx update-file-system \ --file-system-id fs-0123456789abcdef0 \ --lustre-configuration DataCompressionType=LZ4

從備份建立檔案系統時的資料壓縮組態

您可以使用可用的備份來建立新的 Amazon FSx for Lustre 檔案系統。當您從備份建立新檔案系統時,不需要指定 DataCompressionType;系統會使用備份的設定套用DataCompressionType設定。如果您在從備份建立DataCompressionType時選擇指定 ,則值必須符合備份DataCompressionType的設定。

若要檢視備份上的設定,請從 Amazon FSx 主控台的備份索引標籤中進行選擇。備份的詳細資訊會列在備份的摘要頁面上。您也可以執行 describe-backups AWS CLI 命令 (同等 API 動作為 DescribeBackups)。

壓縮先前寫入的檔案

如果在 Amazon FSx for Lustre 檔案系統上關閉資料壓縮時建立檔案,則檔案不會壓縮。開啟資料壓縮不會自動壓縮您現有的未壓縮資料。

您可以使用安裝為Lustre用戶端安裝一部分的 lfs_migrate命令來壓縮現有的檔案。如需範例,請參閱 GitHub 上提供的 FSxL-Compression

檢視檔案大小

您可以使用下列命令來檢視檔案和目錄的未壓縮和壓縮大小。

  • du 會顯示壓縮的大小。

  • du --apparent-size 會顯示未壓縮的大小。

  • ls -l 會顯示未壓縮的大小。

下列範例顯示具有相同檔案的每個命令的輸出。

$ du -sh samplefile 272M samplefile $ du -sh --apparent-size samplefile 1.0G samplefile $ ls -lh samplefile -rw-r--r-- 1 root root 1.0G May 10 21:16 samplefile

-h 選項適用於這些命令,因為它會以人類可讀的格式列印大小。

使用 CloudWatch 指標

您可以使用 Amazon CloudWatch Logs 指標來檢視檔案系統用量。LogicalDiskUsage 指標顯示邏輯磁碟總用量 (無壓縮),指標顯示實體磁碟總用量 PhysicalDiskUsage (有壓縮)。只有當您的檔案系統已啟用或先前已啟用資料壓縮時,才能使用這兩個指標。

您可以透過將 統計資料Sum的 除以 LogicalDiskUsage 統計資料SumPhysicalDiskUsage ,來判斷檔案系統的壓縮比率。

如需監控檔案系統效能的詳細資訊,請參閱 監控 Amazon FSx for Lustre 檔案系統