本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。
Lustre 資料壓縮
您可以使用Lustre資料壓縮功能來節省高效能 Amazon FSx for Lustre 檔案系統和備份儲存的成本。啟用資料壓縮時,Amazon FSx for Lustre 會自動壓縮新寫入的檔案,再寫入磁碟,並在讀取時自動解壓縮。
資料壓縮使用 LZ4 演算法,經過最佳化,可提供高層級的壓縮,而不會對檔案系統效能造成負面影響。LZ4 是一種Lustre社群信任和效能導向演算法,可在壓縮速度和壓縮檔案大小之間取得平衡。啟用資料壓縮通常不會對延遲產生可測量的影響。
資料壓縮可減少 Amazon FSx for Lustre 檔案伺服器和儲存體之間傳輸的資料量。如果您尚未使用壓縮檔案格式,則會在使用資料壓縮時看到整體檔案系統輸送量容量增加。在您飽和前端網路介面卡之後,與資料壓縮相關的輸送量容量增加將會受到上限限制。
例如,如果您的檔案系統是 PERSISTENT-50 SSD 部署類型,您的網路輸送量的基準為每 TiB 儲存 250 MBps。您的磁碟輸送量的基準為每 TiB 50 MBps。透過資料壓縮,您的磁碟輸送量可能會從每 TiB 50 MBps 增加到每 TiB 最多 250 MBps,這是基準網路輸送量限制。如需網路和磁碟輸送量限制的詳細資訊,請參閱 中的檔案系統效能資料表SSD 和 HDD 儲存類別的效能特性。如需資料壓縮效能的詳細資訊,請參閱 AWS 儲存部落格上的使用Amazon FSx for Lustre資料壓縮文章來減少花費,同時提高效能
管理資料壓縮
您可以在建立新的 Amazon FSx for Lustre 檔案系統時開啟或關閉資料壓縮。當您從主控台或 API 建立 Amazon FSx for Lustre 檔案系統時 AWS CLI,資料壓縮預設為關閉。
-
開啟位於 https://https://console.aws.amazon.com/fsx/
的 Amazon FSx 主控台。 請遵循「入門」一節步驟 1:建立 FSx for Lustre 檔案系統中所述建立新檔案系統的程序。
在檔案系統詳細資訊區段中,針對資料壓縮類型,選擇 LZ4。
-
完成精靈,就像您在建立新檔案系統時一樣。
-
選擇 Review and create (檢閱和建立)。
-
檢閱您為 Amazon FSx for Lustre 檔案系統選擇的設定,然後選擇建立檔案系統。
當檔案系統可用時,會開啟資料壓縮。
若要在資料壓縮開啟的情況下建立 FSx for Lustre 檔案系統,請使用 Amazon FSx CLI 命令
create-file-system
搭配DataCompressionType
參數,如下所示。對應的 API 操作是 CreateFileSystem。$
aws fsx create-file-system \ --client-request-token CRT1234 \ --file-system-type LUSTRE \ --file-system-type-version 2.12 \ --lustre-configuration DeploymentType=PERSISTENT_1,PerUnitStorageThroughput=50,DataCompressionType=LZ4 \ --storage-capacity 3600 \ --subnet-ids subnet-123456 \ --tags Key=Name,Value=Lustre-TEST-1 \ --region us-east-2
成功建立檔案系統後,Amazon FSx 會將檔案系統描述傳回為 JSON,如下列範例所示。
{
"FileSystems": [
{
"OwnerId": "111122223333",
"CreationTime": 1549310341.483,
"FileSystemId": "fs-0123456789abcdef0",
"FileSystemType": "LUSTRE",
"FileSystemTypeVersion": "2.12",
"Lifecycle": "CREATING",
"StorageCapacity": 3600,
"VpcId": "vpc-123456",
"SubnetIds": [
"subnet-123456"
],
"NetworkInterfaceIds": [
"eni-039fcf55123456789"
],
"DNSName": "fs-0123456789abcdef0.fsx.us-east-2.amazonaws.com",
"ResourceARN": "arn:aws:fsx:us-east-2:123456:file-system/fs-0123456789abcdef0",
"Tags": [
{
"Key": "Name",
"Value": "Lustre-TEST-1"
}
],
"LustreConfiguration": {
"DeploymentType": "PERSISTENT_1",
"DataCompressionType": "LZ4",
"PerUnitStorageThroughput": 50
}
}
]
}
您也可以變更現有檔案系統的資料壓縮組態。當您開啟現有檔案系統的資料壓縮時,只會壓縮新寫入的檔案,而不會壓縮現有檔案。如需詳細資訊,請參閱壓縮先前寫入的檔案。
開啟位於 https://https://console.aws.amazon.com/fsx/
的 Amazon FSx 主控台。 -
導覽至檔案系統,然後選擇您要管理資料壓縮Lustre的檔案系統。
-
針對動作,選擇更新資料壓縮類型。
在更新資料壓縮類型對話方塊中,選擇 LZ4 以開啟資料壓縮,或選擇 NONE 以將其關閉。
選擇更新。
您可以在更新索引標籤的檔案系統詳細資訊頁面上監控更新進度。
若要更新現有 FSx for Lustre 檔案系統的資料壓縮組態,請使用 AWS CLI 命令 update-file-system。設定下列參數:
-
將
--file-system-id
設定為您要更新之檔案系統的 ID。 -
--lustre-configuration DataCompressionType
設定為NONE
關閉資料壓縮LZ4
或使用 LZ4 演算法開啟資料壓縮。
此命令指定使用 LZ4 演算法開啟資料壓縮。
$ aws fsx update-file-system \ --file-system-id fs-0123456789abcdef0 \ --lustre-configuration DataCompressionType=LZ4
從備份建立檔案系統時的資料壓縮組態
您可以使用可用的備份來建立新的 Amazon FSx for Lustre 檔案系統。當您從備份建立新檔案系統時,不需要指定 DataCompressionType
;系統會使用備份的設定套用DataCompressionType
設定。如果您在從備份建立DataCompressionType
時選擇指定 ,則值必須符合備份DataCompressionType
的設定。
若要檢視備份上的設定,請從 Amazon FSx 主控台的備份索引標籤中進行選擇。備份的詳細資訊會列在備份的摘要頁面上。您也可以執行 describe-backups
AWS CLI 命令 (同等 API 動作為 DescribeBackups
)。
壓縮先前寫入的檔案
如果在 Amazon FSx for Lustre 檔案系統上關閉資料壓縮時建立檔案,則檔案不會壓縮。開啟資料壓縮不會自動壓縮您現有的未壓縮資料。
您可以使用安裝為Lustre用戶端安裝一部分的 lfs_migrate
命令來壓縮現有的檔案。如需範例,請參閱 GitHub 上提供的 FSxL-Compression
檢視檔案大小
您可以使用下列命令來檢視檔案和目錄的未壓縮和壓縮大小。
-
du
會顯示壓縮的大小。 -
du --apparent-size
會顯示未壓縮的大小。 -
ls -l
會顯示未壓縮的大小。
下列範例顯示具有相同檔案的每個命令的輸出。
$
du -sh samplefile
272M samplefile$
du -sh --apparent-size samplefile
1.0G samplefile$
ls -lh samplefile
-rw-r--r-- 1 root root 1.0G May 10 21:16 samplefile
-h
選項適用於這些命令,因為它會以人類可讀的格式列印大小。
使用 CloudWatch 指標
您可以使用 Amazon CloudWatch Logs 指標來檢視檔案系統用量。LogicalDiskUsage
指標顯示邏輯磁碟總用量 (無壓縮),指標顯示實體磁碟總用量 PhysicalDiskUsage
(有壓縮)。只有當您的檔案系統已啟用或先前已啟用資料壓縮時,才能使用這兩個指標。
您可以透過將 統計資料Sum
的 除以 LogicalDiskUsage
統計資料Sum
的 PhysicalDiskUsage
,來判斷檔案系統的壓縮比率。
如需監控檔案系統效能的詳細資訊,請參閱 監控 Amazon FSx for Lustre 檔案系統。