本文為英文版的機器翻譯版本，如內容有任何歧義或不一致之處，概以英文版為準。
# 資料儲存庫任務
透過使用匯入和匯出資料儲存庫任務，您可以管理 FSx for Lustre 檔案系統與 Amazon S3 上任何耐久資料儲存庫之間的資料傳輸和中繼資料。
*資料儲存庫任務*可最佳化 FSx for Lustre 檔案系統和 S3 上的資料儲存庫之間的資料和中繼資料傳輸。其中一種方法是追蹤 Amazon FSx 檔案系統及其連結資料儲存庫之間的變更。他們也會使用平行傳輸技術，以高達數百 GBps 的速度傳輸資料。您可以使用 Amazon FSx 主控台、 和 Amazon FSx API 建立 AWS CLI和檢視資料儲存庫任務。
資料儲存庫任務會維護檔案系統的可攜式作業系統界面 (POSIX) 中繼資料，包括擁有權、許可和時間戳記。由於任務會維護此中繼資料，因此您可以在 FSx for Lustre 檔案系統及其連結的資料儲存庫之間實作和維護存取控制。
您可以使用發行資料儲存庫任務，透過釋出匯出至 Amazon S3 的檔案來釋放新檔案的檔案系統空間。已發行檔案的內容會移除，但已發行檔案的中繼資料會保留在檔案系統上。使用者和應用程式仍然可以透過再次讀取檔案來存取發行的檔案。當使用者或應用程式讀取發行的檔案時，FSx for Lustre 會透明地從 Amazon S3 擷取檔案內容。
## 資料儲存庫任務的類型
資料儲存庫任務有三種類型：
+ 將****資料儲存庫任務從Lustre檔案系統匯出至連結的 S3 儲存貯體。
+ **將**資料儲存庫任務從連結的 S3 儲存貯體匯入Lustre檔案系統。
+ **釋出**資料儲存庫任務會從檔案系統釋出匯出至連結 S3 儲存貯體Lustre的檔案。
如需詳細資訊，請參閱[建立資料儲存庫任務](creating-data-repo-task.md)。
**Topics**
+ [資料儲存庫任務的類型](#data-repo-task-types)
+ [了解任務的狀態和詳細資訊](data-repo-task-status.md)
+ [使用資料儲存庫任務](managing-data-repo-task.md)
+ [使用任務完成報告](task-completion-report.md)
+ [對資料儲存庫任務失敗進行故障診斷](failed-tasks.md)
# 了解任務的狀態和詳細資訊
資料儲存庫任務具有描述性資訊和生命週期狀態。
建立任務後，您可以使用 Amazon FSx 主控台、CLI 或 API 檢視資料儲存庫任務的下列詳細資訊：
+ 任務類型：
+ `EXPORT_TO_REPOSITORY` 表示匯出任務。
+ `IMPORT_METADATA_FROM_REPOSITORY` 表示匯入任務。
+ `RELEASE_DATA_FROM_FILESYSTEM` 表示發行任務。
+ 任務執行所在的檔案系統。
+ 任務建立時間。
+ 任務狀態。
+ 任務處理的檔案總數。
+ 任務成功處理的檔案總數。
+ 任務無法處理的檔案總數。當任務狀態為 FAILED 時，此值大於零。任務完成報告中提供了失敗檔案的詳細資訊。如需詳細資訊，請參閱[使用任務完成報告](task-completion-report.md)。
+ 任務啟動的時間。
+ 任務狀態上次更新的時間。任務狀態每 30 秒更新一次。
資料儲存庫任務可以有下列其中一種狀態：
+ **PENDING** 表示 Amazon FSx 尚未啟動任務。
+ **EXECUTING** 表示 Amazon FSx 正在處理任務。
+ **失敗**表示 Amazon FSx 未成功處理任務。例如，可能有任務無法處理的檔案。任務詳細資訊提供有關失敗的詳細資訊。如需失敗任務的詳細資訊，請參閱 [對資料儲存庫任務失敗進行故障診斷](failed-tasks.md)。
+ **SUCCEEDED** 表示 Amazon FSx 已成功完成任務。
+ **CANCELED** 表示任務已取消且未完成。
+ **CANCELING** 表示 Amazon FSx 正在取消任務。
資料儲存庫任務資訊會在任務完成後保留 14 天。如需存取現有資料儲存庫任務的詳細資訊，請參閱 [存取資料儲存庫任務](view-data-repo-tasks.md)。
# 使用資料儲存庫任務
在下列各節中，您可以找到有關管理資料儲存庫任務的詳細資訊。您可以使用 Amazon FSx 主控台、CLI 或 API 建立、複製、檢視詳細資訊和取消資料儲存庫任務。
**Topics**
+ [建立資料儲存庫任務](creating-data-repo-task.md)
+ [複製任務](recreate-task.md)
+ [存取資料儲存庫任務](view-data-repo-tasks.md)
+ [取消資料儲存庫任務](cancel-data-repo-task.md)
# 建立資料儲存庫任務
您可以使用 Amazon FSx 主控台、CLI 或 API 來建立資料儲存庫任務。建立任務之後，您可以使用主控台、CLI 或 API 來檢視任務的進度和狀態。
您可以建立三種類型的資料儲存庫任務：
+ **匯出**資料儲存庫任務會從Lustre檔案系統匯出至連結的 S3 儲存貯體。如需詳細資訊，請參閱[使用資料儲存庫任務匯出變更](export-data-repo-task-dra.md)。
+ **匯入**資料儲存庫任務會從連結的 S3 儲存貯體匯入您的Lustre檔案系統。如需詳細資訊，請參閱[使用資料儲存庫任務匯入變更](import-data-repo-task-dra.md)。
+ **發行**資料儲存庫任務會從已匯出至連結 S3 儲存貯體的檔案系統發行Lustre檔案。如需詳細資訊，請參閱[使用資料儲存庫任務來釋出檔案](release-files-task.md)。
# 複製任務
您可以在 Amazon FSx 主控台中複製現有的資料儲存庫任務。當您複製任務時，**建立匯入資料儲存庫任務**或**建立匯出資料儲存庫任務**頁面會顯示現有任務的確切副本。您可以在建立和執行新任務之前，視需要變更匯出或匯入的路徑。
**注意**
如果該任務的確切複本已執行，則執行重複任務的請求將會失敗。在匯出任務的情況下，任務的確切複本包含相同的檔案系統路徑或路徑，或在匯入任務的情況下包含相同的資料儲存庫路徑。
您可以從任務詳細資訊檢視、檔案系統**的資料儲存庫標籤中的資料儲存庫任務**窗格，或從**資料儲存庫任務**頁面複製任務。 ****
**複製現有任務**
1. 在檔案系統**的資料儲存庫索引標籤的資料儲存庫任務**窗格中，選擇任務。 ****
1. 選擇**複製任務**。根據您選擇的任務類型，會顯示**建立匯入資料儲存庫任務**或**建立匯出資料儲存庫任務**頁面。新任務的所有設定與您正在複製的任務設定相同。
1. 變更或新增您要從中匯入或匯出的路徑。
1. 選擇**建立**。
# 存取資料儲存庫任務
建立資料儲存庫任務之後，您可以使用 Amazon FSx 主控台、CLI 和 API 來存取任務，以及帳戶中所有現有的任務。Amazon FSx 提供下列詳細任務資訊：
+ 所有現有的任務。
+ 特定檔案系統的所有任務。
+ 特定資料儲存庫關聯的所有任務。
+ 具有特定生命週期狀態的所有任務。如需任務生命週期狀態值的詳細資訊，請參閱 [了解任務的狀態和詳細資訊](data-repo-task-status.md)。
您可以使用 Amazon FSx 主控台、CLI 或 API 存取帳戶中所有現有的資料儲存庫任務，如下所述。
## 檢視資料儲存庫任務和任務詳細資訊 （主控台）
1. 在 [https://console.aws.amazon.com/fsx/](https://console.aws.amazon.com/fsx/)：// 開啟 Amazon FSx 主控台。
1. 在導覽窗格中，選擇要檢視資料儲存庫任務的檔案系統。檔案系統詳細資訊頁面隨即出現。
1. 在檔案系統詳細資訊頁面上，選擇**資料儲存庫**索引標籤。此檔案系統的任何任務都會出現在**資料儲存庫任務**面板上。
1. 若要查看任務的詳細資訊，請在資料儲存庫任務面板中選擇任務 **ID** 或**任務名稱**。 ****任務詳細資訊頁面隨即出現。
![\[資料儲存庫任務頁面\]](http://docs.aws.amazon.com/zh_tw/fsx/latest/LustreGuide/images/task-details-rprt.png)
## 擷取資料儲存庫任務和任務詳細資訊 (CLI)
使用 Amazon FSx [https://docs.aws.amazon.com/cli/latest/reference/fsx/describe-data-repository-tasks.html](https://docs.aws.amazon.com/cli/latest/reference/fsx/describe-data-repository-tasks.html) CLI 命令，您可以檢視帳戶中所有資料儲存庫任務及其詳細資訊。 [https://docs.aws.amazon.com/fsx/latest/APIReference/API_DescribeDataRepositoryTasks.html](https://docs.aws.amazon.com/fsx/latest/APIReference/API_DescribeDataRepositoryTasks.html)是同等的 API 命令。
+ 使用下列命令來檢視您帳戶中的所有資料儲存庫任務物件。
```
aws fsx describe-data-repository-tasks
```
如果命令成功，Amazon FSx 會以 JSON 格式傳回回應。
```
{
"DataRepositoryTasks": [
{
"Lifecycle": "EXECUTING",
"Paths": [],
"Report": {
"Path":"s3://dataset-01/reports",
"Format":"REPORT_CSV_20191124",
"Enabled":true,
"Scope":"FAILED_FILES_ONLY"
},
"StartTime": 1591863862.288,
"EndTime": ,
"Type": "EXPORT_TO_REPOSITORY",
"Tags": [],
"TaskId": "task-0123456789abcdef3",
"Status": {
"SucceededCount": 4255,
"TotalCount": 4200,
"FailedCount": 55,
"LastUpdatedTime": 1571863875.289
},
"FileSystemId": "fs-0123456789a7",
"CreationTime": 1571863850.075,
"ResourceARN": "arn:aws:fsx:us-east-1:1234567890:task/task-0123456789abcdef3"
},
{
"Lifecycle": "FAILED",
"Paths": [],
"Report": {
"Enabled": false,
},
"StartTime": 1571863862.288,
"EndTime": 1571863905.292,
"Type": "EXPORT_TO_REPOSITORY",
"Tags": [],
"TaskId": "task-0123456789abcdef1",
"Status": {
"SucceededCount": 1153,
"TotalCount": 1156,
"FailedCount": 3,
"LastUpdatedTime": 1571863875.289
},
"FileSystemId": "fs-0123456789abcdef0",
"CreationTime": 1571863850.075,
"ResourceARN": "arn:aws:fsx:us-east-1:1234567890:task/task-0123456789abcdef1"
},
{
"Lifecycle": "SUCCEEDED",
"Paths": [],
"Report": {
"Path":"s3://dataset-04/reports",
"Format":"REPORT_CSV_20191124",
"Enabled":true,
"Scope":"FAILED_FILES_ONLY"
},
"StartTime": 1571863862.288,
"EndTime": 1571863905.292,
"Type": "EXPORT_TO_REPOSITORY",
"Tags": [],
"TaskId": "task-04299453935122318",
"Status": {
"SucceededCount": 258,
"TotalCount": 258,
"FailedCount": 0,
"LastUpdatedTime": 1771848950.012,
},
"FileSystemId": "fs-0123456789abcdef0",
"CreationTime": 1771848950.012,
"ResourceARN": "arn:aws:fsx:us-east-1:1234567890:task/task-0123456789abcdef0"
}
]
}
```
## 依檔案系統檢視任務
您可以使用 Amazon FSx 主控台、CLI 或 API 檢視特定檔案系統的所有任務，如下所述。
### 依檔案系統檢視任務 （主控台）
1. 在導覽窗格中選擇**檔案系統**。**檔案系統**頁面隨即出現。
1. 選擇您要檢視資料儲存庫任務的檔案系統。檔案系統詳細資訊頁面隨即出現。
1. 在檔案系統詳細資訊頁面上，選擇**資料儲存庫**索引標籤。此檔案系統的任何任務都會出現在**資料儲存庫任務**面板上。
### 依檔案系統擷取任務 (CLI)
+ 使用下列命令來檢視檔案系統 的所有資料儲存庫任務`fs-0123456789abcdef0`。
```
aws fsx describe-data-repository-tasks \
--filters Name=file-system-id,Values=fs-0123456789abcdef0
```
如果命令成功，Amazon FSx 會以 JSON 格式傳回回應。
```
{
"DataRepositoryTasks": [
{
"Lifecycle": "FAILED",
"Paths": [],
"Report": {
"Path":"s3://dataset-04/reports",
"Format":"REPORT_CSV_20191124",
"Enabled":true,
"Scope":"FAILED_FILES_ONLY"
},
"StartTime": 1571863862.288,
"EndTime": 1571863905.292,
"Type": "EXPORT_TO_REPOSITORY",
"Tags": [],
"TaskId": "task-0123456789abcdef1",
"Status": {
"SucceededCount": 1153,
"TotalCount": 1156,
"FailedCount": 3,
"LastUpdatedTime": 1571863875.289
},
"FileSystemId": "fs-0123456789abcdef0",
"CreationTime": 1571863850.075,
"ResourceARN": "arn:aws:fsx:us-east-1:1234567890:task/task-0123456789abcdef1"
},
{
"Lifecycle": "SUCCEEDED",
"Paths": [],
"Report": {
"Enabled": false,
},
"StartTime": 1571863862.288,
"EndTime": 1571863905.292,
"Type": "EXPORT_TO_REPOSITORY",
"Tags": [],
"TaskId": "task-0123456789abcdef0",
"Status": {
"SucceededCount": 258,
"TotalCount": 258,
"FailedCount": 0,
"LastUpdatedTime": 1771848950.012,
},
"FileSystemId": "fs-0123456789abcdef0",
"CreationTime": 1771848950.012,
"ResourceARN": "arn:aws:fsx:us-east-1:1234567890:task/task-0123456789abcdef0"
}
]
}
```
# 取消資料儲存庫任務
您可以在資料儲存庫任務處於 PENDING 或 EXECUTING 狀態時取消該任務。當您取消任務時，會發生下列情況：
+ Amazon FSx 不會處理佇列中要處理的任何檔案。
+ Amazon FSx 會繼續處理目前正在處理的任何檔案。
+ Amazon FSx 不會還原任務已處理的任何檔案。
## 取消資料儲存庫任務 （主控台）
1. 開啟位於 https：//[https://console.aws.amazon.com/fsx/](https://console.aws.amazon.com/fsx/) 的 Amazon FSx 主控台。
1. 按一下您要取消資料儲存庫任務的檔案系統。
1. 開啟**資料儲存庫**索引標籤，然後向下捲動以檢視**資料儲存庫任務**面板。
1. 為您要取消的任務選擇**任務 ID** 或**任務名稱**。
1. 選擇**取消任務**以取消任務。
1. 輸入任務 ID 以確認取消請求。
## 取消資料儲存庫任務 (CLI)
使用 Amazon FSx [https://docs.aws.amazon.com/cli/latest/reference/fsx/cancel-data-repository-task.html](https://docs.aws.amazon.com/cli/latest/reference/fsx/cancel-data-repository-task.html) CLI 命令取消任務。 [https://docs.aws.amazon.com/fsx/latest/APIReference/API_CancelDataRepositoryTask.html](https://docs.aws.amazon.com/fsx/latest/APIReference/API_CancelDataRepositoryTask.html) 是對等的 API 命令。
+ 使用下列命令取消資料儲存庫任務。
```
aws fsx cancel-data-repository-task \
--task-id task-0123456789abcdef0
```
如果命令成功，Amazon FSx 會以 JSON 格式傳回回應。
```
{
"Status": "CANCELING",
"TaskId": "task-0123456789abcdef0"
}
```
# 使用任務完成報告
*任務完成報告*提供有關匯出、匯入或發行資料儲存庫任務結果的詳細資訊。報告包含任務處理的檔案結果，這些檔案符合報告的範圍。您可以使用 `Enabled` 參數指定是否要為任務產生報告。
Amazon FSx 會使用您在為任務啟用報告時指定的路徑，將報告傳送到 Amazon S3 中檔案系統的連結資料儲存庫。報告的檔案名稱`report.csv`適用於匯入任務，`failures.csv`也適用於匯出或發行任務。
報告格式是逗號分隔值 (CSV) 檔案，有三個欄位：`FilePath`、 `FileStatus`和 `ErrorCode`。
報告使用 RFC-4180-format編碼進行編碼，如下所示：
+ 以下列任何字元開頭的路徑包含在單引號中： `@ + - =`
+ 至少包含下列其中一個字元的字串包含在雙引號中： `" ,`
+ 所有雙引號都會以額外的雙引號逸出。
以下是報告編碼的一些範例：
+ `@filename.txt` 成為 `"""@filename.txt"""`
+ `+filename.txt` 成為 `"""+filename.txt"""`
+ `file,name.txt` 成為 `"file,name.txt"`
+ `file"name.txt` 成為 `"file""name.txt"`
如需 RFC-4180 編碼的詳細資訊，請參閱 IETF [網站上的逗號分隔值 (CSV) 檔案的 RFC-4180 - 常見格式和 MIME 類型](https://tools.ietf.org/html/rfc4180)。
以下是任務完成報告中提供的資訊範例，其中僅包含失敗的檔案。
```
myRestrictedFile,failed,S3AccessDenied
dir1/myLargeFile,failed,FileSizeTooLarge
dir2/anotherLargeFile,failed,FileSizeTooLarge
```
如需任務失敗及其解決方式的詳細資訊，請參閱 [對資料儲存庫任務失敗進行故障診斷](failed-tasks.md)。
# 對資料儲存庫任務失敗進行故障診斷
您可以[開啟記錄](cw-event-logging.md)到 CloudWatch Logs，以記錄有關使用資料儲存庫任務匯入或匯出檔案時遇到的任何失敗的資訊。如需 CloudWatch Logs 事件日誌的資訊，請參閱 [資料儲存庫事件日誌](data-repo-event-logs.md)。
當資料儲存庫任務失敗時，您可以在主控台**的任務狀態**頁面上，找到 Amazon FSx 在 檔案中**無法匯出的檔案**數目。或者，您可以使用 CLI 或 API 並檢視任務的 `Status: FailedCount` 屬性。如需存取此資訊的資訊，請參閱 [存取資料儲存庫任務](view-data-repo-tasks.md)。
對於資料儲存庫任務，Amazon FSx 也會選擇性地提供有關完成報告中失敗的特定檔案和目錄的資訊。任務完成報告包含檔案Lustre系統上失敗的檔案或目錄路徑、其狀態和失敗原因。如需詳細資訊，請參閱[使用任務完成報告](task-completion-report.md)。
資料儲存庫任務可能會因為多種原因而失敗，包括下列原因。
| 錯誤程式碼 | 說明 |
| --- | --- |
| `FileSizeTooLarge` | Amazon S3 支援的物件大小上限為 5 TiB。 |
| `InternalError` | 匯入、匯出或發行任務的 Amazon FSx 檔案系統內發生錯誤。一般而言，此錯誤碼表示失敗任務執行的 Amazon FSx 檔案系統處於 FAILED 生命週期狀態。發生這種情況時，由於資料遺失，受影響的檔案可能無法復原。否則，您可以使用階層式儲存管理 (HSM) 命令，將檔案和目錄匯出至 S3 上的資料儲存庫。如需詳細資訊，請參閱[使用 HSM 命令匯出檔案](exporting-files-hsm.md)。 |
| `OperationNotPermitted` | Amazon FSx 無法釋出檔案，因為它尚未匯出至連結的 S3 儲存貯體。您必須使用自動匯出或匯出資料儲存庫任務，以確保您的檔案先匯出至連結的 Amazon S3 儲存貯體。 |
| `PathSizeTooLong` | 匯出路徑太長。S3 支援的物件金鑰長度上限為 1，024 個字元。 |
| `ResourceBusy` | Amazon FSx 無法匯出或釋出檔案，因為檔案系統上的另一個用戶端正在存取該檔案。您可以在工作流程寫入檔案完成後重試 DataRepositoryTask。 |
| `S3AccessDenied` | 拒絕對 Amazon S3 進行資料儲存庫匯出或匯入任務的存取。 對於匯出任務，Amazon FSx 檔案系統必須具有執行 `S3:PutObject`操作的許可，才能匯出至 S3 上連結的資料儲存庫。此許可是在`AWSServiceRoleForFSxS3Access_fs-0123456789abcdef0`服務連結角色中授予。如需詳細資訊，請參閱[使用 Amazon FSx 的服務連結角色](using-service-linked-roles.md)。 對於匯出任務，因為匯出任務需要資料才能在檔案系統的 VPC 外部流動，如果目標儲存庫具有包含其中一個 `aws:SourceVpc`或 IAM `aws:SourceVpce` 全域條件金鑰的儲存貯體政策，則可能會發生此錯誤。 對於匯入任務，Amazon FSx 檔案系統必須具有執行 `S3:HeadObject`和 `S3:GetObject`操作的許可，才能從 S3 上連結的資料儲存庫匯入 。 對於匯入任務，如果您的 S3 儲存貯體使用伺服器端加密搭配存放在 AWS Key Management Service (SSE-KMS) 中的客戶受管金鑰，您必須遵循 中的政策組態[使用伺服器端加密的 Amazon S3 儲存貯體](s3-server-side-encryption-support.md)。 如果您的 S3 儲存貯體包含從與檔案系統連結的 S3 儲存貯體帳戶 AWS 帳戶 不同的 上傳的物件，您可以確保資料儲存庫任務可以修改 S3 中繼資料或覆寫 S3 物件，無論其上傳的帳戶為何。我們建議您為 S3 儲存貯體啟用 S3 物件擁有權功能。此功能可讓您取得其他 AWS 帳戶 上傳到儲存貯體的新物件的所有權，方法是強制上傳以提供`-/-acl bucket-owner-full-control`標準 ACL。您可以在 S3 儲存貯體中選擇**儲存貯體擁有者偏好的**選項，以啟用 S3 物件擁有權。如需詳細資訊，請參閱《Amazon [ S3 使用者指南》中的使用 S3 物件擁有權控制上傳物件的擁有權](https://docs.aws.amazon.com/AmazonS3/latest/userguide/about-object-ownership.html)。 *Amazon S3 * |
| `S3Error` | Amazon FSx 遇到非 的 S3-related錯誤`S3AccessDenied`。 |
| `S3FileDeleted` | Amazon FSx 無法匯出硬連結檔案，因為來源檔案不存在於資料儲存庫中。 |
| `S3ObjectInUnsupportedTier` | Amazon FSx 成功從 S3 Glacier Flexible Retrieval 或 S3 Glacier Deep Archive 儲存類別匯入非符號連結物件。`FileStatus` 將在`succeeded with warning`任務完成報告中。警告指出若要擷取資料，您必須先還原 S3 Glacier Flexible Retrieval 或 S3 Glacier Deep Archive 物件，然後使用 `hsm_restore`命令匯入物件。 |
| `S3ObjectNotFound` | Amazon FSx 無法匯入或匯出檔案，因為它不存在於資料儲存庫中。 |
| `S3ObjectPathNotPosixCompliant` | Amazon S3 物件存在，但無法匯入，因為它不是 POSIX 相容物件。如需有關支援的 POSIX 中繼資料的資訊，請參閱 [資料儲存庫的 POSIX 中繼資料支援](posix-metadata-support.md)。 |
| `S3ObjectUpdateInProgressFromFileRename` | Amazon FSx 無法釋出檔案，因為自動匯出正在處理檔案的重新命名。必須先完成自動匯出重新命名程序，才能釋出檔案。 |
| `S3SymlinkInUnsupportedTier` | Amazon FSx 無法匯入符號連結物件，因為它位於不支援的 Amazon S3 儲存類別中，例如 S3 Glacier Flexible Retrieval 或 S3 Glacier Deep Archive 儲存類別。`FileStatus` 將在`failed`任務完成報告中。 |
| `SourceObjectDeletedBeforeReleasing` | Amazon FSx 無法從檔案系統釋出檔案，因為檔案在可以釋出之前已從資料儲存庫中刪除。 |