本文為英文版的機器翻譯版本，如內容有任何歧義或不一致之處，概以英文版為準。
# 監控您的 AWS DataSync 傳輸
監控對於維護傳輸活動的可靠性和效能 AWS DataSync 至關重要。我們建議您收集監控資料，以便在發生錯誤時更輕鬆地偵錯。不過，在開始監控 DataSync 之前，請先建立監控計畫，其中包含下列問題的答案：
+ 監控目標是什麼？
+ 要監控哪些資源？
+ 監控這些資源的頻率為何？
+ 要使用哪些監控工具？
+ 誰將執行監控任務？
+ 發生問題時應該通知誰？
AWS 提供各種服務和工具來監控 DataSync。您可以設定其中一些 為您執行監控，但有些需要手動介入。建議您盡可能自動化監控任務。
**Topics**
+ [了解資料傳輸效能計數器](transfer-performance-counters.md)
+ [使用 Amazon CloudWatch 指標監控資料傳輸](monitor-datasync.md)
+ [使用任務報告監控您的資料傳輸](task-reports.md)
+ [使用 Amazon CloudWatch Logs 監控資料傳輸](configure-logging.md)
+ [使用 記錄 AWS DataSync API 呼叫 AWS CloudTrail](logging-using-cloudtrail.md)
+ [使用 Amazon EventBridge 監控事件](events.md)
+ [AWS DataSync 使用手動工具進行監控](monitoring-task-manually.md)
# 了解資料傳輸效能計數器
當您[啟動任務](run-task.md)時， AWS DataSync 會提供計數器，以協助追蹤資料傳輸的效能和進度。
使用以下資訊來了解每個計數器代表什麼。您可以在 DataSync 主控台或 [DescribeTaskExecution](https://docs.aws.amazon.com/datasync/latest/userguide/API_DescribeTaskExecution.html) 回應中檢視這些計數器。有些計數器不適用於每個[任務模式](choosing-task-mode.md)。
| 主控台 | `DescribeTaskExecution` | 任務模式支援 | Description |
| --- | --- | --- | --- |
| – | `BytesWritten` | 增強型、基本型 | DataSync 實際寫入目的地位置的邏輯位元組數。 |
| **資料輸送量** | – | 增強型、基本型 | DataSync 將邏輯位元組寫入目的地位置的速率。 如果您使用的是 [DescribeTaskExecution](https://docs.aws.amazon.com/datasync/latest/userguide/API_DescribeTaskExecution.html)，計算此計數器的方式取決於您的任務模式： [\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/zh_tw/datasync/latest/userguide/transfer-performance-counters.html) |
| 傳輸的資料 | `BytesTransferred` | 增強型、基本型 | DataSync 在壓縮之前傳送到網路的位元組數 （如果可以壓縮）。 如需透過網路傳輸的位元組數，請參閱**網路輸送量** （在主控台中） 或 `BytesCompressed`（在 [DescribeTaskExecution](https://docs.aws.amazon.com/datasync/latest/userguide/API_DescribeTaskExecution.html) 中） 計數器。 |
| **從目的地刪除** | `FilesDeleted` | 基本 | DataSync 在您目的地位置中實際刪除的檔案、物件和目錄數量。 如果您未將任務設定為[刪除目的地中不在來源中的資料](configure-metadata.md#task-option-file-object-handling)： [\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/zh_tw/datasync/latest/userguide/transfer-performance-counters.html) |
| **從目的地刪除** | `FilesDeleted`, `FoldersDeleted` | 增強型 | DataSync 在您目的地位置實際刪除的檔案或物件數量，以及目錄。 如果您未將任務設定為[刪除目的地中不在來源中的資料](configure-metadata.md#task-option-file-object-handling)： [\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/zh_tw/datasync/latest/userguide/transfer-performance-counters.html) |
| – | `EstimatedBytesToTransfer` | 增強型、基本型 | DataSync 預期寫入目的地位置的邏輯位元組數。 |
| – | `EstimatedFilesToDelete` | 基本 | DataSync 預期在您的目的地位置刪除的檔案、物件和目錄數量。 如果您未將任務設定為[刪除目的地中不在來源中的資料](configure-metadata.md#task-option-file-object-handling)，則值一律為 `0`。 |
| – | `EstimatedFilesToDelete`, `EstimatedFoldersToDelete` | 增強型 | DataSync 預期在您的目的地位置刪除的檔案或物件數量，以及目錄。 如果您未將任務設定為[刪除目的地中不在來源中的資料](configure-metadata.md#task-option-file-object-handling)，則值一律為 `0`。 |
| – | `EstimatedFilesToTransfer` | 基本 | DataSync 預期透過網路傳輸的檔案、物件和目錄數量。此值會在 DataSync [準備](run-task.md#understand-task-execution-statuses)傳輸時計算。 計算方式主要取決於您使用的[傳輸模式](configure-metadata.md#task-option-transfer-mode)： [\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/zh_tw/datasync/latest/userguide/transfer-performance-counters.html) |
| – | `EstimatedFilesToTransfer`, `EstimatedFoldersToTransfer` | 增強型 | DataSync 預期透過網路傳輸的檔案或物件數量，以及目錄。此值會在 DataSync [準備](run-task.md#understand-task-execution-statuses)傳輸時計算。 計算方式主要取決於您使用的[傳輸模式](configure-metadata.md#task-option-transfer-mode)： [\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/zh_tw/datasync/latest/userguide/transfer-performance-counters.html) |
| **檔案輸送量** | – | 增強型、基本型 | DataSync 透過網路傳輸檔案、物件和目錄的速率。 如果您使用的是 [DescribeTaskExecution](https://docs.aws.amazon.com/datasync/latest/userguide/API_DescribeTaskExecution.html)，計算此計數器的方式取決於您的任務模式： [\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/zh_tw/datasync/latest/userguide/transfer-performance-counters.html) |
| – | `FilesFailed`, `FoldersFailed` | 增強型 | DataSync 在任務執行期間無法準備、傳輸、驗證和刪除的檔案或物件數量，以及目錄。 如果有失敗，您可以分別在目的地主控台計數器**的已準備**、**已轉移**、**已略過**和**已刪除**旁邊看到這些失敗。 |
| **列於來源** | `FilesListed.AtSource`, `FoldersListed.AtSource` | 增強型 | DataSync 在您的來源位置找到的檔案或物件數量，以及目錄。 [\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/zh_tw/datasync/latest/userguide/transfer-performance-counters.html) |
| – | `FilesListed.AtDestinationForDelete`, `FoldersListed.AtDestinationForDelete` | 增強型 | DataSync 在您的目的地位置找到的檔案或物件數量，以及目錄。 只有在您將任務設定為[刪除不在來源的目的地中的資料時，](configure-metadata.md#task-option-file-object-handling)此計數器才適用。 |
| **網路輸送量**\$1 | `BytesCompressed` | 增強型、基本型 | DataSync 在壓縮後透過網路傳輸的實體位元組數 （如果可以壓縮）。 除非資料無法壓縮，否則此數字通常小於**傳輸的資料** （在主控台中） 或 `BytesTransferred`（在 [DescribeTaskExecution](https://docs.aws.amazon.com/datasync/latest/userguide/API_DescribeTaskExecution.html) 中）。 \$1 對於增強型模式，**網路輸送量**不會顯示在主控台中。 |
| **壓縮百分比** | – | 增強型、基本型 | DataSync 透過網路傳送資料之前壓縮的傳輸資料百分比。 如果您使用的是 [DescribeTaskExecution](https://docs.aws.amazon.com/datasync/latest/userguide/API_DescribeTaskExecution.html)，您可以使用 計算此計數器`1 - BytesCompressed / BytesWritten`。 |
| **已準備** | `FilesPrepared`, `FoldersPrepared` | 增強型 | 比較來源和目的地位置後，DataSync 將嘗試傳輸的檔案或物件數量，以及目錄。 在 主控台中，此計數器也可以顯示 DataSync 在準備期間略過的物件數量。如需詳細資訊，請參閱[DataSync 如何準備資料傳輸](how-datasync-transfer-works.md#how-datasync-prepares)。 如果您將任務設定為[傳輸所有資料](configure-metadata.md#task-option-transfer-mode)，則此計數器不適用。在這種情況下，DataSync 會將來源的所有內容複製到目的地，而不會比較位置之間的差異。 |
| **處理速率** | – | 增強型、基本型 | DataSync 讀取來源位置的檔案、物件和目錄的速率。 處理速率是以數個 [CloudWatch 指標](monitor-datasync.md#accessing-metrics)為基礎。確切的指標取決於您使用的任務模式。 **增強型模式**： [\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/zh_tw/datasync/latest/userguide/transfer-performance-counters.html) **基本模式：** [\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/zh_tw/datasync/latest/userguide/transfer-performance-counters.html) |
| **剩餘** | – | 基本 | DataSync 預期透過網路傳輸的檔案、物件和目錄的剩餘數量。 如果您使用的是 [DescribeTaskExecution](https://docs.aws.amazon.com/datasync/latest/userguide/API_DescribeTaskExecution.html)，您可以從 中減去 `FilesTransferred` 來計算此計數器`EstimatedFilesToTransfer`。 |
| **已略過**\$1 | `FilesSkipped` | 基本 | DataSync 在傳輸期間略過的檔案、物件和目錄數量。 |
| – | `FilesSkipped`, `FoldersSkipped` | 增強型 | DataSync 在傳輸期間略過的檔案或物件數量，以及目錄。 僅傳輸已變更的資料時，**已略過**的項目會包含在**已準備**的計數器中，或在[傳輸所有資料](configure-metadata.md#task-option-transfer-mode)時包含在**已轉移**的計數器中。 [傳輸模式選項](configure-metadata.md#task-option-transfer-mode) |
| **已轉移** | `FilesTransferred` | 基本 | DataSync 透過網路傳輸的檔案、物件和目錄數量。當您的任務執行期間從來源讀取物件並透過網路傳送時，此值會定期更新。 如果 DataSync 無法傳輸某些內容，則此值可以小於 `EstimatedFilesToTransfer`或 `EstimatedFoldersToTransfer`。在某些情況下，此值也可以大於 `EstimatedFilesToTransfer`或 `EstimatedFoldersToTransfer`。此計數器對於某些位置類型是特定的實作，因此請不要將其用作正在傳輸的內容或監控任務執行的確切指示。 |
| **已轉移** | `FilesTransferred`, `FoldersTransferred` | 增強型 | DataSync 透過網路傳輸的檔案或物件數量，以及目錄。當您的任務執行期間從來源讀取物件並透過網路傳送時，此值會定期更新。 如果 DataSync 無法傳輸某些內容，則此值可以小於 `EstimatedFilesToTransfer`或 `EstimatedFoldersToTransfer`。在某些情況下，此值也可以大於 `EstimatedFilesToTransfer`或 `EstimatedFoldersToTransfer`。此計數器對於某些位置類型是特定的實作，因此請不要將其用作正在傳輸的內容或監控任務執行的確切指示。 |
| **已驗證** | `FilesVerified` | 基本 | DataSync 在您傳輸期間驗證的檔案、物件和目錄數量。 當您將任務設定為[僅驗證傳輸的資料](configure-data-verification-options.md)時，DataSync 在某些情況下不會驗證目錄，或無法傳輸的檔案或物件。 |
| **已驗證** | `FilesVerified`, `FoldersVerified` | 增強型 | DataSync 在您傳輸期間驗證的檔案或物件數量，以及目錄。 |
# 使用 Amazon CloudWatch 指標監控資料傳輸
Amazon CloudWatch 提供指標來追蹤 DataSync 傳輸效能，並疑難排解傳輸任務的問題。
您可以使用 Amazon CloudWatch 指標來監控 AWS DataSync 傳輸效能。DataSync 指標會以 5 分鐘的間隔自動傳送至 CloudWatch （無論您如何[設定記錄](configure-logging.md))。指標會保留 15 個月。
若要查看 DataSync 的 CloudWatch 指標，您可以使用下列工具：
+ CloudWatch 主控台
+ CloudWatch CLI
+ CloudWatch API
+ DataSync 主控台 （在任務執行的詳細資訊頁面上）
如需更多資訊，請參閱 [https://docs.aws.amazon.com/AmazonCloudWatch/latest/monitoring/working_with_metrics.html](https://docs.aws.amazon.com/AmazonCloudWatch/latest/monitoring/working_with_metrics.html)。
## DataSync 的 CloudWatch 指標
DataSync 指標使用 `aws/datasync` 命名空間，並提供下列維度的指標：
+ **AgentId** – 代理程式的唯一 ID （如果您的任務使用代理程式）。
+ **TaskId** – 任務的唯一 ID。其格式為 `task-01234567890abcdef`。
`aws/datasync` 命名空間包含下列指標。有些指標不適用於每個[任務模式](choosing-task-mode.md)。
| CloudWatch 指標 | 任務模式支援 | 描述 |
| --- | --- | --- |
| `BytesCompressed` | 基本 | DataSync 在壓縮後透過網路傳輸的實體位元組數 （如果可以壓縮）。除非資料無法壓縮，`BytesTransferred`否則此數字通常小於 。 單位：位元組 |
| `BytesPreparedDestination` | 基本 | DataSync 在目的地位置準備的邏輯位元組數。 單位：位元組 |
| `BytesPreparedSource` | 基本 | DataSync 在來源位置準備的邏輯位元組數。 單位：位元組 |
| `BytesTransferred` | 基本 | DataSync 在壓縮前傳送至網路的位元組數 （如果可以壓縮）。如需透過網路傳輸的位元組數，請參閱 `BytesCompressed` 指標。 單位：位元組 |
| `BytesVerifiedDestination` | 基本 | DataSync 在目的地位置驗證的邏輯位元組數。 單位：位元組 |
| `BytesVerifiedSource` | 基本 | DataSync 在來源位置驗證的邏輯位元組數。 單位：位元組 |
| `BytesWritten` | 增強型、基本型 | DataSync 寫入目的地位置的邏輯位元組數。 單位：位元組 |
| `FilesDeleted` | 增強型、基本型 | DataSync 在您的目的地位置刪除的檔案、物件和目錄數量。如果您未設定任務來[刪除不在來源中的目的地中的資料](configure-metadata.md#task-option-file-object-handling)，則值一律為 `0`。 單位：計數 |
| `FilesListedSource` | 增強型 | DataSync 在您的來源位置找到的物件數量。 單位：計數 |
| `FilesPrepared` | 增強型 | 在比較來源和目的地位置後，DataSync 將嘗試傳輸的物件數量。如需詳細資訊，請參閱[DataSync 如何準備資料傳輸](how-datasync-transfer-works.md#how-datasync-prepares)。 如果您將任務設定為[傳輸所有資料](configure-metadata.md#task-option-transfer-mode)，則此指標不適用。在這種情況下，DataSync 會將來源的所有內容複製到目的地，而不會比較位置之間的差異。 單位：計數 |
| `FilesPreparedDestination` | 基本 | DataSync 在目的地位置準備的檔案、物件和目錄數量。 單位：計數 |
| `FilesPreparedSource` | 基本 | DataSync 在來源位置準備的檔案、物件和目錄數量。 單位：計數 |
| `FilesSkipped` | 基本 | DataSync 在傳輸期間略過的檔案、物件和目錄數量。 單位：計數 |
| `FilesTransferred` | 增強型、基本型 | DataSync 透過網路傳輸的檔案、物件和目錄數量。此值會在[任務執行](run-task.md#understand-task-execution-statuses)期間，從來源讀取並透過網路傳送時定期更新。 如果 DataSync 無法傳輸某些內容，則此值可以小於 [DescribeTaskExecution](https://docs.aws.amazon.com/datasync/latest/userguide/API_DescribeTaskExecution.html) 回應`EstimatedFilesToTransfer`中的 。在某些情況下，此值也可以大於 `EstimatedFilesToTransfer`。此指標適用於某些位置類型，因此請勿將其用作傳輸內容或監控任務執行的確切指示。 單位：計數 |
| `FilesVerified` | 增強型 | DataSync 在傳輸期間驗證的物件數量。 單位：計數 |
| `FilesVerifiedDestination` | 基本 | DataSync 在目的地位置驗證的檔案、物件和目錄數量。 單位：計數 |
| `FilesVerifiedSource` | 基本 | DataSync 在來源位置驗證的檔案、物件和目錄數量。 單位：計數 |
# 使用任務報告監控您的資料傳輸
*任務報告*提供有關任務執行期間嘗試傳輸、略過、驗證和刪除哪些 AWS DataSync 嘗試的詳細資訊。如需詳細資訊，請參閱[DataSync 如何傳輸檔案、物件和目錄](how-datasync-transfer-works.md#transferring-files)。
任務報告會以 JSON 格式產生。您可以在報告中自訂詳細資訊層級：
+ [只有任務報告的摘要](#task-report-types-summary)會提供您任務執行的必要詳細資訊，例如傳輸的檔案數量，以及 DataSync 是否可以驗證這些檔案的資料完整性。
+ [標準任務報告](#task-report-types-standard)包含摘要和詳細報告，其中列出 DataSync 嘗試傳輸、略過、驗證和刪除的每個檔案、物件或資料夾。使用標準任務報告，您也可以指定[報告層級](#task-report-level)，以僅顯示任務執行的錯誤或其成功和錯誤。
## 使用案例
以下是任務報告可協助您監控和稽核資料傳輸的一些情況：
+ 遷移數百萬個檔案時，請快速識別 DataSync 無法傳輸的檔案。
+ 驗證檔案的chain-of-custody程序。
## 僅摘要任務報告
僅是任務執行摘要的報告包含下列詳細資訊：
+ AWS 帳戶 執行任務執行的
+ 來源和目的地位置
+ 略過、傳輸、驗證和刪除的檔案、物件和資料夾總數
+ 已傳輸的總位元組數 （邏輯和實體）
+ 如果任務執行已完成、已取消或發生錯誤
+ 開始和結束時間 （包括轉移的總時間）
+ 任務的設定 （例如頻寬限制、資料完整性驗證，以及 DataSync 傳輸的其他選項）
## 標準任務報告
標準任務報告包含任務執行的[摘要](#task-report-types-summary)，以及 DataSync 嘗試傳輸、略過、驗證和刪除內容的詳細報告。
**Topics**
+ [報告層級](#task-report-level)
+ [已傳輸的報告](#task-report-types-transferred)
+ [略過的報告](#task-report-types-skipped)
+ [已驗證的報告](#task-report-types-verified)
+ [已刪除的報告](#task-report-types-deleted)
### 報告層級
使用標準任務報告，您可以選擇下列其中一個報告層級：
+ 僅限錯誤
+ 成功和錯誤 （基本上是任務執行期間發生的一切清單）
例如，您可能想要查看 DataSync 在傳輸期間成功略過哪些檔案，以及未略過哪些檔案。DataSync 成功略過的檔案可能是您刻意希望 DataSync 排除的檔案，因為它們已存在於目的地位置。不過，執行個體的略過錯誤可能表示 DataSync 沒有讀取檔案的正確許可。
### 已傳輸的報告
DataSync 在任務執行期間嘗試傳輸的檔案、物件和目錄清單。傳輸的報告包含下列詳細資訊：
+ 傳輸資料的路徑
+ 傳輸的內容 （內容、中繼資料或兩者）
+ 中繼資料，包括資料類型、內容大小 （僅限物件和檔案） 等
+ 轉移項目的時間
+ 物件版本 （如果目的地是已啟用版本控制的 Amazon S3 儲存貯體）
+ 如果目的地中覆寫了某個項目
+ 是否成功傳輸項目
**注意**
在 S3 儲存貯體之間移動資料時，您在[來源位置](create-s3-location.md)中指定的字首可能會顯示在報告 （或 Amazon CloudWatch logs) 中，即使該字首不存在為目的地位置中的物件。（在 DataSync 主控台中，您可能也會注意到此字首顯示為略過或已驗證的資料。)
### 略過的報告
DataSync 在您的來源位置找到但未嘗試傳輸的檔案、物件和目錄清單。DataSync 略過資料的原因可能取決於幾個因素，例如如何設定任務和儲存系統許可。以下是一些範例：
+ 您的來源和目的地位置中存在一個檔案。自上一個任務執行以來，來源中的 檔案尚未修改。由於您[只傳輸已變更的資料](configure-metadata.md#task-option-transfer-mode)，因此 DataSync 不會在您下次執行任務時傳輸該檔案。
+ 存在於兩個位置的物件都會在您的來源中變更。當您執行任務時，DataSync 會略過目的地中的此物件，因為您的任務不會[覆寫目的地中的資料](configure-metadata.md#task-option-file-object-handling)。
+ DataSync 會略過來源中使用[封存儲存類別](create-s3-location.md#using-storage-classes)且未還原的物件。您必須還原封存的物件，DataSync 才能讀取它。
+ DataSync 會略過來源位置中的檔案、物件或目錄，因為它無法讀取。如果發生這種情況，且不預期會發生這種情況，請檢查儲存體的存取許可，並確保 DataSync 可以讀取略過的內容。
略過的報告包含下列詳細資訊：
+ 略過資料的路徑
+ 略過項目的時間
+ 略過的原因
+ 是否成功略過項目
**注意**
略過的報告在包含成功和錯誤時可能很大，您可以將任務設定為[僅傳輸已變更的資料](configure-metadata.md)，且來源資料已存在於目的地中。
### 已驗證的報告
DataSync 在任務執行期間嘗試驗證 完整性的檔案、物件和目錄清單。已驗證的資料報告包含下列詳細資訊：
+ 已驗證資料的路徑
+ 驗證項目的時間
+ 驗證錯誤的原因 （如果有的話）
+ 來源和目的地 SHA256 檢查總和 （僅限 檔案）
+ 項目是否已成功驗證
請注意以下有關已驗證報告的事項：
+ 當您將任務設定為[僅驗證傳輸的資料](configure-data-verification-options.md)時，DataSync 在某些情況下不會驗證目錄，或無法傳輸的檔案或物件。在任何一種情況下，DataSync 都不會在此報告中包含未驗證的資料。
+ 如果您使用的是[增強型模式](choosing-task-mode.md)，如果您要傳輸大型物件，則驗證可能需要比平常更長的時間。
### 已刪除的報告
在任務執行期間刪除的檔案、目錄和物件清單。只有當您將[任務設定為](configure-metadata.md)刪除不在來源的目的地位置中的資料時，DataSync 才會產生此報告。刪除的資料報告包含下列詳細資訊：
+ 已刪除資料的路徑
+ 項目是否已成功刪除
+ 刪除項目的時間
## 任務報告範例
任務報告中的詳細資訊層級由您決定。以下是使用下列組態傳輸資料報告的一些範例：
+ **報告類型** – 標準
+ **報告層級** – 成功與錯誤
**注意**
報告針對時間戳記格式使用 ISO-8601 標準。時間以 UTC 為單位，並以奈秒為單位。此行為與測量其他一些任務報告指標的方式不同。例如，[任務執行詳細資訊](https://docs.aws.amazon.com/datasync/latest/userguide/API_TaskExecutionResultDetail.html)，例如 `TransferDuration`和 `VerifyDuration`，以毫秒為單位。
增強型模式任務報告使用的結構描述與基本模式任務報告略有不同。以下範例可協助您了解根據使用[的任務模式](choosing-task-mode.md)，對報告有何預期。
**成功狀態的傳輸資料報告範例**
下列報告顯示名為 之物件的成功傳輸`object1.txt`。
```
{
"TaskExecutionId": "exec-abcdefgh12345678",
"Transferred": [{
"RelativePath": "object1.txt",
"SourceMetadata": {
"Type": "Object",
"ContentSize": 6,
"LastModified": "2024-10-04T14:40:55Z",
"SystemMetadata": {
"ContentType": "binary/octet-stream",
"ETag": "\"9b2d7e1f8054c3a2041905d0378e6f14\"",
"ServerSideEncryption": "AES256"
},
"UserMetadata": {},
"Tags": []
},
"Overwrite": "False",
"DstS3VersionId": "jtqRtX3jN4J2G8k0sFSGYK1f35KqpAVP",
"TransferTimestamp": "2024-10-04T14:48:39.748862183Z",
"TransferType": "CONTENT_AND_METADATA",
"TransferStatus": "SUCCESS"
}]
}
```
```
{
"TaskExecutionId": "exec-abcdefgh12345678",
"Transferred": [{
"RelativePath": "/object1.txt",
"SrcMetadata": {
"Type": "Regular",
"ContentSize": 6,
"Mtime": "2022-01-07T16:59:26.136114671Z",
"Atime": "2022-01-07T16:59:26.136114671Z",
"Uid": 0,
"Gid": 0,
"Mode": "0644"
},
"Overwrite": "False",
"DstS3VersionId": "jtqRtX3jN4J2G8k0sFSGYK1f35KqpAVP",
"TransferTimestamp": "2022-01-07T16:59:45.747270957Z",
"TransferType": "CONTENT_AND_METADATA",
"TransferStatus": "SUCCESS"
}]
}
```
**具有錯誤狀態的傳輸資料報告範例**
下列報告提供 DataSync 無法傳輸名為 之物件的範例`object1.txt`。
此報告顯示由於許可問題`object1.txt`，DataSync 無法存取名為 的 AWS KMS 物件。（如果您收到類似這樣的錯誤，請參閱 [使用伺服器端加密存取 S3 儲存貯體](create-s3-location.md#create-s3-location-encryption)。)
```
{
"TaskExecutionId": "exec-abcdefgh12345678",
"Transferred": [{
"RelativePath": "object1.txt",
"SourceMetadata": {
"Type": "Object",
"ContentSize": 6,
"LastModified": "2022-10-07T20:48:32Z",
"SystemMetadata": {
"ContentType": "binary/octet-stream",
"ETag": "\"3a7c0b2f1d9e5c4a6f8b2e0d1c9f7a3b2\"",
"ServerSideEncryption": "AES256"
},
"UserMetadata": {},
"Tags": []
},
"Overwrite": "False",
"TransferTimestamp": "2022-10-09T16:05:11.134040717Z",
"TransferType": "CONTENT_AND_METADATA",
"TransferStatus": "FAILED",
"ErrorCode": "AccessDenied",
"ErrorDetail": "User: arn:aws:sts::111222333444:assumed-role/AWSDataSyncS3Bucket/AwsSync-loc-0b3017fc4ba4a2d8d is not authorized to perform: kms:GenerateDataKey on resource: arn:aws:kms:us-east-1:111222333444:key/1111aaaa-22bb-33cc-44d-5555eeee6666 because no identity-based policy allows the kms:GenerateDataKey action"
}]
}
```
此報告顯示名為 的物件因為 S3 儲存貯體許可問題`object1.txt`而未傳輸。（如果您收到類似這樣的錯誤，請參閱 [提供對 S3 儲存貯體的 DataSync 存取權](create-s3-location.md#create-s3-location-access)。)
```
{
"TaskExecutionId": "exec-abcdefgh12345678",
"Transferred": [{
"RelativePath": "/object1.txt",
"SrcMetadata": {
"Type": "Regular",
"ContentSize": 6,
"Mtime": "2022-01-07T16:59:26.136114671Z",
"Atime": "2022-01-07T16:59:26.136114671Z",
"Uid": 0,
"Gid": 0,
"Mode": "0644"
},
"Overwrite": "False",
"DstS3VersionId": "jtqRtX3jN4J2G8k0sFSGYK1f35KqpAVP",
"TransferTimestamp": "2022-01-07T16:59:45.747270957Z",
"TransferType": "CONTENT_AND_METADATA",
"TransferStatus": "FAILED",
"FailureReason": "S3 Get Object Failed",
"FailureCode": 40974
}]
}
```
## 限制
+ 個別任務報告不得超過 5 MB。如果您要複製大量檔案，您的任務報告可能會分割成多個報告。
+ 在某些情況下，建立任務報告可能會影響資料傳輸的效能。例如，當您的網路連線具有高延遲，且您正在傳輸的檔案很小，或者您只複製中繼資料變更時，您可能會注意到這一點。
# 建立 DataSync 任務報告
AWS DataSync 任務報告只能是任務執行的摘要，或一組有關 DataSync 嘗試傳輸、略過、驗證和刪除內容的詳細報告。
## 先決條件
您必須先執行下列動作，才能建立任務報告。
**Topics**
+ [為您的任務報告建立 S3 儲存貯體](#setting-up-task-report-create-bucket)
+ [允許 DataSync 將任務報告上傳到您的 S3 儲存貯體](#task-report-access)
### 為您的任務報告建立 S3 儲存貯體
如果您還沒有 S[S3](https://docs.aws.amazon.com/AmazonS3/latest/userguide/create-bucket-overview.html)3 儲存貯體。 DataSync 報告存放在 S3 Standard 儲存類別中。
針對此儲存貯體，我們建議執行下列動作：
+ 如果您打算將資料傳輸到 S3 儲存貯體，如果您[停用**保留已刪除的檔案**選項](configure-metadata.md)，請不要將相同的儲存貯體用於任務報告。否則，DataSync 會在每次執行任務時刪除任何先前的任務報告，因為這些報告不存在於您的來源位置。
+ 若要避免複雜的存取許可設定，請確定您的任務報告儲存貯體與 DataSync 傳輸任務位於相同的 AWS 帳戶 和 區域。
### 允許 DataSync 將任務報告上傳到您的 S3 儲存貯體
您必須設定允許 DataSync 將任務報告上傳至 S3 儲存貯體的 AWS Identity and Access Management (IAM) 角色。
在 DataSync 主控台中，您可以建立 IAM 角色，在大多數情況下會自動包含將任務報告上傳至儲存貯體的許可。請注意，從最低權限的角度來看，此自動產生的角色可能不符合您的需求。如果您的儲存貯體使用客戶受管 AWS Key Management Service (AWS KMS) 金鑰 (SSE-KMS) 加密，則此角色也無法運作。在這些情況下，只要角色至少執行下列動作，您就可以手動建立角色：
+ [防止角色受信任實體中的跨服務混淆代理人問題](https://docs.aws.amazon.com/datasync/latest/userguide/cross-service-confused-deputy-prevention.html)。
下列完整範例示範如何使用 `aws:SourceArn`和 `aws:SourceAccount`全域條件內容金鑰，以防止 DataSync 的混淆代理人問題。
------
#### [ JSON ]
****
```
{
"Version":"2012-10-17",
"Statement": [
{
"Effect": "Allow",
"Principal": {
"Service": "datasync.amazonaws.com"
},
"Action": "sts:AssumeRole",
"Condition": {
"StringEquals": {
"aws:SourceAccount": "123456789012"
},
"ArnLike": {
"aws:SourceArn": "arn:aws:datasync:us-east-1:123456789012:*"
}
}
}
]
}
```
------
+ 允許 DataSync 將任務報告上傳到您的 S3 儲存貯體。
下列範例透過僅針對儲存貯體中的特定字首 (`reports/`) 包含 `s3:PutObject`動作來執行此操作。
------
#### [ JSON ]
****
```
{
"Version":"2012-10-17",
"Statement": [{
"Action": [
"s3:PutObject"
],
"Effect": "Allow",
"Resource": "arn:aws:s3:::your-task-reports-bucket/reports/*"
}]
}
```
------
+ 如果您的 S3 儲存貯體使用客戶受管 SSE-KMS 金鑰加密，[金鑰的政策](https://docs.aws.amazon.com/kms/latest/developerguide/key-policy-modifying.html)必須包含 DataSync 用來存取儲存貯體的 IAM 角色。
如需詳細資訊，請參閱[使用伺服器端加密存取 S3 儲存貯體](create-s3-location.md#create-s3-location-encryption)。
## 建立僅限摘要的任務報告
您只能在建立 DataSync 任務、啟動任務或更新任務時，設定包含[摘要](task-reports.md#task-report-types-summary)的任務報告。
下列步驟說明如何在建立任務時設定僅限摘要任務報告。
### 使用 DataSync 主控台
1. 在 https：//[https://console.aws.amazon.com/datasync/](https://console.aws.amazon.com/datasync/) 開啟 AWS DataSync 主控台。
1. 在左側導覽窗格中，展開**資料傳輸**，然後選擇**任務**，然後選擇**建立任務**。
1. 設定任務的來源和目的地位置。
如需詳細資訊，請參閱[我可以將資料傳輸到哪裡 AWS DataSync？](working-with-locations.md)
1. 向下捲動至**任務報告**區段。針對**報告類型**，選擇**僅摘要**。
1. 針對**報告的 S3 儲存貯**體，選擇您希望 DataSync 上傳任務報告的 S3 儲存貯體。
**提示**
如果您打算將資料傳輸到 S3 儲存貯體，如果您[停用**保留已刪除的檔案**選項](configure-metadata.md)，請不要將相同的儲存貯體用於任務報告。否則，DataSync 會在每次執行任務時刪除任何先前的任務報告，因為這些報告不存在於您的來源位置。
1. 針對**資料夾**，在 DataSync 將報告上傳至 S3 儲存貯體時，輸入要用於任務報告的字首 （例如 **reports/**)。
請務必在字首結尾包含適當的分隔符號字元。此字元通常是正斜線 (`/`)。如需詳細資訊，請參閱《*Amazon S3 使用者指南*》中的[使用字首組織物件](https://docs.aws.amazon.com/AmazonS3/latest/userguide/using-prefixes.html)。
1. 針對 **IAM role (IAM 角色)**，執行以下其中一項作業：
+ 選擇**自動產生**，讓 DataSync 自動建立具有存取 S3 儲存貯體所需許可的 IAM 角色。
如果 DataSync 先前為此 S3 儲存貯體建立 IAM 角色，預設會選擇該角色。
+ 選擇您建立的自訂 IAM 角色。
在某些情況下，您可能需要自行建立角色。如需詳細資訊，請參閱[允許 DataSync 將任務報告上傳到您的 S3 儲存貯體](#task-report-access)。
**重要**
如果您的 S3 儲存貯體使用客戶管理的 SSE-KMS 金鑰加密，金鑰的政策必須包含 DataSync 用來存取儲存貯體的 IAM 角色。
如需詳細資訊，請參閱[使用伺服器端加密存取 S3 儲存貯體](create-s3-location.md#create-s3-location-encryption)。
1. 完成建立任務，然後[啟動任務](run-task.md)以開始傳輸資料。
傳輸完成時，您可以[檢視任務報告](task-report-viewing.md)。
### 使用 AWS CLI
1. 複製下列 `create-task` AWS Command Line Interface (AWS CLI) 命令：
```
aws datasync create-task \
--source-location-arn arn:aws:datasync:us-east-1:123456789012:location/loc-12345678abcdefgh \
--destination-location-arn arn:aws:datasync:us-east-1:123456789012:location/loc-abcdefgh12345678 \
--task-report-config '{
"Destination":{
"S3":{
"Subdirectory":"reports/",
"S3BucketArn":"arn:aws:s3:::your-task-reports-bucket",
"BucketAccessRoleArn":"arn:aws:iam::123456789012:role/bucket-iam-role"
}
},
"OutputType":"SUMMARY_ONLY"
}'
```
1. 針對 `--source-location-arn` 參數，指定傳輸中來源位置的 Amazon Resource Name (ARN)。`us-east-1` 以適當的 取代 AWS 區域，`123456789012`以適當的 AWS 帳戶 數字取代 ，並以適當的來源位置 ID 取代 `12345678abcdefgh` 。
1. 針對 `--destination-location-arn` 參數，指定傳輸中目的地位置的 ARN。`us-east-1` 以適當的 取代 AWS 區域，`123456789012`以適當的 AWS 帳戶 數字取代 ，並以適當的目的地位置 ID 取代 `abcdefgh12345678` 。
1. 針對 `--task-report-config` 參數，請執行下列動作：
+ `Subdirectory` – `reports/`將 取代為您希望 DataSync 上傳任務報告的 S3 儲存貯體中的字首。
請務必在字首結尾包含適當的分隔符號字元。此字元通常是正斜線 (`/`)。如需詳細資訊，請參閱《*Amazon S3 使用者指南*》中的[使用字首組織物件](https://docs.aws.amazon.com/AmazonS3/latest/userguide/using-prefixes.html)。
+ `S3BucketArn` – 指定您要上傳任務報告的 S3 儲存貯體 ARN。
**提示**
如果您打算將資料傳輸到 S3 儲存貯體，如果您[停用**保留已刪除的檔案**選項](configure-metadata.md)，請不要將相同的儲存貯體用於任務報告。否則，DataSync 會在每次執行任務時刪除任何先前的任務報告，因為這些報告不存在於您的來源位置。
+ `BucketAccessRoleArn` – 指定允許 DataSync 將任務報告上傳至 S3 儲存貯體的 IAM 角色。
如需詳細資訊，請參閱[允許 DataSync 將任務報告上傳到您的 S3 儲存貯體](#task-report-access)。
**重要**
如果您的 S3 儲存貯體使用客戶管理的 SSE-KMS 金鑰加密，金鑰的政策必須包含 DataSync 用來存取儲存貯體的 IAM 角色。
如需詳細資訊，請參閱[使用伺服器端加密存取 S3 儲存貯體](create-s3-location.md#create-s3-location-encryption)。
+ `OutputType` – 指定 `SUMMARY_ONLY`。
如需詳細資訊，請參閱[僅摘要任務報告](task-reports.md#task-report-types-summary)。
1. 執行 `create-task`命令來建立您的任務。
您會收到如下所示的回應，顯示您建立之任務的 ARN。您需要此 ARN 才能執行 `start-task-execution`命令。
```
{
"TaskArn": "arn:aws:datasync:us-east-1:123456789012:task/task-12345678abcdefgh"
}
```
1. 複製下列`start-task-execution`命令。
```
aws datasync-task-report start-task-execution \
--task-arn arn:aws:datasync:us-east-1:123456789012:task/task-12345678abcdefgh
```
1. 針對 `--task-arn` 參數，指定您要啟動之任務的 ARN。使用您從執行 `create-task`命令收到的 ARN。
1. 執行 `start-task-execution` 命令。
傳輸完成時，您可以[檢視任務報告](task-report-viewing.md)。
## 建立標準任務報告
您可以在建立 DataSync 任務、啟動任務或更新任務時設定[標準任務報告](task-reports.md#task-report-types-standard)。
下列步驟說明如何在建立任務時設定標準任務報告。
### 使用 DataSync 主控台
1. 在 https：//[https://console.aws.amazon.com/datasync/](https://console.aws.amazon.com/datasync/) 開啟 AWS DataSync 主控台。
1. 在左側導覽窗格中，展開**資料傳輸**，然後選擇**任務**，然後選擇**建立任務**。
1. 設定任務的來源和目的地位置。
如需詳細資訊，請參閱[我可以將資料傳輸到哪裡 AWS DataSync？](working-with-locations.md)
1. 向下捲動至**任務報告**區段。針對**報告類型**，選擇**標準報告**。
1. 針對**報告層級**，選擇下列其中一項：
+ **僅限錯誤** – 您的任務報告僅包含 DataSync 嘗試傳輸、略過、驗證和刪除的問題。
+ **成功和錯誤** – 您的任務報告包含 DataSync 成功傳輸、略過、驗證和刪除的內容，以及未成功傳輸的內容。
+ **自訂** – 可讓您選擇是否只看到錯誤或任務報告特定方面的成功和錯誤。
例如，您可以為傳輸的檔案清單選擇**成功和錯誤**，但**錯誤僅適用於**報告的其餘部分。
1. 如果您要轉移到使用物件版本控制的 S3 儲存貯體，如果您希望報告包含每個傳輸**物件的新版本，請保持選取包含 Amazon S3 ** 物件版本。
1. 針對**報告的 S3 儲存貯**體，選擇您希望 DataSync 上傳任務報告的 S3 儲存貯體。
**提示**
如果您打算將資料傳輸到 S3 儲存貯體，如果您[停用**保留已刪除的檔案**選項](configure-metadata.md)，請不要將相同的儲存貯體用於任務報告。否則，DataSync 會在每次執行任務時刪除任何先前的任務報告，因為這些報告不存在於您的來源位置。
1. 針對**資料夾**，在 DataSync 將報告上傳至 S3 儲存貯體時，輸入要用於任務報告的字首 （例如 **reports/**)。請務必在字首結尾包含適當的分隔符號字元。此字元通常是正斜線 (`/`)。如需詳細資訊，請參閱《*Amazon S3 使用者指南*》中的[使用字首組織物件](https://docs.aws.amazon.com/AmazonS3/latest/userguide/using-prefixes.html)。
1. 針對 **IAM role (IAM 角色)**，執行以下其中一項作業：
+ 選擇**自動產生**，讓 DataSync 自動建立具有存取 S3 儲存貯體所需許可的 IAM 角色。
如果 DataSync 先前為此 S3 儲存貯體建立 IAM 角色，預設會選擇該角色。
+ 選擇您建立的自訂 IAM 角色。
在某些情況下，您可能需要自行建立角色。如需詳細資訊，請參閱[允許 DataSync 將任務報告上傳到您的 S3 儲存貯體](#task-report-access)。
**重要**
如果您的 S3 儲存貯體使用客戶管理的 SSE-KMS 金鑰加密，金鑰的政策必須包含 DataSync 用來存取儲存貯體的 IAM 角色。
如需詳細資訊，請參閱[使用伺服器端加密存取 S3 儲存貯體](create-s3-location.md#create-s3-location-encryption)。
1. 完成建立任務並[啟動任務](run-task.md)以開始傳輸資料。
傳輸完成時，您可以[檢視任務報告](task-report-viewing.md)。
### 使用 AWS CLI
1. 複製下列`create-task`命令：
```
aws datasync create-task \
--source-location-arn arn:aws:datasync:us-east-1:123456789012:location/loc-12345678abcdefgh \
--destination-location-arn arn:aws:datasync:us-east-1:123456789012:location/loc-abcdefgh12345678 \
--task-report-config '{
"Destination":{
"S3":{
"Subdirectory":"reports/",
"S3BucketArn":"arn:aws:s3:::your-task-reports-bucket",
"BucketAccessRoleArn":"arn:aws:iam::123456789012:role/bucket-iam-role"
}
},
"OutputType":"STANDARD",
"ReportLevel":"level-of-detail",
"ObjectVersionIds":"include-or-not"
}'
```
1. 針對 `--source-location-arn` 參數，指定傳輸中來源位置的 ARN。`us-east-1` 以適當的 取代 AWS 區域，`123456789012`以適當的 AWS 帳戶 數字取代 ，並以適當的來源位置 ID 取代 `12345678abcdefgh` 。
1. 針對 `--destination-location-arn` 參數，指定傳輸中目的地位置的 ARN。`us-east-1` 以適當的 取代 AWS 區域，`123456789012`以適當的 AWS 帳戶 號碼取代 ，並以適當的目的地位置 ID 取代 `abcdefgh12345678` 。
1. 針對 `--task-report-config` 參數，請執行下列動作：
+ `Subdirectory` – `reports/`將 取代為 S3 儲存貯體中您希望 DataSync 上傳任務報告的字首。請務必在字首結尾包含適當的分隔符號字元。此字元通常是正斜線 (`/`)。如需詳細資訊，請參閱《*Amazon S3 使用者指南*》中的[使用字首組織物件](https://docs.aws.amazon.com/AmazonS3/latest/userguide/using-prefixes.html)。
+ `S3BucketArn` – 指定您要上傳任務報告的 S3 儲存貯體 ARN。
**提示**
如果您打算將資料傳輸到 S3 儲存貯體，如果您[停用**保留已刪除的檔案**選項](configure-metadata.md)，請不要將相同的儲存貯體用於任務報告。否則，DataSync 會在每次執行任務時刪除任何先前的任務報告，因為這些報告不存在於您的來源位置。
+ `BucketAccessRoleArn` – 指定允許 DataSync 將任務報告上傳至 S3 儲存貯體的 IAM 角色。
如需詳細資訊，請參閱[允許 DataSync 將任務報告上傳到您的 S3 儲存貯體](#task-report-access)。
**重要**
如果您的 S3 儲存貯體使用客戶管理的 SSE-KMS 金鑰加密，金鑰的政策必須包含 DataSync 用來存取儲存貯體的 IAM 角色。
如需詳細資訊，請參閱[使用伺服器端加密存取 S3 儲存貯體](create-s3-location.md#create-s3-location-encryption)。
+ `OutputType` – 指定`STANDARD`報告。
如需詳細資訊，請參閱任務報告的[標準任務報告](task-reports.md#task-report-types-standard)類型。
+ （選用） `ReportLevel` – 在`SUCCESSES_AND_ERRORS`報告中指定您想要 `ERRORS_ONLY`（預設值） 還是 。
+ （選用） `ObjectVersionIds` – 如果您要轉移到使用物件版本控制的 S3 儲存貯體，請指定`NONE`您是否不想在報告中包含每個已傳輸物件的新版本。
根據預設，此選項會設為 `INCLUDE`。
+ （選用） `Overrides` – 自訂報告`ReportLevel`特定層面的 。
例如，您可能想要查看 ，`SUCCESSES_AND_ERRORS`以取得 DataSync 在目的地位置刪除的項目清單，但您想要`ERRORS_ONLY`其他項目。在此範例中，您會將下列`Overrides`選項新增至 `--task-report-config` 參數：
```
"Overrides":{
"Deleted":{
"ReportLevel":"SUCCESSES_AND_ERRORS"
}
}
```
如果您不使用 `Overrides`，則整個報告會使用`ReportLevel`您指定的 。
1. 執行 `create-task`命令來建立您的任務。
您會收到如下所示的回應，顯示您建立之任務的 ARN。您需要此 ARN 才能執行 `start-task-execution`命令。
```
{
"TaskArn": "arn:aws:datasync:us-east-1:123456789012:task/task-12345678abcdefgh"
}
```
1. 複製下列`start-task-execution`命令。
```
aws datasync-task-report start-task-execution \
--task-arn arn:aws:datasync:us-east-1:123456789012:task/task-12345678abcdefgh
```
1. 針對 `--task-arn` 參數，指定您正在執行之任務的 ARN。使用您從執行 `create-task`命令收到的 ARN。
1. 執行 `start-task-execution` 命令。
傳輸完成時，您可以[檢視任務報告](task-report-viewing.md)。
# 檢視 DataSync 任務報告
DataSync 會為每個任務執行建立任務報告。執行完成時，您可以在 S3 儲存貯體中找到相關的任務報告。任務報告會以包含任務 IDs的字首進行組織。
若要協助尋找 S3 儲存貯體中的任務報告，請使用下列範例：
+ **僅限摘要任務報告** – `reports-prefix/Summary-Reports/task-id-folder/task-execution-id-folder`
+ **標準任務報告** – `reports-prefix/Detailed-Reports/task-id-folder/task-execution-id-folder`
由於任務報告是 JSON 格式，因此您有幾個選項可以檢視報告：
+ 使用 [Amazon S3 Select](https://docs.aws.amazon.com/AmazonS3/latest/userguide/selecting-content-from-objects.html) 檢視報告。
+ 使用 AWS Glue Amazon Athena 和 Amazon Quick 等 AWS 服務視覺化報告。如需視覺化任務報告的詳細資訊，請參閱 [AWS 儲存部落格](https://aws.amazon.com/blogs/storage/derive-insights-from-aws-datasync-task-reports-using-aws-glue-amazon-athena-and-amazon-quicksight/)。
# 使用 Amazon CloudWatch Logs 監控資料傳輸
您可以使用 CloudWatch Logs 監控 AWS DataSync 傳輸。建議您將任務設定為至少記錄基本資訊 （例如傳輸錯誤）。
## 允許 DataSync 將日誌上傳至 CloudWatch 日誌群組
若要[設定 DataSync 任務](#configure-logging-for-task)的記錄，您需要一個 CloudWatch 日誌群組，DataSync 有權向其傳送日誌。 DataSync 您可以透過 AWS Identity and Access Management (IAM) 角色設定此存取權。具體的運作方式取決於您的[任務模式](choosing-task-mode.md)。
------
#### [ Enhanced mode ]
使用增強模式時，DataSync 會自動將任務日誌傳送至名為 的日誌群組`/aws/datasync`。如果您的 中不存在該日誌群組 AWS 區域，DataSync 會在您建立任務時使用 IAM [服務連結角色](https://docs.aws.amazon.com/datasync/latest/userguide/using-service-linked-roles-service-action-2.html)來代表您建立日誌群組。
------
#### [ Basic mode ]
有幾種方式可以使用基本模式為 DataSync 任務設定 CloudWatch 日誌群組。在 主控台中，您可以自動建立 IAM 角色，在大多數情況下包含 DataSync 上傳日誌所需的許可。請記住，從最低權限的角度來看，此自動產生的角色可能不符合您的需求。
如果您想要使用現有的 CloudWatch 日誌群組或以程式設計方式建立任務，您必須自行建立 IAM 角色。
下列範例是授予這些許可的 IAM 政策。
****
```
{
"Version":"2012-10-17",
"Statement": [
{
"Sid": "DataSyncLogsToCloudWatchLogs",
"Effect": "Allow",
"Action": [
"logs:PutLogEvents",
"logs:CreateLogStream"
],
"Principal": {
"Service": "datasync.amazonaws.com"
},
"Condition": {
"ArnLike": {
"aws:SourceArn": [
"arn:aws:datasync:us-east-1:444455556666:task/*"
]
},
"StringEquals": {
"aws:SourceAccount": "444455556666"
}
},
"Resource": "arn:aws:logs:us-east-1:444455556666:log-group:*:*"
}
]
}
```
此政策使用 `Condition`陳述式來協助確保只有來自指定帳戶的 DataSync 任務可以存取指定的 CloudWatch 日誌群組。我們建議在這些`Condition`陳述式中使用 [https://docs.aws.amazon.com/IAM/latest/UserGuide/reference_policies_condition-keys.html#condition-keys-sourcearn](https://docs.aws.amazon.com/IAM/latest/UserGuide/reference_policies_condition-keys.html#condition-keys-sourcearn)和 [https://docs.aws.amazon.com/IAM/latest/UserGuide/reference_policies_condition-keys.html#condition-keys-sourceaccount](https://docs.aws.amazon.com/IAM/latest/UserGuide/reference_policies_condition-keys.html#condition-keys-sourceaccount)全域條件內容索引鍵，以防止混淆代理人問題。如需詳細資訊，請參閱[預防跨服務混淆代理人](cross-service-confused-deputy-prevention.md)。
若要指定 DataSync 任務，請將 *`region`*取代為 AWS 區域 任務所在的 區域碼 （例如 `us-west-2`)，並將 取代*`account-id`*為包含任務的帳戶 AWS 帳戶 ID。若要指定 CloudWatch 日誌群組，請取代相同的值。您也可以修改`Resource`陳述式以鎖定特定日誌群組。如需使用 `SourceArn`和 的詳細資訊`SourceAccount`，請參閱《*IAM 使用者指南*》中的[全域條件金鑰](https://docs.aws.amazon.com/IAM/latest/UserGuide/reference_policies_condition-keys.html#condition-keys-sourceaccount)。
若要套用政策，請將此政策陳述式儲存至本機電腦上的檔案。然後執行下列 AWS CLI 命令來套用資源政策。若要使用此範例命令，請將 取代`full-path-to-policy-file`為包含政策陳述式的檔案路徑。
```
aws logs put-resource-policy --policy-name trust-datasync --policy-document file://full-path-to-policy-file
```
**注意**
使用您啟用 DataSync 代理程式的相同 AWS 帳戶 和 AWS 區域 來執行此命令。
如需詳細資訊，請參閱 [https://docs.aws.amazon.com/AmazonCloudWatch/latest/logs/Working-with-log-groups-and-streams.html](https://docs.aws.amazon.com/AmazonCloudWatch/latest/logs/Working-with-log-groups-and-streams.html)。
------
## 設定 DataSync 任務的記錄
我們建議您為 DataSync 任務設定至少某個層級的記錄。
**開始之前**
DataSync 需要將日誌上傳至 CloudWatch 日誌群組的許可。如需詳細資訊，請參閱[允許 DataSync 將日誌上傳至 CloudWatch 日誌群組](#cloudwatchlogs)。
### 使用 DataSync 主控台
下列指示說明如何在建立任務時設定 CloudWatch 記錄。您也可以在編輯任務時設定記錄。
1. 在 https：//[https://console.aws.amazon.com/datasync/](https://console.aws.amazon.com/datasync/) 開啟 AWS DataSync 主控台。
1. 在左側導覽窗格中，展開**資料傳輸**，然後選擇**任務**，然後選擇**建立任務**。
1. 設定任務的來源和目的地位置。
如需詳細資訊，請參閱[我可以將資料傳輸到哪裡 AWS DataSync？](working-with-locations.md)
1. 在**設定設定**頁面上，選擇[任務模式](choosing-task-mode.md)和任何其他選項。
您可能對下列一些選項感興趣：
+ 使用[資訊清單](transferring-with-manifest.md)或[篩選條件](filtering.md)指定要傳輸的資料。
+ 設定 如何處理[檔案中繼資料](configure-metadata.md)和[驗證資料完整性](configure-data-verification-options.md)。
1. 針對**日誌層級**，選擇下列其中一個選項：
+ **日誌基本資訊，例如傳輸錯誤** – 發佈僅包含基本資訊的日誌 （例如傳輸錯誤）。
+ **記錄所有傳輸的物件和檔案** – 發佈 DataSync 傳輸和執行資料完整性檢查的所有檔案或物件的日誌。
+ **不要產生日誌**
1. 根據您用來建立或指定 CloudWatch 日誌群組的任務模式，執行下列其中一項操作：
------
#### [ Enhanced mode ]
當您選擇**建立任務**時，DataSync 會自動使用 （或建立） 名為 的日誌群組`/aws/datasync`。
------
#### [ Basic mode ]
對於 **CloudWatch 日誌群組**，請執行下列其中一項動作，指定 DataSync 有權將日誌上傳至其中的日誌群組：
+ 選擇**自動產生**以自動建立日誌群組，允許 DataSync 將日誌上傳至其中。
+ 選擇目前 中的現有日誌群組 AWS 區域。
如果您選擇現有的日誌群組，請確定 [DataSync 具有將日誌上傳至該日誌群組的許可](#cloudwatchlogs)。
------
1. 選擇 **Create task (建立任務)**。
您已準備好[開始任務](run-task.md)。
### 使用 AWS CLI
1. 複製下列`create-task`命令：
```
aws datasync create-task \
--source-location-arn "arn:aws:datasync:us-east-1:account-id:location/location-id" \
--destination-location-arn "arn:aws:datasync:us-east-1:account-id:location/location-id" \
--task-mode "ENHANCED-or-BASIC" \
--name "task-name" \
--options '{"LogLevel": "log-level"}' \
--cloudwatch-log-group-arn "arn:aws:logs:us-east-1:account-id:log-group:log-group-name:*"
```
1. 針對 `--source-location-arn`，指定來源位置的 Amazon Resource Name (ARN)。
1. 針對 `--destination-location-arn`，指定目的地位置的 ARN。
如果您要跨 AWS 區域 或 帳戶轉移，請確定 ARN 包含其他區域或帳戶 ID。
1. 針對 `--task-mode`，指定 `ENHANCED`或 `BASIC`。
1. （建議） 對於 `--name`，請指定您可以記住的任務名稱。
1. 針對 `LogLevel`，指定下列其中一個選項：
+ `BASIC` – 發佈僅包含基本資訊的日誌 （例如傳輸錯誤）。
+ `TRANSFER` – 發佈 DataSync 傳輸和執行資料完整性檢查的所有檔案或物件的日誌。
+ `NONE` – 請勿產生日誌。
1. 對於 -`-cloudwatch-log-group-arn`，指定 CloudWatch 日誌群組的 ARN。
**重要**
如果您的 `--task-mode`是 `ENHANCED`，則不需要指定此選項。如需詳細資訊，請參閱[允許 DataSync 將日誌上傳至 CloudWatch 日誌群組](#cloudwatchlogs)。
1. 執行 `create-task` 命令。
如果命令成功，您會收到回應，顯示您建立之任務的 ARN。例如：
```
{
"TaskArn": "arn:aws:datasync:us-east-1:111222333444:task/task-08de6e6697796f026"
}
```
您已準備好[開始任務](run-task.md)。
### 使用 DataSync API
您可以使用 `CloudWatchLogGroupArn` 參數搭配下列任何操作，為您的任務設定 CloudWatch 記錄：
+ [https://docs.aws.amazon.com/datasync/latest/userguide/API_CreateTask.html](https://docs.aws.amazon.com/datasync/latest/userguide/API_CreateTask.html)
+ [https://docs.aws.amazon.com/datasync/latest/userguide/API_UpdateTask.html](https://docs.aws.amazon.com/datasync/latest/userguide/API_UpdateTask.html)
## 檢視 DataSync 任務日誌
當您[啟動任務](run-task.md)時，您可以使用 CloudWatch 主控台或 AWS CLI （以及其他選項） 檢視任務執行的日誌。如需詳細資訊，請參閱 [https://docs.aws.amazon.com/AmazonCloudWatch/latest/logs/Working-with-log-groups-and-streams.html](https://docs.aws.amazon.com/AmazonCloudWatch/latest/logs/Working-with-log-groups-and-streams.html)。
DataSync 為增強型模式任務提供 JSON 結構化日誌。基本模式任務具有非結構化日誌。下列範例顯示與基本模式日誌相比，驗證錯誤在增強型模式日誌中的顯示方式。
------
#### [ Enhanced mode log example ]
```
{
"Action": "VERIFY",
"Source": {
"LocationId": "loc-abcdef01234567890",
"RelativePath": "directory1/directory2/file1.txt"
},
"Destination": {
"LocationId": "loc-05ab2fdc272204a5f",
"RelativePath": "directory1/directory2/file1.txt",
"Metadata": {
"Type": "Object",
"ContentSize": 66060288,
"LastModified": "2024-10-03T20:46:58Z",
"S3": {
"SystemMetadata": {
"ContentType": "binary/octet-stream",
"ETag": "\"1234abcd5678efgh9012ijkl3456mnop\"",
"ServerSideEncryption": "AES256"
},
"UserMetadata": {
"file-mtime": "1602647222/222919600"
},
"Tags": {}
}
}
},
"ErrorCode": "FileNotAtSource",
"ErrorDetail": "Verification failed due to file being present at the destination but not at the source"
}
```
------
#### [ Basic mode log example ]
```
[NOTICE] Verification failed > /directory1/directory2/file1.txt
[NOTICE] /directory1/directory2/file1.txt dstMeta: type=R mode=0755 uid=65534 gid=65534 size=8972938 atime=1728657659/0 mtime=1728657659/0 extAttrsHash=0
[NOTICE] dstHash: f9c2cca900301d38b0930367d8d587153154af467da0fdcf1bebc0848ec72c0d
```
------
# 使用 記錄 AWS DataSync API 呼叫 AWS CloudTrail
AWS DataSync 已與 服務整合 AWS CloudTrail，此服務提供使用者、角色或 DataSync AWS 服務 中 所採取動作的記錄。CloudTrail 會將 DataSync 的所有 API 呼叫擷取為事件。擷取的呼叫包括來自 DataSync 主控台的呼叫，以及對 DataSync API 操作的程式碼呼叫。
如果您建立線索，您可以將 CloudTrail 事件持續交付至 Amazon S3 儲存貯體，包括 AWS DataSync 的事件。即使您未設定追蹤，依然可以透過 CloudTrail 主控台中的**事件歷史記錄**檢視最新事件。您可以使用 CloudTrail 所收集的資訊，判斷對 AWS DataSync 提出的請求、提出請求的 IP 地址、提出請求的人員、提出請求的時間，以及其他詳細資訊。
若要進一步了解 CloudTrail，請參閱[「AWS CloudTrail 使用者指南」](https://docs.aws.amazon.com/awscloudtrail/latest/userguide/)。
## 在 CloudTrail 中使用 DataSync 資訊
當您建立帳戶 AWS 帳戶 時，您的 上會啟用 CloudTrail。當活動在 AWS DataSync 中發生時，該活動會與**事件歷史記錄**中的其他 AWS 服務 事件一起記錄在 CloudTrail 事件中。您可以在 中檢視、搜尋和下載最近的事件 AWS 帳戶。如需詳細資訊，請參閱[使用 CloudTrail 事件歷史記錄檢視事件](https://docs.aws.amazon.com/awscloudtrail/latest/userguide/view-cloudtrail-events.html)。
若要持續記錄 中的事件 AWS 帳戶，包括 AWS DataSync 的事件，請建立追蹤。*線索*能讓 CloudTrail 將日誌檔案交付至 Amazon S3 儲存貯體。依預設，當您在主控台中建立追蹤時，該追蹤會套用至所有的 AWS 區域。線索會記錄相同 AWS 分割區 AWS 區域 中所有 的事件，並將日誌檔案傳送到您指定的 Amazon S3 儲存貯體。此外，您可以設定其他 AWS 服務 來進一步分析和處理 CloudTrail 日誌中收集的事件資料。如需詳細資訊，請參閱下列內容：
+ [建立追蹤的概觀](https://docs.aws.amazon.com/awscloudtrail/latest/userguide/cloudtrail-create-and-update-a-trail.html)
+ [CloudTrail 支援的服務和整合](https://docs.aws.amazon.com/awscloudtrail/latest/userguide/cloudtrail-aws-service-specific-topics.html#cloudtrail-aws-service-specific-topics-integrations)
+ [設定 CloudTrail 的 Amazon SNS 通知](https://docs.aws.amazon.com/awscloudtrail/latest/userguide/configure-sns-notifications-for-cloudtrail.html)
+ [接收多個區域的 CloudTrail 日誌檔案](https://docs.aws.amazon.com/awscloudtrail/latest/userguide/receive-cloudtrail-log-files-from-multiple-regions.html)及[接收多個帳戶的 CloudTrail 日誌檔案](https://docs.aws.amazon.com/awscloudtrail/latest/userguide/cloudtrail-receive-logs-from-multiple-accounts.html)
CloudTrail 會記錄所有 DataSync 動作。（如需詳細資訊，請參閱 DataSync [API 參考](https://docs.aws.amazon.com/datasync/latest/userguide/API_Operations.html)。)
例如，對 `CreateAgent`、`CreateTask` 和 `ListLocations` 操作的呼叫都會在 CloudTrail 日誌檔案中產生項目。
每一筆事件或日誌專案都會包含產生請求者的資訊。身分資訊可協助您判斷下列事項：
+ 是否使用根或 AWS Identity and Access Management (IAM) 登入資料提出請求。
+ 提出該請求時，是否使用了特定角色或聯合身分使用者的暫時安全憑證。
+ 該請求是否由另一項 AWS 服務服務提出。
如需詳細資訊，請參閱《 使用者指南》中的 [CloudTrail userIdentity元素](https://docs.aws.amazon.com/awscloudtrail/latest/userguide/cloudtrail-event-reference-user-identity.html)。 *AWS CloudTrail *
## 了解 DataSync 日誌檔案項目
追蹤是一種組態，能讓事件以日誌檔案的形式交付到您指定的 Amazon S3 儲存貯體。CloudTrail 日誌檔案包含一或多個日誌專案。事件代表來自任何來源的單一請求，並包含所請求動作、動作的日期和時間、請求參數等相關資訊。CloudTrail 日誌檔案並非依公有 API 呼叫的堆疊追蹤排序，因此不會以任何特定順序出現。
以下範例顯示的 CloudTrail 日誌項目會示範 `CreateTask` 操作：
```
{
"eventVersion": "1.05",
"userIdentity": {
"type": "IAMUser",
"principalId": "1234567890abcdef0",
"arn": "arn:aws:iam::123456789012:user/user1",
"accountId": "123456789012",
"accessKeyId": "access key",
"userName": "user1",
"sessionContext": {
"attributes": {
"mfaAuthenticated": "false",
"creationDate": "2018-12-13T14:56:46Z"
}
},
"invokedBy": "signin.amazonaws.com"
},
"eventTime": "2018-12-13T14:57:02Z",
"eventSource": "datasync.amazonaws.com",
"eventName": "CreateTask",
"awsRegion": "ap-southeast-1",
"sourceIPAddress": "192.0.2.1",
"userAgent": "signin.amazonaws.com",
"requestParameters": {
"cloudWatchLogGroupArn": "arn:aws:logs:ap-southeast-1:123456789012:log-group:MyLogGroup",
"name": "MyTask-NTIzMzY1",
"tags": [],
"destinationLocationArn": "arn:aws:datasync:ap-southeast-1:123456789012:location/loc-abcdef01234567890",
"options": {
"bytesPerSecond": -1,
"verifyMode": "POINT_IN_TIME_CONSISTENT",
"uid": "INT_VALUE",
"posixPermissions": "PRESERVE",
"mtime": "PRESERVE",
"gid": "INT_VALUE",
"preserveDevices": "NONE",
"preserveDeletedFiles": "REMOVE",
"atime": "BEST_EFFORT"
},
"sourceLocationArn": "arn:aws:datasync:ap-southeast-1:123456789012:location/loc-021345abcdef6789"
},
"responseElements": {
"taskArn": "arn:aws:datasync:ap-southeast-1:123456789012:task/task-1234567890abcdef0"
},
"requestID": "a1b2c3d4-5678-90ab-cdef-EXAMPLE11111",
"eventID": "a1b2c3d4-5678-90ab-cdef-EXAMPLE22222",
"eventType": "AwsApiCall",
"recipientAccountId": "123456789012"
}
```
# 使用 Amazon EventBridge 監控事件
Amazon EventBridge 事件描述 DataSync 資源中的變更。您可以設定規則來比對這些事件，並將這些事件路由到一或多個目標函數或串流。盡可能發出事件。
## DataSync 傳輸事件
下列 EventBridge 事件可用於 DataSync 傳輸。
| **Agent state changes** |
| --- |
| 事件 | Description |
| Online | The agent is configured properly and ready to use. This is the normal running status for an agent. |
| Offline | The agent has been out of contact with the DataSync service for five minutes or longer. This can happen for a few reasons. For more information, see [如果我的客服人員離線，該怎麼辦？](troubleshooting-datasync-agents.md#troubleshoot-agent-offline) |
| **Location state changes** |
| --- |
| 事件 | Description |
| Adding | DataSync is adding a location. |
| Available | The location is created and is available to use. |
| **Task state changes** |
| --- |
| 事件 | Description |
| Available | The task was created and is ready to start. |
| Running | The task is in progress and functioning properly. |
| Unavailable | The task isn't configured properly and can't be used. You might see this event when an agent associated with the task goes offline. |
| Queued | Another task is running and using the same agent. DataSync runs tasks in series (first in, first out). |
| **Task execution state changes** |
| --- |
| 事件 | Description |
| Queueing | Another task execution is running and using the same DataSync agent. For more information, see [了解您的任務何時排入佇列](run-task.md#queue-task-execution). |
| Launching | DataSync is initializing the task execution. This status usually goes quickly but can take up to a few minutes. |
| Preparing | DataSync 正在決定要傳輸哪些資料。 此步驟可能需要幾分鐘或幾小時的時間，取決於兩個位置的檔案、物件或目錄數量，以及設定任務的方式。準備可能也不適用於您的任務。如需詳細資訊，請參閱[DataSync 如何準備資料傳輸](how-datasync-transfer-works.md#how-datasync-prepares)。 |
| Transferring | DataSync is performing the actual data transfer. |
| Verifying | DataSync is performing a data-integrity check at the end of the transfer. |
| Success | The task execution succeeded. |
| Cancelling | The task execution is in the process of being cancelled. |
| Error | The task execution failed. |
# AWS DataSync 使用手動工具進行監控
您可以從主控台或命令列追蹤您的 AWS DataSync 傳輸。
## 使用 DataSync 主控台監控傳輸
您可以使用 主控台監控 DataSync 傳輸，該主控台提供即時指標，例如資料傳輸、資料和檔案輸送量，以及資料壓縮。
**使用 DataSync 主控台監控傳輸**
1. [啟動 DataSync 任務](run-task.md#starting-task)後，選擇**查看執行詳細資訊**。
1. 檢視有關傳輸的指標。
## 使用 監控您的傳輸 AWS CLI
您可以使用 AWS Command Line Interface () 監控 DataSync 傳輸AWS CLI。
複製下列`describe-task-execution`命令。若要使用此範例命令，請以您自己的資訊取代 `user input placeholders`。
```
aws datasync describe-task-execution \
--task-execution-arn 'arn:aws:datasync:region:account-id:task/task-id/execution/task-execution-id'
```
此命令會傳回類似如下的任務執行資訊。
```
{
"BytesCompressed": 3500,
"BytesTransferred": 5000,
"BytesWritten": 5000,
"EstimatedBytesToTransfer": 5000,
"EstimatedFilesToDelete": 10,
"EstimatedFilesToTransfer": 100,
"FilesDeleted": 10,
"FilesSkipped": 0,
"FilesTransferred": 100,
"FilesVerified": 100,
"Result": {
"ErrorCode": "??????",
"ErrorDetail": "??????",
"PrepareDuration": 100,
"PrepareStatus": "SUCCESS",
"TransferDuration": 60,
"TransferStatus": "AVAILABLE",
"VerifyDuration": 30,
"VerifyStatus": "SUCCESS"
},
"StartTime": 1532660733.39,
"Status": "SUCCESS",
"OverrideOptions": {
"Atime": "BEST_EFFORT",
"BytesPerSecond": "1000",
"Gid": "NONE",
"Mtime": "PRESERVE",
"PosixPermissions": "PRESERVE",
"PreserveDevices": "NONE",
"PreserveDeletedFiles": "PRESERVE",
"Uid": "NONE",
"VerifyMode": "POINT_IN_TIME_CONSISTENT"
},
"TaskExecutionArn": "arn:aws:datasync:us-east-1:111222333444:task/task-aaaabbbbccccddddf/execution/exec-1234abcd1234abcd1",
"TaskReportConfig": {
"Destination": {
"S3": {
"BucketAccessRoleArn": "arn:aws:iam::111222333444:role/my-datasync-role",
"S3BucketArn": "arn:aws:s3:::amzn-s3-demo-bucket/*",
"Subdirectory": "reports"
}
},
"ObjectVersionIds": "INCLUDE",
"OutputType": "STANDARD",
"Overrides": {
"Deleted": {
"ReportLevel": "ERRORS_ONLY"
},
"Skipped": {
"ReportLevel": "SUCCESSES_AND_ERRORS"
},
"Transferred": {
"ReportLevel": "ERRORS_ONLY"
},
"Verified": {
"ReportLevel": "ERRORS_ONLY"
}
},
"ReportLevel": "ERRORS_ONLY"
}
}
```
+ 如果任務執行成功，則 **Status (狀態)** 的值會變成 **SUCCESS (成功)**。如需回應元素含義的資訊，請參閱 [DescribeTaskExecution](API_DescribeTaskExecution.md)。
+ 如果任務執行失敗，結果會傳送錯誤代碼，協助您疑難排解問題。如需錯誤代碼的相關資訊，請參閱 [TaskExecutionResultDetail](API_TaskExecutionResultDetail.md)。
## 使用 `watch`公用程式監控您的傳輸
若要從命令列即時監控任務進度，您可以使用標準 Unix `watch`公用程式。任務執行持續時間值的測量單位為毫秒。
`watch` 公用程式無法辨識 DataSync 別名。下列範例示範如何直接叫用 CLI。若要使用此範例命令，請以您自己的資訊取代 `user input placeholders`。
```
# pass '-n 1' to update every second and '-d' to highlight differences
$ watch -n 1 -d \ "aws datasync describe-task-execution --task-execution-arn 'arn:aws:datasync:region:account-id:task/task-id/execution/task execution-id'"
```