了解数据传输性能计数器 - AWS DataSync

本文属于机器翻译版本。若本译文内容与英语原文存在差异，则一律以英文原文为准。

了解数据传输性能计数器

启动任务时，会 AWS DataSync 提供计数器来帮助跟踪数据传输的性能和进度。

使用以下信息，了解每个计数器代表的信息。您可以在 DataSync 控制台或DescribeTaskExecution响应中查看这些计数器。某些计数器并非在所有任务模式下都可用。

控制台 DescribeTaskExecution 任务模式支持 说明

–

BytesWritten

增强、基本

DataSync 实际写入目标位置的逻辑字节数。

数据吞吐量

–

增强、基本

向目标位置 DataSync 写入逻辑字节的速率。

如果你使用的是 DescribeTaskExecution，如何计算这个计数器取决于你的任务模式：

  • 增强模式：BytesWritten 除以 TotalDuration

  • 基本模式：BytesWritten 除以 TransferDuration
传输的数据

BytesTransferred

增强、基本

压缩前 DataSync 发送到网络的字节数（如果可以压缩）。

有关通过网络传输的字节数，请参阅网络吞吐量（在控制台中）或BytesCompressed（输入 DescribeTaskExecution）计数器。

已从目标删除

FilesDeleted

Basic

在目标位置 DataSync 实际删除的文件、对象和目录的数量。

如果您未将任务配置为在目标位置中删除不存在于源位置的数据：

  • 已从目标删除不会显示在控制台中。

  • FilesDeleted 始终显示的值为 0。

已从目标删除

FilesDeleted, FoldersDeleted

增强

目标位置中 DataSync 实际删除的文件或对象以及目录的数量。

如果您未将任务配置为在目标位置中删除不存在于源位置的数据：

  • 已从目标删除不会显示在控制台中。

  • FilesDeleted并FoldersDeleted始终显示的值为0。

–

EstimatedBytesToTransfer

 增强、基本

DataSync 预期写入目标位置的逻辑字节数。

–

EstimatedFilesToDelete

 Basic

DataSync 预计在目标位置删除的文件、对象和目录的数量。

如果您未将任务配置为在目标位置中删除不存在于源位置的数据，则该值始终为 0。

–

EstimatedFilesToDelete, EstimatedFoldersToDelete

增强

目标位置中 DataSync 预计要删除的文件或对象以及目录的数量。

如果您未将任务配置为在目标位置中删除不存在于源位置的数据，则该值始终为 0。

–

EstimatedFilesToTransfer

Basic

DataSync 预计通过网络传输的文件、对象和目录的数量。此值是在 DataSync 准备传输时计算的。

计算方法主要取决于使用的传输模式：

  • 如果传输模式设置为仅传输更改的数据：计算方法是比较源位置和目标位置的内容，确定需要传输的差异。差异可能包括：

    • 在源位置添加或修改的任何内容。

    • 存在于两个位置，且在初始传输后于目标位置发生修改的任何内容（除非将任务设置为不覆盖目标位置的数据）。

    • DataSync 预计要删除的项目数量（如果您将任务配置为删除目标中的数据）。

  • 如果传输模式设置为传输所有数据：计算仅基于在源位置 DataSync 找到的项目。

–

EstimatedFilesToTransfer, EstimatedFoldersToTransfer

增强

DataSync 预计通过网络传输的文件或对象以及目录的数量。此值是在 DataSync 准备传输时计算的。

计算方法主要取决于使用的传输模式：

  • 如果传输模式设置为仅传输更改的数据：计算方法是比较源位置和目标位置的内容，确定需要传输的差异。差异可能包括：

    • 在源位置添加或修改的任何内容。

    • 存在于两个位置，且在初始传输后于目标位置发生修改的任何内容（除非将任务设置为不覆盖目标位置的数据）。

  • 如果传输模式设置为传输所有数据：计算仅基于在源位置 DataSync 找到的项目。

文件吞吐量

–

增强、基本

通过网络 DataSync 传输文件、对象和目录的速率。

如果你使用的是 DescribeTaskExecution，如何计算这个计数器取决于你的任务模式：

  • 增强模式：FilesTransferred 除以 TotalDuration

  • 基本模式：FilesTransferred 除以 TransferDuration

–

FilesFailed, FoldersFailed

增强

任务执行期间 DataSync 无法准备、传输、验证和删除的文件或对象以及目录的数量。

如果出现故障，可以分别在“准备好”、“已传输”、“已跳过”和“已从目标删除”控制台计数器旁边进行查看。

在源处列出

FilesListed.AtSource, FoldersListed.AtSource

增强

在您的源位置 DataSync 找到的文件或对象以及目录的数量。

  • 对于 DataSync 清单，仅列出清单中的内容（而不是源位置的所有内容）。

  • 使用包含过滤器，仅 DataSync列出与来源位置的过滤器匹配的内容。

  • 使用排除过滤器，在应用过滤器之前，会 DataSync 列出源位置的所有内容。

–

FilesListed.AtDestinationForDelete, FoldersListed.AtDestinationForDelete

增强

在目标位置 DataSync 找到的文件或对象以及目录的数量。

该计数器仅适用于您将任务配置为在目标位置中删除不存在于源位置的数据。

网络吞吐量 *

BytesCompressed

增强、基本

压缩后通过网络 DataSync 传输的物理字节数（如果可以压缩）。

除非数据不可压缩，否则此数字通常小于传输的数据BytesTransferred（在控制台中 DescribeTaskExecution）或（输入）。

* 对于增强模式，网络吞吐量不会显示在控制台中。

压缩百分比

–

增强、基本

在通过网络发送之前 DataSync 压缩的传输数据所占的百分比。

如果你使用的是 DescribeTaskExecution，你可以用计算这个计数器1 - BytesCompressed / BytesWritten。

准备好

FilesPrepared, FoldersPrepared

增强

比较源位置和目标位置后 DataSync 将尝试传输的文件或对象以及目录的数量。

在控制台中，此计数器还可以显示准备过程中 DataSync 跳过的对象数量。有关更多信息，请参阅 如何 DataSync 准备数据传输。

如果您将任务配置为传输所有数据，则此计数器不适用。在这种情况下， DataSync 将所有内容从源复制到目的地，而不比较位置之间的差异。

处理速率

–

增强、基本

DataSync 读取源位置文件、对象和目录的速率。

处理速率基于多个CloudWatch 指标。确切的指标取决于使用的任务模式。

增强模式：

  • FilesListedSource

  • FilesPrepared

  • FilesTransferred

  • FilesVerified

基本模式：

  • FilesPreparedSource

  • FilesPreparedDestination

  • FilesTransferred

  • FilesVerifiedSource

  • FilesVerifiedDestination

剩余

–

Basic

DataSync预计通过网络传输的剩余文件、对象和目录数量。

如果你使用的是 DescribeTaskExecution，你可以通过减去FilesTransferred来计算这个计数器。EstimatedFilesToTransfer

已跳过*

FilesSkipped

 Basic

传输过程中 DataSync 跳过的文件、对象和目录的数量。

–

FilesSkipped, FoldersSkipped

增强

传输过程中 DataSync 跳过的文件或对象以及目录的数量。

仅传输已更改的数据时，跳过的项目将包含在准备好的计数器中，或者在传输所有数据时包含在已传输的计数器中。

已传输

FilesTransferred

Basic

通过网络 DataSync 传输的文件、对象和目录的数量。在任务执行期间，当从源读取内容并通过网络发送内容时，该值会定期更新。

如果 DataSync 无法传输某些内容，则此值可以小于EstimatedFilesToTransfer或EstimatedFoldersToTransfer。在某些情况下，该值也可以大于EstimatedFilesToTransfer或EstimatedFoldersToTransfer。此计数器是特定于某些位置类型的实施，因此不要将其用作所传输内容的确切指示或用来监控任务执行。

已传输

FilesTransferred, FoldersTransferred

增强

通过网络 DataSync 传输的文件或对象以及目录的数量。在任务执行期间，当从源读取内容并通过网络发送内容时，该值会定期更新。

如果 DataSync 无法传输某些内容，则此值可以小于EstimatedFilesToTransfer或EstimatedFoldersToTransfer。在某些情况下，该值也可以大于EstimatedFilesToTransfer或EstimatedFoldersToTransfer。此计数器是特定于某些位置类型的实施，因此不要将其用作所传输内容的确切指示或用来监控任务执行。

已验证

FilesVerified

Basic

传输过程中要 DataSync 验证的文件、对象和目录的数量。

当您将任务配置为仅验证传输的数据时，在某些情况下 DataSync 不验证目录或无法传输的文件或对象。

已验证

FilesVerified, FoldersVerified

增强

传输过程中要 DataSync 验证的文件或对象以及目录的数量。