데이터 전송 성능 카운터 이해 - AWS DataSync

데이터 전송 성능 카운터 이해

작업을 시작할 때 AWS DataSync는 데이터 전송의 성능과 진행 상황을 추적하는 데 도움이 되는 카운터를 제공합니다.

다음 정보를 사용하여 각 카운터가 무엇을 나타내는지 확인합니다. DataSync 콘솔 또는 DescribeTaskExecution 응답에서 이러한 카운터를 확인할 수 있습니다. 일부 카운터는 모든 작업 모드에서 사용할 수는 없습니다.

콘솔 DescribeTaskExecution 작업 모드 지원 설명

–

BytesWritten

확장, 기본

DataSync가 실제로 대상 위치에 기록한 논리적 바이트 수입니다.

데이터 처리량

–

확장, 기본

DataSync가 대상 위치에 논리적 바이트를 기록하는 속도입니다.

DescribeTaskExecution을 사용하는 경우 이 카운터를 계산하는 방법은 작업 모드에 따라 달라집니다.

  • 확장 모드: TotalDuration으로 BytesWritten 나누기

  • 기본 모드: TransferDuration으로 BytesWritten 나누기
전송된 데이터

BytesTransferred

확장, 기본

DataSync가 압축(가능한 경우) 전에 네트워크에 전송하는 바이트 수입니다.

네트워크를 통해 전송된 바이트 수는 네트워크 처리량(콘솔 내) 또는 BytesCompressed(DescribeTaskExecution) 카운터를 참조하세요.

대상에서 삭제됨

FilesDeleted

확장, 기본

DataSync가 실제로 대상 위치에서 삭제한 파일, 객체, 디렉터리 수입니다.

소스에 없는 데이터를 대상에서 삭제하도록 작업을 구성하지 않은 경우:

  • 대상에서 삭제됨이 콘솔에 표시되지 않습니다.

  • FilesDeleted은 항상 0 값을 표시합니다.

–

EstimatedBytesToTransfer

 확장, 기본

DataSync가 대상 위치에 기록할 것으로 예상되는 논리적 바이트 수입니다.

–

EstimatedFilesToDelete

 확장, 기본

DataSync가 대상 위치에서 삭제할 것으로 예상되는 파일, 객체, 디렉터리 수입니다.

소스에 없는 대상의 데이터를 삭제하도록 작업을 구성하지 않는 경우 값은 항상 0입니다.

–

EstimatedFilesToTransfer

확장, 기본

네트워크를 통해 DataSync가 전송할 것으로 예상되는 파일, 객체, 디렉터리 수입니다. 이 값은 DataSync가 전송을 준비하는 동안 계산됩니다.

계산 방법은 주로 사용 중인 전송 모드에 따라 달라집니다.

  • 전송 모드가 변경된 데이터만 전송하도록 설정된 경우: 계산은 소스 및 대상 위치의 콘텐츠를 비교하여 이를 바탕으로 어떤 차이점을 전송해야 할지 결정합니다. 차이점은 다음과 같습니다.

    • 소스 위치에 추가되거나 수정된 모든 항목입니다.

    • 초기 전송 후 소스 및 대상 모두에 존재하며 대상에서 수정된 항목(작업이 대상 데이터를 덮어쓰지 않도록 구성된 경우는 제외)입니다.

    • (기본 모드만 해당) DataSync가 삭제할 것으로 예상되는 항목 수(대상의 데이터를 삭제하도록 작업을 구성하는 경우)입니다.

  • 전송 모드가 모든 데이터를 전송하도록 설정된 경우: 계산은 DataSync가 소스 위치에서 찾는 항목만을 기준으로 수행됩니다.

파일 처리량

–

확장, 기본

DataSync가 네트워크를 통해 파일, 객체, 디렉터리를 전송하는 속도입니다.

DescribeTaskExecution을 사용하는 경우 이 카운터를 계산하는 방법은 작업 모드에 따라 달라집니다.

  • 확장 모드: TotalDuration으로 FilesTransferred 나누기

  • 기본 모드: TransferDuration으로 FilesTransferred 나누기

–

FilesFailed

확장

DataSync가 작업 실행 중 준비, 전송, 확인, 삭제에 실패한 객체 수입니다.

실패한 항목이 있는 경우 대상 콘솔 카운터에서 준비됨, 전송됨, 건너뜀, 삭제됨 상태와 함께 각 항목을 확인할 수 있습니다.

소스에 나열됨

FilesListed.AtSource

확장

DataSync가 소스 위치에서 찾는 객체 수입니다.

  • 매니페스트를 사용하면 DataSync는 매니페스트에 있는 항목(소스 위치의 모든 항목 아님)만 나열합니다.

  • 포함 필터를 사용하면 DataSync는 소스 위치에서 필터와 일치하는 항목만 나열합니다.

  • 제외 필터를 사용하면 DataSync는 필터를 적용하기 전에 소스 위치에 있는 모든 항목을 나열합니다.

–

FilesListed.AtDestinationForDelete

확장

DataSync가 대상 위치에서 찾는 객체 수입니다.

이 카운터는 대상에서 소스에 없는 데이터를 삭제하도록 작업을 구성한 경우에만 적용됩니다.

네트워크 처리량:

BytesCompressed

확장, 기본

DataSync가 압축(가능한 경우) 후 네트워크를 통해 전송하는 물리적 바이트 수입니다.

데이터를 압축할 수 없는 경우를 제외하고, 이 수는 일반적으로 전송된 데이터(콘솔 내) 또는 BytesTransferred( DescribeTaskExecution)보다 적습니다.

* - 확장 모드의 경우 콘솔에 네트워크 처리량이 표시되지 않습니다.

압축 비율

–

기본

DataSync가 네트워크를 통해 전송하기 전에 압축한 전송 데이터의 비율입니다.

DescribeTaskExecution을 사용하는 경우 1 - BytesCompressed / BytesWritten를 사용하여 이 카운터를 계산할 수 있습니다.

준비됨

FilesPrepared

확장

DataSync가 소스 위치와 대상 위치를 비교한 후 전송을 시도할 객체 수입니다.

또한 콘솔에서 이 카운터는 DataSync가 준비 중에 건너뛴 객체 수를 표시할 수 있습니다. 자세한 내용은 DataSync가 데이터 전송을 준비하는 방법 섹션을 참조하세요.

모든 데이터를 전송하도록 작업을 구성하는 경우 이 카운터를 사용할 수 없습니다. 이 시나리오에서 DataSync는 위치 간의 차이를 비교하지 않고 소스의 모든 데이터를 대상으로 복사합니다.

처리 속도

–

확장, 기본

DataSync가 소스 위치에서 파일, 객체, 디렉터리를 읽는 속도입니다.

처리 속도는 여러 CloudWatch 지표를 기반으로 합니다. 정확한 지표는 사용 중인 작업 모드에 따라 달라집니다.

확장 모드:

  • FilesListedSource

  • FilesPrepared

  • FilesTransferred

  • FilesVerified

기본 모드:

  • FilesPreparedSource

  • FilesPreparedDestination

  • FilesTransferred

  • FilesVerifiedSource

  • FilesVerifiedDestination

나머지

–

기본

네트워크를 통해 DataSync가 전송할 것으로 예상되는 파일, 객체, 디렉터리 수입니다.

DescribeTaskExecution을 사용하는 경우 EstimatedFilesToTransfer에서 FilesTransferred을 뺀 값으로 이 카운터를 계산할 수 있습니다.

건너뜀*

FilesSkipped

 확장, 기본

DataSync가 전송 중에 건너뛴 파일, 객체, 디렉터리의 수입니다.

* - 확장 모드의 경우 건너뜀이 콘솔에 표시되지 않습니다. 대신 변경된 데이터만 전송할 때는 건너뛴 항목이 준비됨 카운터에 포함되고, 모든 데이터를 전송할 때는 전송됨 카운터에 포함됩니다.

전송됨

FilesTransferred

확장, 기본

네트워크를 통해 DataSync가 전송하는 파일, 객체, 디렉터리 수입니다. 이 값은 작업 실행 중 소스에서 무언가를 읽어 네트워크를 통해 전송할 때 주기적으로 업데이트됩니다.

DataSync가 무언가를 전송하지 못하면 이 값은 EstimatedFilesToTransfer보다 작을 수 있습니다. 경우에 따라 이 값은 EstimatedFilesToTransfer보다 클 수도 있습니다. 이 카운터는 일부 위치 유형에서 구현 방식에 따라 달라지므로 이를 정확한 지표로서 사용하거나 작업 실행을 모니터링하는 데 사용하지 마세요.

콘솔에서 이 카운터는 확장 모드 작업을 전송하는 동안 DataSync가 건너뛰는 객체 수를 표시할 수 있습니다. 자세한 내용은 DataSync가 데이터를 전송하는 방법 섹션을 참조하세요.

확인됨

FilesVerified

확장, 기본

DataSync가 전송 중에 확인한 파일, 객체, 디렉터리의 수입니다.

전송된 데이터만 확인하도록 작업을 구성하면 DataSync는 일부 상황에서 디렉터리를 확인하지 않거나 전송에 실패한 파일, 객체를 확인하지 않습니다.