DataSync 작업 관련 문제 해결
다음 정보를 사용하면 AWS DataSync 작업 및 작업 실행 문제를 해결하는 데 도움이 됩니다. 이러한 문제에는 작업 설정 문제, 중단된 작업 실행, 예상대로 전송되지 않은 데이터가 포함될 수 있습니다.
오류: 동기화 옵션 값이 잘못되었습니다. 옵션: TransferMode,PreserveDeletedFiles, 값: ALL,REMOVE
이 오류는 DataSync 작업을 만들거나 편집할 때 모든 데이터 전송 옵션을 선택하고 삭제된 파일 유지 옵션을 선택 취소할 때 발생합니다.
모든 데이터를 전송할 때 DataSync는 목적지 위치를 스캔하지 않으므로 무엇을 삭제해야 할지 모릅니다.
EniNotFound 오류와 함께 작업 실행 실패
이 오류는 Virtual Private Cloud(VPC)에서 작업의 네트워크 인터페이스 중 하나를 삭제하는 경우, 발생합니다. 작업이 예약되어 있거나 대기열에 있는 경우, 데이터 전송에 필요한 네트워크 인터페이스가 없으면 작업이 실패합니다.
취할 조치
이 문제를 해결할 수 있도록 다음 옵션이 제공됩니다:
-
작업을 수동으로 다시 시작합니다. 이렇게 하면 DataSync는 작업을 실행하는 데 필요한 누락된 네트워크 인터페이스를 생성합니다.
-
VPC의 리소스를 정리해야 하는 경우, 아직 사용 중인 DataSync 작업과 관련된 네트워크 인터페이스를 삭제하지 마세요.
작업에 할당된 네트워크 인터페이스를 보려면 다음 중 하나를 수행하세요:
-
DescribeTask 작업을 사용합니다.
SourceNetworkInterfaceArns및DestinationNetworkInterfaceArns응답 요소에서 네트워크 인터페이스를 볼 수 있습니다. -
Amazon EC2 콘솔에서 작업 ID(예:
task-f012345678abcdef0)를 검색하여 해당 네트워크 인터페이스를 찾을 수 있습니다.
-
-
작업을 자동으로 실행하지 않는 것을 고려해 보세요. 여기에는 DataSync 또는 사용자 지정 자동화를 통해 작업 대기열 또는 스케줄링을 비활성화하는 것이 포함될 수 있습니다.
메모리를 할당할 수 없음 오류와 함께 작업 실행 실패
DataSync 작업이 실패하고 메모리를 할당할 수 없음 오류가 발생하면 몇 가지 다른 문제가 발생할 수 있습니다.
취할 조치
문제가 더 이상 나타나지 않을 때까지 다음을 시도해 보세요.
-
에이전트와 관련된 전송의 경우 에이전트가 가상 머신(VM) 또는 Amazon EC2 인스턴스 요구 사항을 충족하는지 확인합니다.
-
필터를 사용하여 전송을 여러 작업으로 나눕니다. 하나의 DataSync 작업이 처리할 수 있는 것보다 더 많은 파일이나 객체를 전송하려고 할 수 있습니다.
-
그래도 문제가 지속되면 지원으로 문의하세요
.
FSx for ONTAP 파일 시스템에서 Input/Output error와 함께 작업 실패
FSx for ONTAP 파일 시스템을 사용하여 데이터를 전송할 때 DataSync 작업이 Input/Output error와 함께 실패하는 경우, 다음 중 하나 이상의 문제 때문일 수 있습니다.
FSx for ONTAP 볼륨의 최대 파일 용량 도달
이 오류는 볼륨에서 사용 가능한 inode 또는 파일 포인터 수가 소진되었을 때 발생합니다.
취할 조치
먼저 볼륨의 최대 파일 용량을 확인합니다. 그 다음 inode 수나 스토리지 용량을 늘려 볼륨의 파일 용량을 늘립니다. 자세한 내용은 FSx for ONTAP 사용 설명서의 볼륨 파일 최대 용량 늘리기를 참조하세요.
FSx for ONTAP 볼륨의 사용 가능한 스토리지 용량 부족
이 오류는 볼륨에 사용 가능한 스토리지 용량이 없을 때 발생합니다.
취할 조치
먼저, 볼륨의 사용 가능한 스토리지 용량을 확인합니다. 그 다음 볼륨의 스토리지 용량을 늘립니다. 자세한 내용은 FSx for ONTAP 사용 설명서의 볼륨 스토리지 용량 늘리기를 참조하세요.
참고
필요한 경우 볼륨의 스토리지 용량을 자동으로 늘리려면 FSx for ONTAP 사용 설명서의 볼륨 자동 크기 조정 사용을 참조하세요.
FSx for ONTAP 디렉터리가 디렉터리별로 저장 가능한 최대 파일 수에 도달함
이 오류는 각 디렉터리에 저장할 수 있는 최대 파일 수에 도달했을 때 발생합니다.
취할 조치
더 큰 디렉터리를 지원하도록 최대 디렉터리 크기를 늘립니다. 자세한 내용은 AWS 권장 가이드의 FSx for ONTAP 최대 디렉터리 크기 사용 모범 사례를 참조하세요.
DataSync 작업 실행으로 인해 읽기 및 쓰기 동시성이 과도하게 발생하여 파일 시스템 처리량 용량을 높은 비율로 사용함
이 오류는 DataSync 작업 실행이 파일 시스템의 가용 처리량 용량을 너무 많이 사용하는 경우에 발생합니다.
취할 조치
먼저 다음 방법을 사용하여 작업 실행이 파일 시스템의 처리량 용량을 너무 많이 사용하고 있는지 확인합니다.
-
사용 가능한 CloudWatch 지표를 사용하여 파일 시스템의 성능을 모니터링합니다. 자세한 내용은 FSx for ONTAP 사용 설명서의 파일 시스템 지표 모니터링을 참조하세요.
-
Amazon FSx 콘솔에서 파일 시스템을 모니터링하여 파일 서버 성능 경고를 확인합니다. 자세한 내용은 FSx for ONTAP 사용 설명서의 성능 경고 및 권장 사항을 참조하세요.
그런 다음 작업이 파일 시스템의 가용 처리량 용량을 모두 사용하지 않도록 다음 중 하나를 수행합니다.
-
작업 실행의 대역폭 제한을 FSx for ONTAP 파일 시스템의 프로비저닝된 처리량 용량보다 낮은 값으로 설정합니다. 자세한 내용은 AWS DataSync태스크의 대역폭 제한 설정 섹션을 참조하세요.
-
파일 시스템의 프로비저닝된 처리량 용량을 늘립니다. 자세한 내용은 FSx for ONTAP 사용 설명서의 처리량 용량 업데이트를 참조하세요.
FSx for ONTAP 파일 시스템에 대한 Connection Reset by peer 또는 Host is down 메시지와 함께 작업 실패
FSx for ONTAP 파일 시스템을 사용하여 데이터를 전송할 때 DataSync 작업이 Connection Reset by peer 또는 Host is
down 메시지와 함께 실패하는 경우, 다음 중 하나 이상의 문제 때문일 수 있습니다.
작업 실행 중 파일 시스템의 SMB 서버가 재부팅되었거나 연결이 끊어졌습니다.
-
작업 실행 중 파일 시스템이 기본 서버에서 보조 서버(및 IP 주소)로 장애 조치되었습니다. DataSync는 작업 실행 중에 보조 IP 주소로 장애 조치를 지원하지 않습니다.
FSx for ONTAP 파일 시스템은 다음 이벤트 중에 보조 서버 및 IP 주소로 장애 조치됩니다.
기본 서버를 사용할 수 없게 됨.
기본 서버의 가용 영역을 사용할 수 없게 됨(다중 AZ 파일 시스템의 경우).
사용자가 시작한 처리량 용량 변경 작업 동안.
파일 시스템의 정기 예약된 유지 관리 기간 동안.
자세한 내용은 FSx for ONTAP 사용 설명서의 FSx for ONTAP 장애 조치 프로세스를 참조하세요.
취할 조치
작업을 다시 시작합니다.
작업 실행이 시작 상태이지만 아무 일도 일어나지 않음
일반적으로 에이전트의 전원이 꺼져 있거나 네트워크 연결이 끊겼기 때문에 DataSync 작업이 시작하는 중 상태에서 멈출 수 있습니다.
취할 조치
에이전트의 상태가 온라인인지 확인하세요. 에이전트가 오프라인 상태인 경우, 전원이 켜져 있는지 확인하세요.
에이전트의 전원을 켰는데 작업이 여전히 출범하는 중 상태라면 에이전트와 AWS사이의 네트워크 연결 문제가 발생했을 가능성이 무엇보다도 높습니다. 네트워크 연결을 테스트하는 방법에 대한 정보는 에이전트의 DataSync 서비스 연결 확인섹션을 참조하세요.
이 문제가 계속되면 상담원에게 무슨 일이 벌어지고 있는지 모르겠어요. 누군가 저를 도와줄 수 있나요?단원을 참조하세요.
작업 실행이 준비 상태에서 중단됨
DataSync 전송 작업이 준비 상태에 머무르는 시간은 전송 소스 및 대상의 데이터 양과 해당 스토리지 시스템 성능에 따라 달라집니다.
작업이 시작되면 DataSync는 재귀적 디렉터리 리스팅 작업을 수행하여 소스와 목적지의 모든 파일, 객체, 디렉터리, 메타데이터를 검색합니다. DataSync는 이러한 목록을 사용하여 스토리지 시스템 간의 차이점을 식별하고 복제할 대상을 결정합니다. 이 프로세스는 몇 분 또는 몇 시간이 걸릴 수 있습니다.
취할 조치
아무 조치도 취하지 않아도 됩니다. 작업 상태가 전송 중으로 변경될 때까지 계속 기다리세요. 상태가 여전히 변경되지 않으면 AWS Support센터
전송 완료 전 작업 실행이 중지됨
DataSync 작업 실행이 조기에 중지되면 작업 구성에 AWS 계정에서 비활성화된 AWS 리전이 포함될 수 있습니다.
취할 조치
작업을 다시 실행하려면 다음을 수행합니다.
Google Cloud Storage 버킷에서 전송 시 작업 실행 실패
DataSync는 Amazon S3 API를 사용하여 Google 클라우드 스토리지와 통신하기 때문에 객체 태그를 복사하려고 하면 DataSync 전송의 실패를 야기할 수 있는 제한이 있습니다. 이 문제와 관련된 다음 메시지가 CloudWatch 로그에 나타납니다.
[경고] /your-bucket/your-object 파일에 대한 메타데이터를 읽지 못함: S3 객체 태깅 가져오기 실패: 태그를 지정하지 않고 진행
이를 방지하려면 전송 작업 설정을 구성할 때 객체 태그 복사 옵션을 선택 취소하세요.
작업 실행 타임스탬프 간 불일치
DataSync 콘솔 또는 Amazon CloudWatch Logs를 확인할 때 DataSync 작업 실행의 시작 및 종료 시간이 다른 모니터링 도구에 표시되는 타임스탬프와 일치하지 않음을 확인할 수 있습니다. 이는 콘솔과 CloudWatch Logs가 작업 실행이 시작 또는 대기 상태에 머무른 시간을 포함하는 반면, 일부 다른 도구에서는 이를 포함하지 않기 때문입니다.
DataSync 콘솔 또는 CloudWatch Logs의 실행 타임스탬프를 다음 위치들과 비교하는 경우 이러한 불일치를 확인할 수 있습니다.
-
전송과 관련된 파일 시스템의 로그
-
DataSync가 데이터를 쓴 Amazon S3 객체의 마지막 수정 날짜
-
DataSync 에이전트에서 들어오는 네트워크 트래픽
-
Amazon EventBridge 이벤트
NoMem 오류가 발생하여 작업 실행 실패
전송하려는 데이터 세트가 DataSync에 비해 너무 클 수 있습니다. 이 오류가 표시되면 AWS Support 센터
객체가 user metadata key 오류로 Azure Blob Storage로 전송되지 않음
S3 버킷에서 Azure Blob Storage로 전송할 때 다음 오류가 표시될수 있습니다.
[ERROR] Failed to transfer file/user-metadata/file1: Azure Blob user metadata key must be a CSharp identifier
즉, 에는 유효한 C# 식별자를 사용하지 않는 사용자 메타데이터가 포함됩니다. 자세한 설명은 Microsoft 설명서/user-metadata/file1
대상 위치에 /.aws-datasync 폴더가 있음
DataSync는 대상 위치에 /.aws-datasync라는 폴더를 생성하여 데이터 전송을 용이하게 합니다.
DataSync는 일반적으로 전송 후 이 폴더를 삭제하지만, 그렇지 않은 상황이 발생할 수 있습니다.
취할 조치
실행 중인 작업 실행이 해당 위치에 복사되지 않는 한 언제든지 이 폴더를 삭제합니다.
SMB를 사용하여 위치 간에 심볼 링크를 전송할 수 없음
작업 실행이 완료되면 다음 오류가 표시됩니다.
Transfer and verification completed. Selected files transferred except for files skipped due to errors. If no skipped files are listed in Cloud Watch Logs, please contact AWS Support for further assistance.
SMB 스토리지 시스템(예: SMB 파일 서버 및 Amazon FSx for Windows File Server 파일 시스템) 간 전송 시 CloudWatch 로그에 다음과 같은 경고 및 오류가 표시될 수 있습니다.
[WARN] Failed to read metadata for file /appraiser/symlink: No data available [ERROR] Failed to read metadata for directory /appraiser/symlink: No data available
취할 조치
이러한 위치 유형 간에 전송하는 경우 DataSync는 심볼 링크(또는 하드 링크) 전송을 지원하지 않습니다. 자세한 내용은 AWS DataSync에 의해서 복사된 링크 및 디렉터리 섹션을 참조하세요.
작업 보고서 오류
작업 보고서로 DataSync 전송을 모니터링하려고 할 때 다음 오류 중 하나가 발생할 수 있습니다.
| 오류 메시지 | 차선책 |
|---|---|
|
|
없음. DataSync는 경로가 4,096바이트를 초과하는 파일을 전송할 수 없습니다. 자세한 내용은 스토리지 시스템, 파일, 객체 제한 섹션을 참조하세요. |
|
|
DataSync IAM 역할에 작업 보고서를 S3 버킷에 업로드할 수 있는 적절한 권한이 있는지 확인하세요. |
|
|
CloudWatch 로그를 확인하여 작업 실행이 실패한 이유를 확인하세요. |