AWS DataSync 작동 방식 - AWS DataSync
DataSync 전송 아키텍처개념 및 용어DataSync가 파일, 객체, 디렉터리를 전송하는 방법

기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.

AWS DataSync 작동 방식

온프레미스 및 클라우드 위치에서 데이터를 전송하는 방법을 포함하여 AWS DataSync 전송과 관련된 주요 개념과 용어를 알아봅니다.

DataSync 전송 아키텍처

다음 다이어그램은 DataSync의 일반적인 스토리지 데이터 전송 방법과 위치를 보여줍니다. DataSync 지원 스토리지 시스템 및 서비스의 전체 목록은 AWS DataSync를 통해 데이터를 어디로 전송할 수 있나요? 섹션을 참조하세요.

온프레미스 스토리지와 AWS사이의 전송

다음 다이어그램은 자체 관리형 온프레미스 스토리지 시스템과 간에 파일을 전송하는 DataSync에 대한 개략적인 개요를 보여줍니다 AWS 서비스.

온프레미스 스토리지 시스템에서 지원되는 AWS 스토리지 리소스(예: Amazon S3 버킷 또는 Amazon EFS 파일 시스템)로 데이터를 전송하는 일반적인 DataSync 시나리오의 개요입니다.

도표는 일반적인 DataSync 사용 사례를 보여줍니다.

  • 온프레미스 스토리지 시스템에서 데이터를 복사하는 DataSync 에이전트입니다.

  • 전송 계층 보안(TLS)을 사용하여 AWS암호화된 데이터로 이동합니다.

  • DataSync는 지원되는 AWS 스토리지 서비스에 데이터를 복사합니다.

AWS 스토리지 서비스 간 전송

다음 다이어그램은 동일한의 간에 파일을 전송하는 DataSync AWS 서비스 에 대한 개략적인 개요를 보여줍니다 AWS 계정.

AWS 스토리지 리소스(예: Amazon S3 버킷 또는 Amazon EFS 파일 시스템)들 사이에서 데이터를 전송되는 일반적인 DataSync 시나리오의 개요입니다.

도표는 일반적인 DataSync 사용 사례를 보여줍니다.

  • DataSync는 지원되는 AWS 스토리지 서비스에서 데이터를 복사합니다.

  • TLS를 사용하여 AWS 리전암호화된 데이터 이동.

  • DataSync는 지원되는 AWS 스토리지 서비스에 데이터를 복사합니다.

동일한 계정(동일한 파티션에 있든 동일한 AWS 리전 파티션에 AWS 리전 있든)의 AWS 스토리지 서비스 간에 전송하는 경우 에이전트가 필요하지 않습니다. 데이터는 AWS 네트워크에 남아 있으며 퍼블릭 인터넷을 통과하지 않습니다.

중요

사이에 전송된 데이터에 대해 비용을 지불합니다 AWS 리전. 이는 사용자 소스 리전에서 대상 리전으로 전송된 데이터에 대한 청구입니다. 자세한 내용은 데이터 전송 요금을 참조하십시오.

AWS 스토리지 서비스와 다른 클라우드의 스토리지 시스템 간 전송

DataSync를 사용하면 다른 클라우드 스토리지 시스템과 AWS 서비스사이에 데이터를 전송할 수 있습니다. 이러한 맥락에서 클라우드 스토리지 시스템에는 다음 스토리지가 포함될 수 있습니다.

DataSync는 에이전트를 사용하거나 사용하지 않고 다른 클라우드로 또는 다른 클라우드에서 데이터를 복사할 수 있습니다. 에이전트 사용 시기에 대한 자세한 내용은 AWS DataSync 에이전트가 필요한가요?를 참조하세요.

다음 다이어그램은 AWS 스토리지 서비스와 다른 클라우드 공급자 간에 데이터를 전송하는 DataSync에 대한 개략적인 개요를 보여줍니다.

DataSync가 AWS 스토리지 서비스(예: Amazon S3 버킷 또는 Amazon EFS 파일 시스템)와 다른 클라우드 공급자 사이에서 데이터를 전송하는 일반적인 시나리오의 개요입니다.

개념 및 용어

DataSync 전송 기능을 숙지하세요.

에이전트

에이전트는 DataSync가 전송 중에 스토리지에서 읽고 쓰는 데 사용하는 가상 머신(VM) 어플라이언스입니다. DataSync는 두 가지 유형의 에이전트를 제공합니다. 하나는 기본 모드 작업을 처리하고 다른 하나는 향상된 모드 작업을 처리합니다. 사용 사례에 맞는 에이전트를 선택하는 방법에 대한 자세한 내용은 섹션을 참조하세요작업 모드를 위한 에이전트 선택.

VMware ESXi, Linux 커널 기반 가상 머신(KVM), Nutanix AHV(KVM 에이전트 이미지 사용) 또는 Microsoft Hyper-V 하이퍼바이저의 스토리지 환경에 에이전트를 배포할 수 있습니다. 의 Virtual Private Cloud(VPC)에 저장하는 AWS경우 에이전트를 Amazon EC2 인스턴스로 배포할 수 있습니다.

시작하려면 AWS DataSync 에이전트가 필요합니까?를 참조하십시오

Location

위치는 데이터를 복사해서 보내거나 복사해 오는 위치를 뜻합니다. 각 DataSync 전송(작업이라고도 함) 에는 소스 및 대상 위치가 있습니다. 자세한 내용은 AWS DataSync를 통해 데이터를 어디로 전송할 수 있나요? 섹션을 참조하세요.

Task

작업은 DataSync 전송을 뜻합니다. 소스 및 대상 위치와 해당 위치 사이에서 데이터를 복사하는 방법에 대한 세부 정보를 식별합니다. 또한 작업에서 메타데이터, 삭제된 파일, 권한을 처리하는 방법을 지정할 수 있습니다.

작업 실행

작업 실행은 DataSync 전송 작업의 개별 실행입니다. 작업 실행에는 여러 단계가 포함됩니다. 자세한 내용은 태스크 실행 상태 단원을 참조하십시오.

DataSync가 파일, 객체, 디렉터리를 전송하는 방법

DataSync는 작업 실행 중에 데이터를 준비, 전송, 확인합니다. DataSync가 이러한 작업을 수행하는 방법은 작업 모드와 같은 DataSync 작업 옵션을 구성하는 방법에 따라 달라집니다. 기본 모드 작업은 데이터를 순차적으로 준비, 전송, 확인하는 반면, 확장 모드 작업은 이러한 작업을 병렬로 수행합니다.

DataSync가 데이터 전송을 준비하는 방법

DataSync는 기본적으로 소스 및 대상 위치를 검사하여 전송할 데이터를 파악하고 전송을 준비합니다. 이는 두 위치의 콘텐츠와 메타데이터를 스캔하여 둘 사이의 차이를 식별함으로써 수행합니다.

참고

모든 데이터를 전송하도록 작업을 구성하면 별도의 준비 단계를 거치지 않습니다. 작업을 시작하면 DataSync는 위치를 비교하지 않고 소스의 모든 데이터를 대상으로 즉시 전송합니다.

DataSync가 전송을 준비하는 방법도 작업 모드에 따라 달라집니다.

확장 모드 준비 기본 모드 준비

DataSync는 소스 위치에서 객체가 발견되는 대로 준비합니다. 준비는 소스에 객체가 더 나열되지 않을 때까지 작업 실행 내내 계속됩니다.

기본 모드와 달리 DataSync는 각 작업 실행 시 사실상 무제한의 객체를 준비할 수 있습니다.

준비는 소스 및 대상 위치의 파일, 객체, 디렉터리의 수와 스토리지 성능에 따라 몇 분에서 몇 시간, 또는 그 이상이 걸릴 수 있습니다.

DataSync의 소스 및 대상 인벤토리에 포함된 항목은 작업 할당량에 포함됩니다. 할당량은 DataSync가 각 작업 실행 중에 전송하는 항목 수를 기반으로 하지 않습니다.

DataSync는 준비 중에 일부 파일, 객체, 디렉터리를 건너뛸 수 있습니다. 그 이유는 작업 구성 방법 및 스토리지 시스템 권한 등 여러 요인에 따라 달라질 수 있습니다. 여기 몇 가지 예가 있습니다:

  • 소스 위치 및 대상 위치의 파일이 이미 있습니다. 소스의 파일은 이전 작업 실행 이후 수정되지 않았습니다. DataSync는 변경된 데이터만 전송하므로 다음 번에 작업을 실행할 때 해당 파일을 전송하지 않습니다.

  • 두 위치에 모두 존재하는 객체가 소스에서 변경됩니다. 태스크가 대상의 데이터를 덮어쓰지 않기 때문에 태스크를 실행하면 DataSync는 대상에서 이 객체를 건너뜁니다.

  • DataSync는 아카이브 스토리지 클래스를 사용 중이며 복원되지 않은 소스 위치의 객체를 건너뜁니다. DataSync가 읽을 수 있도록 아카이브된 객체를 복원해야 합니다.

  • DataSync가 소스 위치에서 파일, 객체, 디렉터리를 읽을 수 없으므로 이를 건너뜁니다. 이런 일이 예상치 못하게 발생한 경우, 스토리지의 액세스 권한을 확인하고 DataSync가 건너뛴 항목을 읽을 수 있는지 확인하세요.

DataSync가 데이터를 전송하는 방법

DataSync는 작업 옵션에 따라 소스에서 대상으로 데이터(메타데이터 포함)를 복사합니다. 예를 들어, 복사할 메타데이터를 지정하고, 특정 파일을 제외하고, DataSync가 사용하는 대역폭의 양을 제한하는 등 다양한 옵션을 이용할 수 있습니다.

DataSync가 데이터를 전송하는 방법 또한 작업 모드에 따라 달라집니다.

확장 모드 전송 기본 모드 전송

DataSync는 각 객체가 준비되는 즉시 전송합니다.

DataSync가 모든 데이터를 준비하면 전송이 시작됩니다.

DataSync는 전송 중에 일부 항목을 건너뛸 수 있습니다. 모든 데이터를 전송하도록 작업을 구성하는 경우, 소스 위치에서 아카이브 스토리지 클래스를 사용 중이며 복원되지 않은 객체에 해당 문제가 발생할 수 있습니다.

DataSync가 데이터 무결성을 확인하는 방법

DataSync는 전송 중에 항상 데이터 무결성 검사를 수행합니다. 전송이 끝나면 DataSync는 전송된 데이터만 추가로 검사하거나 두 위치의 전체 데이터세트에 대해 추가로 검사할 수 있습니다. 자세한 내용은 가 데이터 무결성을 AWS DataSync 확인하는 방법 구성 단원을 참조하십시오.

데이터 무결성을 확인할 때 DataSync는 위치에 있는 파일, 객체, 디렉터리의 체크섬과 메타데이터를 계산하여 비교합니다. DataSync가 위치 간 차이를 발견하면 확인에 실패했다는 오류가 발생합니다. 예를 들면 Checksum failure, Metadata failure, Files were added, Files were removed 등의 오류가 표시될 수 있습니다.

확인 방식은 전송 종료 시 DataSync가 데이터 무결성을 확인하도록 구성했는지 여부와 작업 모드에 따라 달라집니다.

확장 모드 확인 기본 모드 확인

DataSync는 대상에 전송하는 각 객체를 확인합니다.

확장 모드에서 DataSync는 전송된 데이터만 확인합니다.

전송이 끝나면 DataSync가 데이터의 무결성을 확인합니다.

데이터 검증을 구성한 방식에 따라, 대규모 데이터세트에 대해 이 작업에 상당한 시간이 걸릴 수 있습니다.

DataSync가 열린 파일 및 잠긴 파일을 처리하는 방법

열린(사용 중) 파일이나 잠긴 파일을 전송하려고 할 때 다음 사항에 유의하세요.

  • 일반적으로 DataSync는 열린 파일을 제한 없이 전송할 수 있습니다.

  • 파일이 열려 있고 전송 중에 이 파일에 쓰고 있으면 DataSync가 전송 작업의 검증 과정 중에 데이터 불일치를 감지합니다. 최신 버전의 파일을 얻으려면 작업을 다시 실행해야 합니다.

  • 파일이 잠겨 있고 서버가 DataSync의 파일 오픈을 막으면 DataSync는 전송 중에 파일을 건너뛰고 오류를 기록합니다.

  • DataSync는 파일을 잠그거나 잠금 해제할 수 없습니다.

반복 전송 옵션

일회성 전송 외에도, DataSync는 데이터를 반복적으로 전송할 수 있습니다. 이러한 상황에 대한 몇 가지 옵션은 다음과 같습니다.