복제 작동 방식

복제기를 생성하면 MSK Replicator는 대상 클러스터의 AWS 리전에 필요한 모든 리소스를 배포하여 데이터 복제 지연 시간을 최적화합니다. MSK Replicator는 소스라는 기본 AWS 리전의 클러스터에서 대상이라는 대상 리전의 클러스터로 모든 데이터를 자동으로 복사합니다. 소스 클러스터와 대상 클러스터는 동일하거나 다른 AWS 리전에 있을 수 있습니다.

복제 지연 시간은 MSK 클러스터의 AWS 리전 간 네트워크 거리, 소스 및 대상 클러스터의 처리량 용량, 소스 및 대상 클러스터의 파티션 수 등 다양한 요인에 따라 달라집니다. MSK Replicator는 기본 리소스를 자동으로 확장하므로 용량을 모니터링하거나 확장할 필요 없이 온디맨드 방식으로 데이터를 복제할 수 있습니다.

기본적으로 MSK Replicator는 소스 클러스터 주제 파티션의 최신 오프셋에서 모든 데이터를 대상 클러스터로 비동기적으로 복사합니다. ‘새 주제 감지 및 복사’ 설정이 켜져 있으면 MSK Replicator에서 새로운 주제 또는 주제 파티션을 자동으로 감지하여 대상 클러스터에 복사합니다. 하지만 Replicator가 대상 클러스터에서 새로운 주제 또는 주제 파티션을 감지하고 생성하는 데 최대 30초가 걸릴 수 있습니다. 대상 클러스터에서 주제가 생성되기 전까지는 소스 주제에 생성된 메시지는 복제되지 않습니다. 또는 기존 메시지를 복제하려는 경우 가장 빠른 오프셋에서 복제를 시작하도록 생성 중에 Replicator를 구성할 수 있습니다.

MSK Replicator는 데이터를 저장하지 않습니다. 데이터는 소스 클러스터에서 소비되고, 인 메모리로 버퍼링되며, 대상 클러스터에 기록됩니다. 버퍼는 데이터가 성공적으로 작성되거나 재시도 후 실패할 때 자동으로 지워집니다. MSK Replicator와 클러스터 간의 모든 통신 및 데이터는 항상 전송 중에 암호화됩니다. DescribeClusterV2, CreateTopic와 같은 모든 MSK Replicator API 호출DescribeTopicDynamicConfiguration은 AWS CloudTrail에서 캡처됩니다.

MSK Replicator는 복제 인수가 3인 대상 클러스터에 주제를 생성합니다. 필요한 경우 대상 클러스터에서 직접 복제 인수를 수정할 수 있습니다.