통합 구성
제로 ETL 통합을 설정할 때 소스 시스템과 대상 시스템 간에 데이터가 동기화되는 방식을 제어하도록 다양한 파라미터를 구성할 수 있습니다. 다음 설정은 현재 SaaS 소스에만 사용할 수 있습니다.
새로 고침 간격 구성
통합 생성 시 SaaS 소스 통합의 새로 고침 간격을 구성할 수 있습니다. 기본값은 1시간입니다. 변경 데이터 캡처(CDC) 풀 또는 증분 로드가 발생하는 빈도를 구성할 수 있습니다. 이는 특정 데이터 업데이트 패턴, 시스템 로드 고려 사항 및 성능 최적화 목표에 맞게 새로 고침 빈도를 조정할 수 있는 유연성을 제공합니다. 시간 증분은 15분~8640분(6일)으로 설정할 수 있습니다. 대상이 Redshift인 경우 통합이 생성된 후에는 새로 고침 간격을 수정할 수 없습니다. 다른 대상의 경우 통합 생성 후 새로 고침 간격을 수정할 수 있습니다. 새로 고침 간격이 24시간 이상인 DynamoDB 소스의 경우 순차적 일일 배치 처리에 대한 자세한 내용은 DynamoDB 소스의 순차 일일 배치 섹션을 참조하세요.
이는 콘솔을 통해 복제 설정에서 새로 고침 간격을 업데이트하여 수행할 수 있습니다.
15분에서 8,640분(6일)까지 시간 간격을 설정할 수 있어 데이터 최신성과 시스템 리소스 사용량 사이의 균형을 맞출 수 있습니다. 현재 DynamoDB 소스와 SaaS 소스 모두에 대해 새로 고침 간격을 사용자 지정할 수 있습니다.
최소 간격: 15분
최대 간격: 8,640분(6일)
기본값: DynamoDB 소스의 경우 15분, SaaS 소스의 경우 60분
새로 고침 간격을 선택할 때 고려해야 할 요소:
데이터 변동성: 소스 데이터가 변경되는 빈도
비즈니스 요구 사항: 분석 데이터의 최신성 수준
비용 고려 사항: 업데이트 빈도가 높을수록 처리 및 스토리지 비용이 증가할 수 있음
참고
RefreshInterval 파라미터는 CDC의 트리거 빈도를 정의합니다. 실제 새로 고침 빈도는 소스 데이터의 변경량과 대상 시스템의 처리 용량에 따라 달라질 수 있습니다. 통합 성능을 모니터링하고 필요에 따라 새로 고침 간격을 조정하여 특정 사용 사례에 맞게 최적화하세요.
또는 API를 통해 CreateIntegration 요청의 일부로 IntegrationConfig 내에서 RefreshInterval을 전달합니다. 프로그래밍 방식으로 새로 고침 간격을 수정하려면 IntegrationConfig 파라미터와 함께 ModifyIntegration API를 사용합니다.
DynamoDB 소스의 순차 일일 배치
Amazon DynamoDB 소스를 사용하는 제로 ETL 통합의 경우 새로 고침 간격을 1,440분(24시간) 이상으로 구성하면 통합은 단일 내보내기 작업 대신 순차 일일 배치 처리를 사용합니다. 이 동작은 최대 내보내기 기간이 24시간인 DynamoDB 내보내기 기간 제한 때문입니다.
새로 고침 간격이 24시간을 초과하면 통합은 다음과 같이 작동합니다.
CDC 프로세스는 전체 새로 고침 간격 기간(예: 8,640분 간격의 경우 6일) 동안 대기합니다.
새로 고침 간격이 경과한 후 통합은 최대 24시간 단위로 여러 차례의 순차 DynamoDB 내보내기를 수행합니다.
CDC 작업은 각 배치를 순차적으로 처리하여 새로 고침 간격 기간 동안 발생한 모든 변경 사항을 캡처합니다.
예를 들어 새로 고침 간격을 8,640분(6일)으로 설정하면 통합은 6일간 대기한 후 6~7회의 순차 내보내기(내보내기 작업에 소요된 추가 시간을 반영하는 1회의 후속 내보내기 포함)와 CDC 작업을 실행하여 해당 기간 동안 발생한 모든 변경 사항을 동기화합니다.
온디맨드 스냅샷
기본적으로 제로 ETL에는 연속 데이터 캡처(CDC)가 포함되지만 전체 데이터를 한 번에 복제하는 사용 사례가 있는 경우 온디맨드 스냅샷 기능을 사용하면 됩니다. 현재 SaaS 소스에만 지원되는 기능은 연속 동기화 없이 데이터를 한 번 복제하는 데 사용할 수 있습니다. 이 옵션은 지속적인 업데이트 없이 일회성 데이터 복제를 제공하며, 수동 정리가 필요합니다. 복제가 완료되면 계정 통합 한도에 도달하지 않도록 통합 리소스를 삭제하는 것이 좋습니다.
또는 API를 통해 CreateIntegration 요청의 일부로 IntegrationConfig 내에서 ContinuousSync 파라미터를 false로 설정합니다.
참고
통합이 생성된 후에는 온디맨드 스냅샷 설정을 수정할 수 없습니다. 데이터 동기화 요구 사항에 따라 이 옵션을 신중하게 선택하세요.
새로 고침 간격 수정
이 기능은 현재 AWS Glue 대상에만 사용할 수 있으며, 기존 통합의 새로 고침 간격을 업데이트할 수 있습니다.
