Oracle Database@AWS에서 제로 ETL 통합 관리 - Oracle Database@AWS
제로 ETL 통합 수정제로 ETL 통합 삭제모범 사례

Oracle Database@AWS에서 제로 ETL 통합 관리

제로 ETL 통합을 생성한 후 통합 수정 및 삭제를 비롯한 다양한 관리 작업을 수행할 수 있습니다. 이 섹션에서는 제로 ETL 통합의 지속적인 관리를 다룹니다.

제로 ETL 통합 수정

지원되는 데이터 웨어하우스에서 제로 ETL 통합의 이름, 설명 및 데이터 필터링 옵션만 수정할 수 있습니다. 통합을 암호화하는 데 사용된 AWS Key Management Service 키나 소스 또는 대상 데이터베이스는 수정할 수 없습니다.

통합 수정을 위한 사전 조건

제로 ETL 통합을 수정하기 전에 다음이 있는지 확인합니다.

  • 필수 권한 - IAM 사용자 또는 역할에는 표준 AWS Glue 권한 외에도 odb:UpdateOutboundIntegration 권한이 있어야 합니다.

  • 활성 상태의 통합 - 통합은 CREATING, MODIFYING, DELETING 또는 FAILED 상태가 아닌 ACTIVE 상태여야 합니다.

  • 유효한 데이터 필터 구문 - 새 데이터 필터는 지원되는 포함/제외 패턴 구문을 따라야 합니다.

데이터 필터 수정

데이터 필터를 수정하여 복제할 테이블 또는 스키마를 변경할 수 있습니다. 이렇게 하면 전체 통합을 다시 생성하지 않고도 복제에서 데이터베이스 객체를 추가하거나 제거할 수 있습니다.

통합에 대한 데이터 필터를 수정하려면 modify-integration 명령을 사용합니다.

aws glue modify-integration \
  --integration-identifier integration-id \
  --data-filter "include: pdb1.new_schema.*"

통합 이름과 설명을 동시에 수정할 수도 있습니다. 다음 예제에서는 pdb1에서 두 스키마의 통합 이름, 설명 및 필터를 수정합니다.

aws glue modify-integration \
  --integration-identifier integration-id \
  --data-filter "include: pdb1.schema1.*, pdb1.schema2.*" \
  --integration-name "Updated Integration Name" \
  --description "Updated integration description"
중요

데이터 필터를 수정하면 통합이 modifying 상태로 전환되고 데이터의 재동기화를 수행합니다. 통합은 복제를 중지하고, 새 필터 설정을 적용하고, 재로드 대상 작업으로 복제를 재개합니다. 통합 상태를 모니터링하여 수정이 성공적으로 완료되었는지 확인합니다.

제로 ETL 통합에 대한 데이터 필터 수정 시 고려 사항

데이터 필터를 수정할 때는 다음 사항을 고려하세요.

  • 단일 PDB 제한 - 통합당 하나의 플러그형 데이터베이스(PDB)만 지정할 수 있습니다. include: pdb1.*.*, include: pdb2.*.*와 같은 데이터 필터는 지원되지 않습니다.

  • 복제 중단 - 수정 프로세스 중에 데이터 복제가 중지되고 새 필터가 적용된 후 재개됩니다.

  • 데이터 재로드 - 통합은 새 필터 기준과 일치하는 데이터의 전체 재로드를 수행합니다.

  • 성능 영향 - 대규모 데이터 필터 변경을 완료하는 데 상당한 시간이 걸릴 수 있으며 다시 로드하는 동안 소스 데이터베이스 성능에 영향을 미칠 수 있습니다.

제로 ETL 통합 설정 수정에 대한 제한 사항

제로 ETL 통합을 생성한 후에는 다음 설정을 수정할 수 없습니다.

  • 보안 암호 ARN - 데이터베이스 보안 자격 증명이 포함된 AWS Secrets Manager 보안 암호

  • KMS 키: 암호화에 사용된 고객 관리형 키

  • 소스 ARN - Oracle Database@AWS VM 클러스터

  • 대상 ARN - Amazon Redshift 클러스터 또는 네임스페이스

이러한 설정을 변경하려면 기존 제로 ETL 통합을 삭제하고 새 통합을 생성합니다.

제로 ETL 통합 삭제

제로 ETL 통합이 더 이상 필요하지 않은 경우 이를 삭제하여 복제를 중지하고 연결된 리소스를 정리할 수 있습니다.

AWS Glue를 사용한 삭제

AWS Glue API를 사용하여 제로 ETL 통합을 삭제할 수 있습니다.

aws glue delete-integration \
  --integration-identifier integration-id

다음 상태에서 통합을 삭제할 수 있습니다.

  • 활성화

  • needs_attention

  • "failed"

  • syncing

삭제의 영향

제로 ETL 통합을 삭제할 때는 다음 효과를 고려하세요.

복제가 중지됩니다.

Oracle Database@AWS는 Amazon Redshift의 새 변경 사항을 복제하지 않습니다.

기존 데이터는 보존됩니다.

Amazon Redshift에 이미 복제된 데이터는 계속 사용할 수 있습니다.

대상 데이터베이스는 그대로 유지됩니다.

통합에서 생성된 Amazon Redshift 데이터베이스는 자동으로 삭제되지 않습니다.

중요

삭제하면 되돌릴 수 없습니다. 삭제 후 복제를 재개해야 하는 경우 전체 초기 로드를 수행하는 새 통합을 생성합니다.

제로 ETL 관리 모범 사례

제로 ETL 통합의 성능, 보안 및 비용 효율성을 최적화하려면 다음 모범 사례를 따르세요.

운영 모범 사례

이러한 운영 관행은 안정적이고 효율적인 제로 ETL 통합을 유지하는 데 도움이 됩니다.

정기 모니터링

CloudWatch 경보를 설정하여 통합 상태 및 성능 지표를 모니터링합니다.

자격 증명 교체

데이터베이스 암호를 정기적으로 교체하고 AWS Secrets Manager에서 업데이트합니다.

백업 확인

Oracle 데이터베이스 백업에 재해 복구에 필요한 구성 요소가 포함되어 있는지 정기적으로 확인합니다.

성능 테스트

특히 사용량이 가장 많은 기간 동안 제로 ETL 통합이 Oracle 데이터베이스 성능에 미치는 영향을 테스트합니다.

스키마 변경 계획

프로덕션에 적용하기 전에 개발 환경에서 스키마 변경 사항을 계획하고 테스트합니다.

보안 모범 사례

이러한 보안 조치를 구현하여 제로 ETL 통합 및 데이터를 보호합니다.

최소 권한 액세스

복제 사용자 및 AWS IAM 역할에 필요한 최소 권한만 부여합니다.

네트워크 보안

보안 그룹 및 NACL을 사용하여 네트워크 액세스를 필요한 포트 및 소스로만 제한합니다.

저장 시 암호화

Oracle 데이터베이스와 Amazon Redshift 클러스터가 모두 저장된 암호화를 사용하는지 확인합니다.

감사 로깅

Oracle과 Amazon Redshift 모두에서 감사 로깅을 활성화하여 데이터 액세스 및 변경 사항을 추적합니다.

보안 암호 관리

가능하면 AWS Secrets Manager 자동 교체 기능을 사용합니다.

비용 최적화

이러한 전략을 적용하여 비용을 최적화하는 동시에 효과적인 제로 ETL 통합 성능을 유지합니다.

데이터 필터링

정확한 데이터 필터를 사용하여 필요한 데이터만 복제하여 스토리지 및 컴퓨팅 비용을 절감합니다.

Amazon Redshift 최적화

적절한 Amazon Redshift 노드 유형을 사용하고 데이터 압축을 구현하여 비용을 최적화합니다.

사용 모니터링

AWS Cost Explorer를 통해 제로 ETL 통합 사용량 및 비용을 정기적으로 검토합니다.

미사용 통합 정리

지속적인 요금을 방지하기 위해 더 이상 필요하지 않은 통합을 삭제합니다.