View a markdown version of this page

통합 생성 및 관리 - AWS Glue
통합 생성통합 수정통합 삭제통합 상태

통합 생성 및 관리

통합 생성

이 섹션에서는 통합을 생성하는 일반적인 단계를 설명합니다. 이 예제에서는 Amazon DynamoDB를 소스로 사용합니다.

  1. AWS Glue 콘솔 홈 페이지에서 제로 ETL 통합을 선택합니다.

  2. 제로 ETL 통합 홈 페이지에서 모든 통합을 볼 수 있습니다. 새 통합을 생성하려면 제로 ETL 통합 생성을 선택합니다.

    스크린샷은 기본 제로 ETL 통합 페이지를 보여줍니다.

  3. 소스 유형을 선택하라는 메시지가 표시됩니다. 소스를 선택하고 다음을 클릭합니다. SaaS 통합 소스에 대해서는 소스 구성 섹션을 참조하세요.

  4. 소스 및 대상 구성 페이지에서 복제할 테이블 또는 엔터티를 선택합니다. Amazon DynamoDB의 경우 PITR 및 RBAC 정책이 구성되어 있는지 확인합니다.

  5. 통합 대상을 지정합니다.

    • AWS Glue Data Catalog 대상의 경우 데이터를 복제할 AWS Glue 데이터베이스를 선택합니다.

    • Amazon Redshift 데이터 웨어하우스 대상의 경우 Redshift 클러스터 네임스페이스 또는 Redshift Serverless 작업 그룹 네임스페이스를 선택합니다.

    자세한 내용은 대상과의 통합 구성 섹션을 참조하세요.

  6. 사전 조건에서 생성한 대상 IAM 역할을 제공합니다.

  7. 대상에 저장되는 데이터에 대해 선택적인 대상 KMS 키를 구성하려면 활성화된 KMS 키를 제공합니다. 마찬가지로 대상 네트워크 연결을 구성하려면 AWS Glue 연결을 선택합니다.

  8. 대상 수정 버튼은 이 설명서의 사전 조건 섹션에 있는 일부 단계를 구성합니다. 즉, 1) 카탈로그 RBAC 정책을 제공하며 2) Amazon S3 URI가 제공되지 않은 경우 자동으로 생성하고, 그렇지 않으면 제공된 URI를 사용합니다.

  9. 소스 및 대상 구성 페이지의 출력 설정 섹션에서 대상의 데이터에 사용할 스키마 중첩 해제 옵션을 선택합니다. 데이터에서 고객 파티션 키를 사용하려면 사용자 지정 파티션 키 지정을 선택하고 최대 10개의 키를 제공합니다. 그렇지 않으면 단순히 복제되는 DynamoDB 테이블에 할당된 파티션 키를 사용할 수 있습니다.

  10. 보안 및 데이터 암호화 섹션에서 데이터를 대상으로 복제하는 중개 프로세스에 사용할 KMS 키를 제공할 수 있습니다. 그렇지 않으면 AWS 관리형 KMS 키가 사용됩니다. 통합 세부 정보에 제로 ETL 통합의 이름을 입력합니다.

  11. 제공된 모든 세부 정보가 올바른지 검토하고 확인합니다. 모두 확인했으면 통합 생성 및 시작을 클릭합니다.

  12. 제로 ETL 홈 페이지에서 생성한 통합을 선택하면 통합 세부 정보가 표시됩니다. "상태"는 통합 상태를 나타냅니다.

통합 수정

기존 통합을 수정할 수 있습니다.

  1. 통합 세부 정보 페이지의 오른쪽 상단 모서리에서 편집을 선택합니다.

  2. 소스 및 대상 편집 페이지에서 대상 IAM 역할 및 대상 네트워크 연결을 변경할 수 있습니다. 통합을 생성한 후에는 다른 필드를 편집할 수 없습니다. 다음을 클릭합니다.

  3. 통합 및 구성 편집 페이지에서 통합의 이름과 설명을 편집할 수도 있습니다. 다음을 클릭합니다.

  4. 편집을 검토하고 확인한 후 통합 업데이트를 클릭합니다.

통합 삭제

삭제는 통합의 말기 상태입니다. 삭제한 후에는 통합을 되살릴 수 없습니다. 통합을 삭제하면 모든 내부 메타데이터와 중간 저장 데이터가 삭제됩니다.

이 프로세스 중에 대상 테이블에 데이터를 쓰는 실행 중인 모든 작업이 종료됩니다. AWS Glue는 Data Catalog에 위치하는 대상 AWS Glue 데이터베이스와 계정의 Amazon S3 버킷에 있는 관련 데이터를 삭제하거나 정리하지 않습니다. 필요한 경우 이들을 명시적으로 정리해야 합니다.

통합을 삭제하려면:

  1. 통합 세부 정보 페이지에서 삭제를 클릭합니다.

  2. "Delete"를 입력하고 삭제를 클릭합니다. 참고: 이는 되돌릴 수 없는 작업입니다.

  3. 통합 세부 정보 페이지에서 상태가 "삭제하는 중"으로 표시됩니다. 통합이 실제로 삭제되면 더 이상 제로 ETL 통합 홈 페이지에 표시되지 않습니다.

통합 상태

통합은 생성부터 삭제까지 다양한 상태를 거칩니다.

  • CREATING - 통합 생성이 시작될 때의 첫 번째 상태입니다. 이 상태에서 AWS Glue는 초기화를 수행합니다. 일부 구성이 누락되지 않는 한 이 상태는 신속하게 CREATED 상태로 전환되어야 합니다.

  • ACTIVE - 통합이 이 상태에 도달하면 AWS Glue는 데이터 전송(초기 전체 로드)을 시작합니다. 권한 문제가 없다면 초기 전체 로드가 완료된 후 주기적 변경 데이터 캡처가 수행됩니다.

  • MODIFYING - 통합을 수정하면 통합이 수정 중 상태로 전환됩니다. 수정이 적용되면 통합은 수정 후 통합이 성공한 경우에는 ACTIVE로, 문제가 있었던 경우에는 NEEDS_ATTENTION 또는 FAILED로 전환됩니다.

  • NEEDS_ATTENTION - 사용자 오류 또는 시스템 오류가 있는 경우 통합이 이 상태로 전환됩니다. 사용자 오류에는 누락된 권한, 누락된 소스 또는 대상 리소스, 지원되지 않는 데이터 오류가 포함됩니다. 시스템 오류에는 내부 시스템 오류가 포함됩니다. 두 오류 유형 모두, AWS Glue 제로 ETL은 통합을 FAILED로 표시하기 전에 7일 동안 데이터 동기화를 계속 재시도합니다. 그 전에 문제를 해결하면 통합이 다시 ACTIVE 상태가 되고 데이터 전송이 시작됩니다.

  • SYNCING - AWS Glue 제로 ETL이 테이블 내에서 열의 수신 스키마와 관련한 데이터 형식 변경을 감지하면 통합이 이 상태로 전환됩니다. 이러한 경우 AWS Glue 제로 ETL은 이러한 모든 테이블의 새로운 스냅샷 세트를 요청합니다. 통합은 이 시간 동안 SYNCING 상태가 되고, 새로 요청된 스냅샷을 수집할 수 있게 되면 최종적으로 ACTIVE 상태로 전환됩니다.

  • FAILED - 복구 불가능한 상태입니다. 통합이 이 상태로 전환되면 통합을 복구할 수 없습니다. 소스에서 대상으로의 데이터 전송을 다시 시작하는 유일한 방법은 통합을 삭제하고 다시 생성하는 것입니다. AWS Glue 제로 ETL이 사용자 오류 또는 시스템 오류가 7일 동안 수정되지 않았고 모든 재시도가 소진된 것을 식별하는 경우 AWS Glue 제로 ETL은 통합을 FAILED로 표시합니다.

  • DELETING - delete-integration API를 간접적으로 호출하면 AWS Glue는 먼저 통합을 DELETING 상태로 이동합니다. 모든 메타데이터가 지워지고 내부 처리가 종료되면 AWS Glue는 통합을 DELETED 상태로 이동합니다.

  • DELETED - 통합의 최종 상태입니다. 통합은 이 상태에서 다른 상태로 이동할 수 없습니다. 동일한 소스에서 대상으로 데이터를 전송해야 하는 경우 통합을 다시 생성해야 합니다.