View a markdown version of this page

Amazon Redshift용 자동 아카이브 - Amazon Redshift용 자동 아카이브
Amazon Redshift용 자동 아카이브참조 자료다이어그램 기록

기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.

Amazon Redshift용 자동 아카이브

게시일: 2021년 7월 12일(다이어그램 기록)

이 아키텍처는 Amazon Redshift 데이터베이스의 주기적 데이터 아카이브 프로세스를 자동화하는 방법을 보여줍니다. 콜드 데이터는 즉시 사용할 수 있으며 Amazon Redshift Spectrum을 사용하여 Amazon Redshift 클러스터의 기존 데이터 세트와 조인할 수 있습니다.

Amazon Redshift용 자동 아카이브

Step Functions, Lambda, Amazon S3 및 EventBridge를 사용한 Amazon Redshift의 자동 아카이브를 보여주는 아키텍처 다이어그램입니다.

다음 단계에서는 아키텍처를 설명합니다.

  1. 다양한 빈도로 Amazon Redshift 클러스터에 데이터를 수집합니다.

  2. 수집이 로드될 때마다 Amazon RDS의 Amazon Redshift 테이블에 채워진 테이블에 대한 메타데이터 대기열을 생성합니다. 데이터 엔지니어는 아카이브 대기열을 수동으로 생성할 수도 있습니다.

  3. Amazon EventBridge를 사용하여 AWS Lambda 함수를 주기적으로 트리거합니다. 함수는 RDS 테이블에서 대기열을 읽고 보관 예정 기간마다 Amazon Simple Queue Service 메시지를 생성합니다.

  4. 프록시 Lambda 함수는 Amazon SQS 메시지를 대기열에서 제거하고 모든 메시지에 AWS Step Functions 대해를 호출합니다.

  5. Step Functions는 지정된 테이블 및 기간 동안 Amazon Redshift 클러스터의 데이터를 Amazon Simple Storage Service 버킷으로 언로드합니다.

  6. Amazon S3 수명 주기 구성은 90일 후에 버킷의 데이터를 S3 Standard 스토리지 클래스에서 S3 Glacier 스토리지 클래스로 이동합니다.

  7. Amazon S3 인벤토리 도구는 매일 콜드 데이터 전용 Amazon S3 버킷에서 매니페스트 파일을 생성하고 매니페스트 파일을 위해 Amazon S3 버킷에 저장합니다.

  8. 매니페스트 Amazon S3 버킷에 인벤토리 매니페스트 파일이 생성될 때마다 Lambda 함수는 Amazon S3 이벤트 알림을 통해 트리거됩니다.

  9. Lambda 함수는 복원 시 쉽게 사용할 수 있도록 매니페스트 파일을 정규화합니다.

  10. Amazon Redshift Spectrum을 사용하여 Amazon S3 버킷에 저장된 데이터에서 콜드 데이터를 쿼리합니다.

참조 자료

자세한 내용은 다음 리소스를 참조하세요.

다이어그램 기록

이 참조 아키텍처 다이어그램의 업데이트에 대한 알림을 받으려면 RSS 피드를 구독하세요.

변경 사항설명날짜

최초 게시

참조 아키텍처 다이어그램이 처음 게시되었습니다.

2021년 7월 12일

참고

RSS 업데이트를 구독하려면 사용 중인 브라우저에 대해 RSS 플러그인이 활성화되어 있어야 합니다.