DynamoDB TTL을 사용하여 Amazon S3에 항목 자동으로 보관

DynamoDB 테이블을 생성합니다.

AWS CLI를 사용하여 DynamoDB에 Reservation이라는 테이블을 생성합니다. 임의 읽기 용량 유닛(RCU)과 쓰기 용량 유닛(WCU)을 선택하고 테이블에 두 가지 속성 ReservationID 및 ReservationDate를 지정합니다. 

aws dynamodb create-table \
--table-name Reservation \
--attribute-definitions AttributeName=ReservationID,AttributeType=S AttributeName=ReservationDate,AttributeType=N \
--key-schema AttributeName=ReservationID,KeyType=HASH AttributeName=ReservationDate,KeyType=RANGE \
--provisioned-throughput ReadCapacityUnits=100,WriteCapacityUnits=100 

ReservationDate는 TTL을 켜는 데 사용되는 에포크 타임스탬프입니다.

DynamoDB TTL을 켭니다.

AWS CLI를 사용하여 ReservationDate 속성에 대해 DynamoDB TTL을 활성화합니다.

aws dynamodb update-time-to-live \
--table-name Reservation\
  --time-to-live-specification Enabled=true,AttributeName=ReservationDate

DynamoDB 스트림을 켭니다.

AWS CLI를 사용하면 NEW_AND_OLD_IMAGES 스트림 유형을 사용하여 Reservation 테이블에 대한 DynamoDB 스트림을 활성화할 수 있습니다. 

aws dynamodb update-table \
--table-name Reservation \
  --stream-specification StreamEnabled=true,StreamViewType=NEW_AND_OLD_IMAGES

이 스트림에는 새 항목, 업데이트된 항목, 삭제된 항목, TTL에 의해 삭제된 항목에 대한 레코드가 포함됩니다. TTL로 삭제된 항목의 레코드에는 수동으로 삭제된 항목과 구분하기 위한 추가 메타데이터 속성이 포함되어 있습니다. TTL 삭제 userIdentity 필드는 DynamoDB 서비스가 삭제 작업을 수행했음을 나타냅니다. 

이 패턴에서는 TTL에 의해 삭제된 항목만 보관되지만, eventName이 REMOVE이고 userIdentity가 dynamodb.amazonaws.com에 상응하는 principalId를 포함하는 레코드만 보관할 수 있습니다.

S3 버킷을 생성합니다.

AWS CLI를 사용하여 AWS 리전에 대상 S3 버킷을 생성하고를 리전us-east-1으로, amzn-s3-demo-destination-bucket을 버킷 이름으로 바꿉니다. 

aws s3api create-bucket \
--bucket amzn-s3-demo-destination-bucket \
--region us-east-1

네임스페이스는 모든 AWS 계정에서 공유되므로 S3 버킷의 이름이 전역적으로 고유한지 확인합니다.

S3 버킷에 대한 30일 수명 주기 정책을 생성합니다.

Firehose 전송 스트림을 생성하고 구성합니다.

GitHub 리포지토리에서 CreateFireHoseToS3.py 코드 예제를 다운로드하고 편집합니다. 

이 코드는 Python으로 작성되었으며 Firehose 전송 스트림과 AWS Identity and Access Management(IAM) 역할을 생성하는 방법을 보여줍니다. IAM 역할에는 Firehose가 대상 S3 버킷에 쓰는 데 사용할 수 있는 정책이 있습니다.

스크립트를 실행하려면 다음 명령과 명령줄 인수를 사용하십시오.

인수 1=<Your_S3_bucket_ARN>, 사용자가 앞서 생성한 버킷의 Amazon 리소스 이름(ARN)

인수 2= Firehose 이름(이 파일럿은를 사용합니다firehose_to_s3_stream.)

인수 3= IAM 역할 이름(이 파일럿에서 firehose_to_s3 사용)

python CreateFireHoseToS3.py <Your_S3_Bucket_ARN> firehose_to_s3_stream firehose_to_s3

지정된 IAM 역할이 없는 경우 스크립트는 신뢰할 수 있는 관계 정책과 충분한 Amazon S3 권한을 부여하는 정책을 사용하여 수임 역할을 생성합니다. 이러한 정책의 예는 추가 정보 섹션을 참조하십시오.

Firehose 전송 스트림을 확인합니다.

AWS CLI를 사용하여 전송 스트림이 성공적으로 생성되었는지 확인하여 Firehose 전송 스트림을 설명합니다.

aws firehose describe-delivery-stream --delivery-stream-name firehose_to_s3_stream 

Lambda 함수에 대해 신뢰 정책를 생성합니다.

다음 정보로 신뢰 정책 파일을 생성합니다.

 {
     "Version": "2012-10-17",
     "Statement": [
      {
          "Effect": "Allow",
          "Principal": {
              "Service": "lambda.amazonaws.com"
           },
           "Action": "sts:AssumeRole"
      }
    ]
  } 

이렇게 하면 함수에 AWS 리소스에 액세스할 수 있는 권한이 부여됩니다.

Lambda 함수용 실행 역할을 생성합니다.

실행 역할을 생성하려면 다음 코드를 실행합니다.

aws iam create-role --role-name lambda-ex --assume-role-policy-document file://TrustPolicy.json

역할에 권한을 추가하십시오.

역할에 권한을 추가하려면 attach-policy-to-role 명령을 사용합니다.

aws iam attach-role-policy --role-name lambda-ex --policy-arn arn:aws:iam::aws:policy/service-role/AWSLambdaBasicExecutionRole
aws iam attach-role-policy --role-name lambda-ex --policy-arn arn:aws:iam::aws:policy/service-role/AWSLambdaDynamoDBExecutionRole
aws iam attach-role-policy --role-name lambda-ex --policy-arn arn:aws:iam::aws:policy/AmazonKinesisFirehoseFullAccess
aws iam attach-role-policy --role-name lambda-ex --policy-arn arn:aws:iam::aws:policy/IAMFullAccess 

Lambda 함수를 생성합니다.

다음 명령어를 실행하여 코드 리포지토리의 LambdaStreamProcessor.py 파일을 압축합니다.

zip function.zip LambdaStreamProcessor.py

Lambda 함수를 생성할 때, Lambda 실행 역할 ARN이 필요합니다. ARN을 가져오려면 다음 코드를 실행합니다.

aws iam get-role \
--role-name lambda-ex 

Lambda 함수를 생성하려면 다음 코드를 실행합니다.

# Review the environment variables and replace them with your values.

aws lambda create-function --function-name LambdaStreamProcessor \
--zip-file fileb://function.zip --handler LambdaStreamProcessor.handler --runtime python3.8 \
--role {Your Lamda Execution Role ARN}\
  --environment Variables="{firehose_name=firehose_to_s3_stream,bucket_arn = <Your_S3_bucket_ARN>,iam_role_name = firehose_to_s3, batch_size=400}"

Lambda 함수 트리거를 구성합니다.

AWS CLI를 사용하여 Lambda 함수를 간접 호출하는 트리거(DynamoDB 스트림)를 구성합니다. 배치 크기 400은 Lambda 동시성 문제가 발생하지 않도록 하기 위한 것입니다.

aws lambda create-event-source-mapping --function-name LambdaStreamProcessor \
--batch-size 400 --starting-position LATEST \
--event-source-arn <Your Latest Stream ARN From DynamoDB Console>

타임스탬프가 만료된 항목을 예약 테이블에 추가합니다.

기능을 테스트하려면 에포크 타임스탬프가 만료된 항목을 Reservation 테이블에 추가하십시오. TTL은 타임스탬프를 기반으로 항목을 자동으로 삭제합니다. 

Lambda 함수는 DynamoDB 스트림 활동 시 시작되며 이벤트를 필터링하여 REMOVE 활동 또는 삭제된 항목을 식별합니다. 그런 다음 레코드를 Firehose 전송 스트림에 배치 형식으로 넣습니다.

Firehose 전송 스트림은 firehosetos3example/year=current year/month=current month/ day=current day/hour=current hour/ 접두사가 있는 대상 S3 버킷으로 항목을 전송합니다.

모든 리소스를 삭제합니다.

모든 리소스를 삭제하여 사용하지 않는 서비스에 대해 요금이 청구되지 않도록 합니다.