Secara otomatis mengarsipkan item ke Amazon S3 menggunakan DynamoDB TTL

Buat tabel DynamoDB.

Gunakan AWS CLI untuk membuat tabel di DynamoDB yang disebut. Reservation Pilih unit kapasitas baca acak (RCU) dan unit kapasitas tulis (WCU), dan berikan tabel Anda dua atribut: ReservationID dan. ReservationDate 

aws dynamodb create-table \
--table-name Reservation \
--attribute-definitions AttributeName=ReservationID,AttributeType=S AttributeName=ReservationDate,AttributeType=N \
--key-schema AttributeName=ReservationID,KeyType=HASH AttributeName=ReservationDate,KeyType=RANGE \
--provisioned-throughput ReadCapacityUnits=100,WriteCapacityUnits=100 

ReservationDateadalah stempel waktu epoch yang akan digunakan untuk menyalakan TTL.

Nyalakan DynamoDB TTL.

Gunakan AWS CLI untuk mengaktifkan DynamoDB TTL untuk atribut. ReservationDate

aws dynamodb update-time-to-live \
--table-name Reservation\
  --time-to-live-specification Enabled=true,AttributeName=ReservationDate

Nyalakan aliran DynamoDB.

Gunakan AWS CLI untuk mengaktifkan aliran DynamoDB untuk Reservation tabel dengan menggunakan jenis aliran. NEW_AND_OLD_IMAGES 

aws dynamodb update-table \
--table-name Reservation \
  --stream-specification StreamEnabled=true,StreamViewType=NEW_AND_OLD_IMAGES

Aliran ini akan berisi catatan untuk item baru, item yang diperbarui, item yang dihapus, dan item yang dihapus oleh TTL. Catatan untuk item yang dihapus oleh TTL berisi atribut metadata tambahan untuk membedakannya dari item yang dihapus secara manual. userIdentityBidang untuk penghapusan TTL menunjukkan bahwa layanan DynamoDB melakukan tindakan penghapusan. 

Dalam pola ini, hanya item yang dihapus oleh TTL yang diarsipkan, tetapi Anda hanya dapat mengarsipkan catatan di mana eventName ada REMOVE dan userIdentity berisi principalId sama dengan. dynamodb.amazonaws.com

Buat ember S3.

Gunakan AWS CLI untuk membuat bucket S3 tujuan di Wilayah AWS Anda, ganti us-east-1 dengan Region dan amzn-s3- demo-destination-bucket dengan nama bucket Anda. 

aws s3api create-bucket \
--bucket amzn-s3-demo-destination-bucket \
--region us-east-1

Pastikan nama bucket S3 Anda unik secara global, karena namespace dibagikan oleh semua akun AWS.

Buat kebijakan siklus hidup 30 hari untuk bucket S3.

Buat dan konfigurasikan aliran pengiriman Firehose.

Unduh dan edit contoh CreateFireHoseToS3.py kode dari GitHub repositori. 

Kode ini ditulis dengan Python dan menunjukkan cara membuat aliran pengiriman Firehose dan peran AWS Identity and Access Management (IAM). Peran IAM akan memiliki kebijakan yang dapat digunakan oleh Firehose untuk menulis ke bucket S3 tujuan.

Untuk menjalankan skrip, gunakan argumen perintah dan baris perintah berikut.

Argumen 1=<Your_S3_bucket_ARN>, yang merupakan Amazon Resource Name (ARN) untuk bucket yang Anda buat sebelumnya

Argumen 2= Nama Firehose Anda (Pilot ini firehose_to_s3_stream menggunakan.)

Argumen 3= Nama peran IAM Anda (Pilot ini menggunakanfirehose_to_s3.)

python CreateFireHoseToS3.py <Your_S3_Bucket_ARN> firehose_to_s3_stream firehose_to_s3

Jika peran IAM yang ditentukan tidak ada, skrip akan membuat peran asumsi dengan kebijakan hubungan tepercaya, serta kebijakan yang memberikan izin Amazon S3 yang memadai. Untuk contoh kebijakan ini, lihat bagian Informasi tambahan.

Verifikasi aliran pengiriman Firehose.

Jelaskan aliran pengiriman Firehose dengan menggunakan AWS CLI untuk memverifikasi bahwa aliran pengiriman berhasil dibuat.

aws firehose describe-delivery-stream --delivery-stream-name firehose_to_s3_stream 

Buat kebijakan kepercayaan untuk fungsi Lambda.

Buat file kebijakan kepercayaan dengan informasi berikut.

 {
     "Version": "2012-10-17",		 	 	 
     "Statement": [
      {
          "Effect": "Allow",
          "Principal": {
              "Service": "lambda.amazonaws.com"
           },
           "Action": "sts:AssumeRole"
      }
    ]
  } 

Ini memberi izin fungsi Anda untuk mengakses sumber daya AWS.

Buat peran eksekusi untuk fungsi Lambda.

Untuk membuat peran eksekusi, jalankan kode berikut.

aws iam create-role --role-name lambda-ex --assume-role-policy-document file://TrustPolicy.json

Tambahkan izin ke peran.

Untuk menambahkan izin ke peran, gunakan attach-policy-to-role perintah.

aws iam attach-role-policy --role-name lambda-ex --policy-arn arn:aws:iam::aws:policy/service-role/AWSLambdaBasicExecutionRole
aws iam attach-role-policy --role-name lambda-ex --policy-arn arn:aws:iam::aws:policy/service-role/AWSLambdaDynamoDBExecutionRole
aws iam attach-role-policy --role-name lambda-ex --policy-arn arn:aws:iam::aws:policy/AmazonKinesisFirehoseFullAccess
aws iam attach-role-policy --role-name lambda-ex --policy-arn arn:aws:iam::aws:policy/IAMFullAccess 

Buat fungsi Lambda.

Kompres LambdaStreamProcessor.py file dari repositori kode dengan menjalankan perintah berikut.

zip function.zip LambdaStreamProcessor.py

Saat Anda membuat fungsi Lambda, Anda akan memerlukan peran eksekusi Lambda ARN. Untuk mendapatkan ARN, jalankan kode berikut.

aws iam get-role \
--role-name lambda-ex 

Untuk membuat fungsi Lambda, jalankan kode berikut.

# Review the environment variables and replace them with your values.

aws lambda create-function --function-name LambdaStreamProcessor \
--zip-file fileb://function.zip --handler LambdaStreamProcessor.handler --runtime python3.8 \
--role {Your Lamda Execution Role ARN}\
  --environment Variables="{firehose_name=firehose_to_s3_stream,bucket_arn = <Your_S3_bucket_ARN>,iam_role_name = firehose_to_s3, batch_size=400}"

Konfigurasikan pemicu fungsi Lambda.

Gunakan AWS CLI untuk mengonfigurasi pemicu (DynamoDB Streams), yang memanggil fungsi Lambda. Ukuran batch 400 adalah untuk menghindari masalah konkurensi Lambda.

aws lambda create-event-source-mapping --function-name LambdaStreamProcessor \
--batch-size 400 --starting-position LATEST \
--event-source-arn <Your Latest Stream ARN From DynamoDB Console>

Tambahkan item dengan cap waktu kedaluwarsa ke tabel Reservasi.

Untuk menguji fungsionalitas, tambahkan item dengan stempel waktu epoch kedaluwarsa ke tabel. Reservation TTL akan secara otomatis menghapus item berdasarkan stempel waktu. 

Fungsi Lambda dimulai pada aktivitas DynamoDB Stream, dan memfilter acara untuk mengidentifikasi aktivitas atau item yang dihapus. REMOVE Kemudian menempatkan catatan dalam aliran pengiriman Firehose dalam format batch.

Aliran pengiriman Firehose mentransfer item ke bucket S3 tujuan dengan awalan. firehosetos3example/year=current year/month=current month/ day=current day/hour=current hour/

Hapus semua sumber daya.

Hapus semua sumber daya untuk memastikan bahwa Anda tidak dikenakan biaya untuk layanan apa pun yang tidak Anda gunakan.