Salin data dari bucket S3 ke akun dan Wilayah lain dengan menggunakan Replikasi Batch S3 - AWS Prescriptive Guidance
RingkasanPrasyarat dan batasanArsitekturAlatPraktik terbaikEpikSumber daya terkait

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Salin data dari bucket S3 ke akun dan Wilayah lain dengan menggunakan Replikasi Batch S3

Appasaheb Bagali, Lakshmikanth B D, Shubham Harsora, Purushotham G K, dan Suman Rajotia, Amazon Web Services

Ringkasan

Pola ini menjelaskan bagaimana Anda dapat menggunakan Amazon Simple Storage Service (Amazon S3) Simple Storage Replication (Amazon S3) Batch Replication untuk menyalin konten bucket S3 ke bucket S3 lain secara otomatis, tanpa intervensi manual, setelah Anda menyiapkan bucket. Ember sumber dan tujuan dapat berada di tempat yang sama atau berbeda Akun AWS atau Wilayah.

Replikasi Batch S3 memberi Anda cara untuk mereplikasi objek Amazon S3 yang ada sebelum konfigurasi replikasi diterapkan, objek yang sebelumnya direplikasi, dan objek yang gagal replikasi. Metode ini menggunakan pekerjaan Operasi Batch S3. Ketika pekerjaan selesai, Anda menerima laporan penyelesaian.

Anda dapat menggunakan Replikasi Batch S3 dalam skenario yang memerlukan migrasi objek baru secara terus menerus dan otomatis dari bucket sumber ke bucket tujuan. Untuk migrasi satu kali, Anda dapat menggunakan AWS Command Line Interface (AWS CLI) sebagai gantinya, seperti yang dijelaskan dalam pola Salin data dari bucket S3 ke akun dan Wilayah lain dengan menggunakan. AWS CLI

Prasyarat dan batasan

  • Sebuah sumber Akun AWS.

  • Sebuah tujuan Akun AWS.

  • Bucket S3 di akun sumber dengan beberapa objek (file atau folder).

  • Satu atau lebih bucket S3 di akun tujuan.

  • Versi S3 diaktifkan pada bucket sumber dan tujuan.

  • AWS Identity and Access Management Izin (IAM) untuk membuat kebijakan IAM, peran IAM, dan kebijakan bucket S3 pada akun sumber dan tujuan.

  • Aturan Siklus Hidup Amazon S3 dinonaktifkan saat tugas Replikasi Batch S3 aktif. Ini memastikan paritas antara ember sumber dan tujuan. Jika tidak, bucket tujuan mungkin bukan replika yang tepat dari bucket sumber.

Arsitektur

Menyalin objek Amazon S3 ke akun dan Wilayah lain dengan menggunakan Replikasi Batch S3

Alat

AWS layanan

Praktik terbaik

Video berikut dari AWS re:Invent 2022 membahas praktik terbaik untuk menggunakan replikasi Amazon S3 untuk kepatuhan terhadap peraturan, perlindungan data, dan peningkatan kinerja aplikasi.

https://www.youtube-nocookie.com/embed/jam JEb ISBL04? kontrol=0

Epik

TugasDeskripsiKeterampilan yang dibutuhkan

Buat kebijakan IAM untuk replikasi lintas akun.

Di akun AWS sumber:

  1. Buka konsol IAM.

  2. Buat kebijakan IAM baru.

  3. Di bagian Editor kebijakan, pilih JSON, dan tempel kode berikut.

    {
    "Version": "2012-10-17",		 	 	 
    "Statement": [
        {
            "Sid": "GetSourceBucketConfiguration",
            "Effect": "Allow",
            "Action": [
                "s3:ListBucket",
                "s3:GetBucketLocation",
                "s3:GetBucketAcl",
                "s3:GetReplicationConfiguration",
                "s3:GetObjectVersionForReplication",
                "s3:GetObjectVersionAcl",
                "s3:GetObjectVersionTagging"
            ],
            "Resource": [
                "arn:aws:s3:::source-bucket-name",
                "arn:aws:s3:::source-bucket-name/*"
            ]
        },
        {
            "Sid": "ReplicateToDestinationBuckets",
            "Effect": "Allow",
            "Action": [
                "s3:List*",
                "s3:*Object",
                "s3:ReplicateObject",
                "s3:ReplicateDelete",
                "s3:ReplicateTags"
            ],
            "Resource": [
                "arn:aws:s3:::destination-bucket-name*",
                "arn:aws:s3:::destination-bucket-name/*"
            ]
        },
        {
            "Sid": "PermissionToOverrideBucketOwner",
            "Effect": "Allow",
            "Action": [
                "s3:ObjectOwnerOverrideToBucketOwner"
            ],
            "Resource": [
                "arn:aws:s3:::destination-bucket-name*",
                "arn:aws:s3:::destination-bucket-name/*"
            ]
        }
    ]
}

    Kebijakan ini mencakup tiga pernyataan:

    • GetSourceBucketConfigurationmenyediakan akses ke konfigurasi replikasi dan versi objek untuk replikasi pada bucket sumber.

    •  ReplicateToDestinationBucketsmenyediakan akses untuk mereplikasi ke bucket tujuan. Anda dapat menentukan beberapa bucket tujuan dalam array.

    • PermissionToOverrideBucketOwnermenyediakan akses ObjectOwnerOverrideToBucketOwner agar bucket tujuan dapat memiliki objek di akun tujuan yang direplikasi dari akun sumber.

  4. Pilih Berikutnya, berikan nama kebijakan seperticross-account-bucket-replication-policy, lalu pilih Buat kebijakan.

Untuk informasi selengkapnya, lihat Membuat kebijakan IAM di dokumentasi IAM.

Administrator cloud, administrator AWS

Buat peran IAM untuk replikasi lintas akun.

Di akun AWS sumber:

  1. Di konsol IAM, buat peran IAM dengan informasi berikut:

    1. Untuk jenis entitas Tepercaya, pilih layanan AWS.

    2. Untuk layanan, pilih S3.

    3. Untuk kasus penggunaan, pilih Operasi Batch S3.

    4. Pilih kebijakan yang Anda buat di langkah sebelumnya.

  2. Berikan nama peran seperti cross-account-bucket-replication -role, lalu pilih Buat peran.

Untuk informasi selengkapnya, lihat Membuat peran IAM dalam dokumentasi IAM.

Administrator cloud, administrator AWS
TugasDeskripsiKeterampilan yang dibutuhkan

Buat aturan replikasi terhadap bucket sumber di akun sumber.

Di akun AWS sumber:

  1. Buka konsol Amazon S3.

  2. Arahkan ke bucket sumber, lalu pilih tab Manajemen.

  3. Buat aturan replikasi dengan konfigurasi berikut:

    1. Berikan nama aturan sepertis3-replication-rule.

    2. Untuk Status, pilih Enabled (Diaktifkan).

    3. Untuk cakupan aturan, pilih Berlaku untuk semua objek di ember.

    4. Untuk Tujuan, pilih Tentukan bucket di akun lain, lalu masukkan Akun AWS nomor tujuan dan nama bucket.

    5. Pilih opsi untuk mengubah kepemilikan objek menjadi pemilik bucket tujuan.

    6. Untuk peran IAM, pilih peran yang Anda buat sebelumnya di akun sumber.

    7. Untuk opsi replikasi tambahan, pilih semua opsi yang tersedia. Ini memberikan kemampuan untuk mereplikasi konten dengan cepat, memantau kemajuan replikasi melalui CloudWatch metrik Amazon, mereplikasi penanda hapus, dan mereplikasi perubahan metadata.

    8. Pilih Simpan.

  4. Jika Anda memiliki beberapa bucket tujuan, buat aturan replikasi tambahan.

Untuk informasi selengkapnya, lihat Mengonfigurasi replikasi saat bucket sumber dan tujuan dimiliki oleh akun yang berbeda dalam dokumentasi Amazon S3.

Administrator AWS, Administrator cloud
TugasDeskripsiKeterampilan yang dibutuhkan

Terapkan kebijakan bucket ke bucket tujuan.

Langkah ini harus dilakukan untuk setiap bucket tujuan secara individual di akun AWS tujuan.

Di akun AWS tujuan:

  1. Buka konsol Amazon S3, navigasikan ke bucket tujuan, dan pilih tab Izin.

  2. Edit kebijakan bucket dengan memberikan kode JSON berikut, dan simpan kebijakan:

{
    "Version": "2012-10-17",		 	 	 
    "Id": "PolicyForDestinationBucket",
    "Statement": [
        {
            "Sid": "Permissions on objects and buckets",
            "Effect": "Allow",
            "Principal": {
                "AWS": "arn:aws:iam::SourceAWSAccountNumber:role/IAM-Role-created-in-step1-in-source-account"
            },
            "Action": [
                "s3:List*",
                "s3:GetBucketVersioning",
                "s3:PutBucketVersioning",
                "s3:ReplicateDelete",
                "s3:ReplicateObject"
            ],
            "Resource": [
                "arn:aws:s3:::destination-bucket",
                "arn:aws:s3:::destination-bucket/*"
            ]
        },
        {
            "Sid": "Permission to override bucket owner",
            "Effect": "Allow",
            "Principal": {
                "AWS": "arn:aws:iam::SourceAWSAccountNumber:role/IAM-Role-created-in-step1-in-source-account"
            },
            "Action": "s3:ObjectOwnerOverrideToBucketOwner",
            "Resource": "arn:aws:s3:::destination-bucket/*"
        }
    ]
}

Kebijakan ini mencakup dua pernyataan:

  • Permissions on objects and bucketsmenunjukkan bahwa bucket tujuan dapat mereplikasi konten berdasarkan peran yang ditentukan di akun sumber. Peran tersebut memberikan izin ke bucket sumber.

  • Permission to override bucket ownermenunjukkan bahwa bucket tujuan memiliki izin untuk mengganti kepemilikan dari akun sumber.

Administrator AWS, administrator sistem AWS, administrator Cloud
TugasDeskripsiKeterampilan yang dibutuhkan

Verifikasi bahwa replikasi berfungsi dengan benar.

  1. Tambahkan objek ke ember sumber.

  2. Verifikasi bahwa objek baru muncul di bucket S3 di akun tujuan.

  3. Lihat CloudWatch metrik:

    1. Di bucket sumber, pilih tab Metrik.

    2. Di bagian Metrik replikasi, pilih aturan replikasi.

    3. Pilih Tampilkan bagan. Bagan mencerminkan status replikasi dengan menampilkan operasi yang menunggu replikasi, latensi replikasi, dan byte menunggu replikasi.

Untuk informasi selengkapnya, lihat Memantau metrik dengan Amazon CloudWatch di dokumentasi Amazon S3.

Administrator AWS, Administrator cloud

Sumber daya terkait