Migrasikan beban kerja Apache Cassandra ke Amazon Keyspaces dengan menggunakan AWS Glue

Buat keyspace target dan tabel.

Konfigurasikan driver Cassandra untuk terhubung ke Cassandra.

Gunakan skrip konfigurasi berikut:

Datastax-java-driver {
  basic.request.consistency = "LOCAL_QUORUM"
  basic.contact-points = ["127.0.0.1:9042"]
   advanced.reconnect-on-init = true
   basic.load-balancing-policy {
        local-datacenter = "datacenter1"
}
advanced.auth-provider = {
       class = PlainTextAuthProvider
       username = "user-at-sample"
       password = "S@MPLE=PASSWORD="
}
}

Konfigurasikan driver Cassandra untuk terhubung ke Amazon Keyspaces.

Gunakan skrip konfigurasi berikut:

datastax-java-driver {
basic {
  load-balancing-policy {
    local-datacenter = us-west-2
        }
  contact-points = [
            "cassandra.us-west-2.amazonaws.com:9142"
        ]
  request {
  page-size = 2500
  timeout = 360 seconds
  consistency = LOCAL_QUORUM
        }
    }
advanced {
 control-connection {
  timeout = 360 seconds
        }
 session-leak.threshold = 6
 connection {
 connect-timeout = 360 seconds
 init-query-timeout = 360 seconds
 warn-on-init-error = false
        }
 auth-provider = {
  class = software.aws.mcs.auth.SigV4AuthProvider
  aws-region = us-west-2
 }

 ssl-engine-factory {
  class = DefaultSslEngineFactory
        }
    }
}

Buat peran IAM untuk pekerjaan AWS Glue.

Buat peran layanan AWS baru yang glue-cassandra-migration diberi nama AWS Glue sebagai entitas tepercaya.

Unduh CQLReplicator di AWS CloudShell.

Unduh proyek ke folder rumah Anda dengan menjalankan perintah berikut:

git clone https://github.com/aws-samples/cql-replicator.git
cd cql-replicator/glue
# Only for AWS CloudShell, the bc package includes bc and dc. Bc is an arbitrary precision numeric processing arithmetic language
sudo yum install bc -y

Ubah file konfigurasi referensi.

Salin CassandraConnector.conf dan KeyspacesConnector.conf ke ../glue/conf direktori di folder proyek.

Memulai proses migrasi.

Perintah berikut menginisialisasi CQLReplicator lingkungan. Inisialisasi melibatkan penyalinan artefak.jar, dan membuat konektor AWS Glue, bucket S3, pekerjaan AWS Glue, keyspace, dan tabel: migration ledger

cd cql-replicator/glue/bin
./cqlreplicator --state init --sg '"sg-1","sg-2"' \ 
                --subnet "subnet-XXXXXXXXXXXX" \ 
                --az us-west-2a --region us-west-2 \ 
                --glue-iam-role glue-cassandra-migration \ 
                --landing-zone s3://cql-replicator-1234567890-us-west-2

Skrip mencakup parameter berikut:

Validasi penerapan.

Setelah Anda menjalankan perintah sebelumnya, akun AWS harus berisi yang berikut:

Mulai proses migrasi.

Untuk beroperasi CQLReplicator pada AWS Glue, Anda perlu menggunakan --state run perintah, diikuti oleh serangkaian parameter. Konfigurasi yang tepat dari parameter ini terutama ditentukan oleh persyaratan migrasi unik Anda. Misalnya, pengaturan ini mungkin berbeda jika Anda memilih untuk mereplikasi nilai dan pembaruan time to live (TTL), atau Anda membongkar objek melebihi 1 MB ke Amazon S3.

Untuk mereplikasi beban kerja dari cluster Cassandra ke Amazon Keyspaces, jalankan perintah berikut:

./cqlreplicator --state run --tiles 8  \
                --landing-zone s3://cql-replicator-1234567890-us-west-2 \ 
                --region us-west-2 \                              
                --src-keyspace source_keyspace \ 
                --src-table source_table \  
                --trg-keyspace taget_keyspace \
                --writetime-column column_name \
                --trg-table target_table --inc-traffic

Ruang kunci dan tabel sumber Anda ada source_keyspace.source_table di cluster Cassandra. Ruang kunci dan tabel target Anda ada target_keyspace.target_table di Amazon Keyspaces. Parameter ini --inc-traffic membantu mencegah lalu lintas tambahan membebani cluster Cassandra dan Amazon Keyspaces dengan jumlah permintaan yang tinggi.

Untuk mereplikasi pembaruan, tambahkan --writetime-column regular_column_name ke baris perintah Anda. Kolom reguler akan digunakan sebagai sumber stempel waktu tulis.

Validasi baris Cassandra yang dimigrasi selama fase migrasi historis.

Untuk mendapatkan jumlah baris yang direplikasi selama fase penimbunan ulang, jalankan perintah berikut:

./cqlreplicator --state stats \
                --landing-zone s3://cql-replicator-1234567890-us-west-2 \  
                --src-keyspace source_keyspace --src-table source_table --region us-west-2

Gunakan cqlreplicator perintah atau konsol AWS Glue.

Untuk menghentikan proses migrasi dengan anggun, jalankan perintah berikut:

./cqlreplicator --state request-stop --tiles 8 \                         
                --landing-zone s3://cql-replicator-1234567890-us-west-2 \     
                --region us-west-2 \                     
                --src-keyspace source_keyspace --src-table source_table

Untuk segera menghentikan proses migrasi, gunakan konsol AWS Glue.

Hapus sumber daya yang digunakan.

Perintah berikut akan menghapus tabel AWS Glue job, konektor, bucket S3, dan ledger Keyspaces:

./cqlreplicator --state cleanup --landing-zone s3://cql-replicator-1234567890-us-west-2