使用 AWS Glue 将 Apache Cassandra 工作负载迁移到 Amazon Keyspaces

创建目标键空间和表。

将 Cassandra 驱动程序配置为连接至 Cassandra。

使用以下配置脚本：

Datastax-java-driver {
  basic.request.consistency = "LOCAL_QUORUM"
  basic.contact-points = ["127.0.0.1:9042"]
   advanced.reconnect-on-init = true
   basic.load-balancing-policy {
        local-datacenter = "datacenter1"
}
advanced.auth-provider = {
       class = PlainTextAuthProvider
       username = "user-at-sample"
       password = "S@MPLE=PASSWORD="
}
}

将 Cassandra 驱动程序配置为连接至 Amazon Keyspaces。

使用以下配置脚本：

datastax-java-driver {
basic {
  load-balancing-policy {
    local-datacenter = us-west-2
        }
  contact-points = [
            "cassandra.us-west-2.amazonaws.com:9142"
        ]
  request {
  page-size = 2500
  timeout = 360 seconds
  consistency = LOCAL_QUORUM
        }
    }
advanced {
 control-connection {
  timeout = 360 seconds
        }
 session-leak.threshold = 6
 connection {
 connect-timeout = 360 seconds
 init-query-timeout = 360 seconds
 warn-on-init-error = false
        }
 auth-provider = {
  class = software.aws.mcs.auth.SigV4AuthProvider
  aws-region = us-west-2
 }

 ssl-engine-factory {
  class = DefaultSslEngineFactory
        }
    }
}

为 AWS Glue 作业创建 IAM 角色。

用 AWS Glue 创建名为 glue-cassandra-migration 的新 AWS 服务角色作为受信任实体。

CQLReplicator 在 AWS 中下载 CloudShell。

运行以下命令，将项目下载到您的主文件夹：

git clone https://github.com/aws-samples/cql-replicator.git
cd cql-replicator/glue
# Only for AWS CloudShell, the bc package includes bc and dc. Bc is an arbitrary precision numeric processing arithmetic language
sudo yum install bc -y

修改参考配置文件。

将 CassandraConnector.conf 和 KeyspacesConnector.conf 复制到项目文件夹中的 ../glue/conf 目录。

启动迁移过程。

以下命令初始化 CQLReplicator 环境。初始化包括复制 .jar 构件以及创建 AWS Glue 连接器、S3 存储桶、AWS Glue 作业、migration 密钥空间和 ledger 表：

cd cql-replicator/glue/bin
./cqlreplicator --state init --sg '"sg-1","sg-2"' \ 
                --subnet "subnet-XXXXXXXXXXXX" \ 
                --az us-west-2a --region us-west-2 \ 
                --glue-iam-role glue-cassandra-migration \ 
                --landing-zone s3://cql-replicator-1234567890-us-west-2

此脚本包含以下参数：

验证部署。

运行上一个命令后，AWS 账户应包含如下内容：

开始迁移过程。

要 CQLReplicator 在 AWS Glue 上操作，您需要使用--state run命令和一系列参数。这些参数的具体配置主要取决于您的独特迁移需求。例如，如果您选择复制生存时间（TTL）值和更新，或者将超过 1 MB 的对象卸载到 Amazon S3，则这些设置可能会有所不同。

要将工作负载从 Cassandra 集群复制到 Amazon Keyspaces，请运行以下命令：

./cqlreplicator --state run --tiles 8  \
                --landing-zone s3://cql-replicator-1234567890-us-west-2 \ 
                --region us-west-2 \                              
                --src-keyspace source_keyspace \ 
                --src-table source_table \  
                --trg-keyspace taget_keyspace \
                --writetime-column column_name \
                --trg-table target_table --inc-traffic

在 Cassandra 集群中，您的源键空间和表为 source_keyspace.source_table。在 Amazon Keyspaces 中，目标键空间和表为 target_keyspace.target_table。参数 --inc-traffic 有助于防止增量流量因请求量过高而导致 Cassandra 集群和 Amazon Keyspaces 过载。

要复制更新，请将 --writetime-column regular_column_name 添加到命令行。常规列将用作写入时间戳的来源。

在历史迁移阶段验证迁移的 Cassandra 行。

要获取回填阶段复制的行数，请运行以下命令：

./cqlreplicator --state stats \
                --landing-zone s3://cql-replicator-1234567890-us-west-2 \  
                --src-keyspace source_keyspace --src-table source_table --region us-west-2

使用 cqlreplicator 命令或 AWS Glue 控制台。

要正常停止迁移过程，请运行以下命令：

./cqlreplicator --state request-stop --tiles 8 \                         
                --landing-zone s3://cql-replicator-1234567890-us-west-2 \     
                --region us-west-2 \                     
                --src-keyspace source_keyspace --src-table source_table

要立即停止迁移过程，请使用 AWS Glue 控制台。

删除已部署的资源。

以下命令将删除 AWS Glue 作业、连接器、S3 存储桶和键空间表 ledger：

./cqlreplicator --state cleanup --landing-zone s3://cql-replicator-1234567890-us-west-2