Migração de workloads do Apache Cassandra para o Amazon Keyspaces usando o AWS Glue

Crie um espaço de teclas e uma tabela de destino.

Configure o driver do Cassandra para conectar-se ao Cassandra.

Use o seguinte script de configuração:

Datastax-java-driver {
  basic.request.consistency = "LOCAL_QUORUM"
  basic.contact-points = ["127.0.0.1:9042"]
   advanced.reconnect-on-init = true
   basic.load-balancing-policy {
        local-datacenter = "datacenter1"
}
advanced.auth-provider = {
       class = PlainTextAuthProvider
       username = "user-at-sample"
       password = "S@MPLE=PASSWORD="
}
}

Configure o driver do Cassandra para se conectar ao Amazon Keyspaces.

Use o seguinte script de configuração:

datastax-java-driver {
basic {
  load-balancing-policy {
    local-datacenter = us-west-2
        }
  contact-points = [
            "cassandra.us-west-2.amazonaws.com:9142"
        ]
  request {
  page-size = 2500
  timeout = 360 seconds
  consistency = LOCAL_QUORUM
        }
    }
advanced {
 control-connection {
  timeout = 360 seconds
        }
 session-leak.threshold = 6
 connection {
 connect-timeout = 360 seconds
 init-query-timeout = 360 seconds
 warn-on-init-error = false
        }
 auth-provider = {
  class = software.aws.mcs.auth.SigV4AuthProvider
  aws-region = us-west-2
 }

 ssl-engine-factory {
  class = DefaultSslEngineFactory
        }
    }
}

Crie um perfil do IAM para o trabalho do AWS Glue.

Crie um novo perfil de serviço da AWS chamado glue-cassandra-migration, com o AWS Glue como entidade confiável.

Faça o download CQLReplicator na AWS CloudShell.

Faça o download do projeto na sua pasta inicial executando o seguinte comando:

git clone https://github.com/aws-samples/cql-replicator.git
cd cql-replicator/glue
# Only for AWS CloudShell, the bc package includes bc and dc. Bc is an arbitrary precision numeric processing arithmetic language
sudo yum install bc -y

Modifique os arquivos de configuração de referência.

Copie os arquivos CassandraConnector.conf e KeyspacesConnector.conf para o diretório ../glue/conf dentro da pasta do projeto.

Dê início ao processo de migração.

O comando a seguir inicializa o CQLReplicator ambiente. A inicialização envolve copiar os artefatos em .jar e criar um conector do AWS Glue, um bucket do S3, um trabalho do AWS Glue, o keyspace migration e a tabela ledger:

cd cql-replicator/glue/bin
./cqlreplicator --state init --sg '"sg-1","sg-2"' \ 
                --subnet "subnet-XXXXXXXXXXXX" \ 
                --az us-west-2a --region us-west-2 \ 
                --glue-iam-role glue-cassandra-migration \ 
                --landing-zone s3://cql-replicator-1234567890-us-west-2

O comando inclui os seguintes parâmetros:

Valide a implantação.

Após executar o comando anterior, a conta da AWS deve conter o seguinte:

Dê início ao processo de migração.

Para operar CQLReplicator no AWS Glue, você precisa usar o --state run comando, seguido por uma série de parâmetros. A configuração exata desses parâmetros depende principalmente dos seus requisitos específicos de migração. Por exemplo, essas definições podem variar se você optar por replicar valores de tempo de vida (TTL, na sigla em inglês) e atualizações, ou se descarregar objetos maiores que 1 MB no Amazon S3.

Para replicar a workload do cluster do Cassandra para o Amazon Keyspaces, execute o seguinte comando:

./cqlreplicator --state run --tiles 8  \
                --landing-zone s3://cql-replicator-1234567890-us-west-2 \ 
                --region us-west-2 \                              
                --src-keyspace source_keyspace \ 
                --src-table source_table \  
                --trg-keyspace taget_keyspace \
                --writetime-column column_name \
                --trg-table target_table --inc-traffic

O keyspace e a tabela de origem são source_keyspace.source_table no cluster do Cassandra. Enquanto o keyspace e a tabela de destino são target_keyspace.target_table no Amazon Keyspaces. O parâmetro --inc-traffic ajuda a evitar que o tráfego incremental sobrecarregue o cluster do Cassandra e o Amazon Keyspaces com um grande número de solicitações.

Para replicar atualizações, adicione --writetime-column regular_column_name à sua linha de comando. A coluna regular será usada como origem do carimbo de data/hora de gravação.

Valide as linhas do Cassandra migradas durante a fase de migração histórica.

Para obter o número de linhas replicadas durante a fase de preenchimento, execute o seguinte comando:

./cqlreplicator --state stats \
                --landing-zone s3://cql-replicator-1234567890-us-west-2 \  
                --src-keyspace source_keyspace --src-table source_table --region us-west-2

Use o comando cqlreplicator ou o console do AWS Glue.

Para interromper o processo de migração corretamente, execute o seguinte comando:

./cqlreplicator --state request-stop --tiles 8 \                         
                --landing-zone s3://cql-replicator-1234567890-us-west-2 \     
                --region us-west-2 \                     
                --src-keyspace source_keyspace --src-table source_table

Para interromper o processo de migração imediatamente, use o console do AWS Glue.

Exclua os recursos implantados.

O comando apresentado a seguir excluirá o trabalho do AWS Glue, o conector, o bucket do S3 e a tabela ledger do Keyspaces:

./cqlreplicator --state cleanup --landing-zone s3://cql-replicator-1234567890-us-west-2