Configurações da tarefa de validação de dados - AWS Database Migration Service

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Configurações da tarefa de validação de dados

É possível verificar se os dados foram migrados com precisão da origem para o destino. Se você habilitar a validação de uma tarefa, AWS DMS começará a comparar os dados de origem e de destino imediatamente após a execução de uma carga completa para uma tabela. Para obter mais informações sobre a validação de dados de tarefa, seus requisitos, o escopo do suporte a seu banco de dados e as métricas relatadas por ela, consulte AWS Validação de dados do DMS. Para obter informações sobre como utilizar um arquivo de configuração de tarefas para definir as configurações de tarefas, consulte Exemplo de configurações de tarefas.

As configurações de validação dos dados e seus valores incluem o seguinte:

  • EnableValidation: ativa a validação de dados quando definida como verdadeira. Caso contrário, a validação será desabilitada para a tarefa. O valor padrão é falso.

  • ValidationMode— controla como AWS DMS valida os dados na tabela de destino em relação à tabela de origem. A partir da versão 3.5.4 do mecanismo de replicação, o DMS define isso automaticamente GROUP_LEVEL para os caminhos de migração compatíveis, oferecendo desempenho de validação aprimorado e processamento significativamente mais rápido para grandes conjuntos de dados. Esse aprimoramento se aplica às migrações dos caminhos de migração listados na ressincronização de AWS DMS dados. Para todos os outros caminhos de migração, o modo de validação usa como padrão. ROW_LEVEL

    nota

    Independentemente da configuração, AWS DMS valida todas as linhas configuradas por meio da validação da tabela.

  • FailureMaxCount: especifica o número máximo de registros que podem falhar na validação antes que a validação seja suspensa para a tarefa. O valor padrão é 10.000. Para que a validação continue, independentemente do número de registros que fizeram com que a validação falhasse, defina essa configuração como um valor superior ao número de registros na origem.

  • HandleCollationDiff— Quando essa opção é definida comotrue, a validação leva em conta as diferenças de agrupamento de colunas entre bancos de dados de origem e de destino. Caso contrário, qualquer diferença no agrupamento de colunas será ignorada para validação. Os agrupamentos de colunas podem ditar a ordem das linhas, o que é importante para a validação dos dados. Configurar HandleCollationDiff como true resolve essas diferenças de agrupamento automaticamente e impede falsos positivos na validação dos dados. O valor padrão é false.

  • RecordFailureDelayInMinutes: especifica o atraso, em minutos, antes de relatar qualquer detalhe da falha da validação.

    Se a latência geral do CDC da Tarefa do DMS for maior do que o valor RecordFailureDelayInMinutesthen dela, por exemplo, se for 5 e a latência do CDC RecordFailureDelayInMinutes for 7 minutos, o DMS aguardará 7 minutos para relatar os detalhes da falha de validação.

  • RecordFailureDelayLimitInMinutes— Especifica o atraso antes de relatar os detalhes de qualquer falha de validação. AWS DMS usa a latência da tarefa para reconhecer o atraso real das alterações que chegam ao alvo, a fim de evitar falsos positivos. Essa configuração substitui o atraso real e o valor de latência do CDC da tarefa DMS e permite que você defina um atraso maior antes de relatar qualquer métrica de validação. O valor padrão é 0.

  • RecordSuspendDelayInMinutes: especifica o tempo de atraso, em minutos, antes que as tabelas sejam suspensas da validação devido ao limite de erro definido em FailureMaxCount.

  • SkipLobColumns— Quando essa opção é definida comotrue, AWS DMS ignora a validação de dados para todas as colunas LOB na parte da tabela da validação da tarefa. O valor padrão é false.

  • TableFailureMaxCount: especifica o número máximo de linhas em uma tabela em que uma validação pode falhar antes que a validação seja suspensa para a tabela. O valor padrão é 1,000.

  • ThreadCount— Especifica o número de threads de execução AWS DMS usados durante a validação. Cada thread seleciona not-yet-validated dados da origem e do destino para comparar e validar. O valor padrão é 5. Se você ThreadCount definir um número maior, AWS DMS poderá concluir a validação mais rapidamente. No entanto, o AWS DMS executa mais consultas simultâneas que consomem mais recursos na origem e no destino.

  • ValidationOnly: quando esta opção está definida como true, a tarefa executa a validação dos dados sem executar nenhuma migração ou replicação de dados. O valor padrão é false. Não é possível modificar a configuração de ValidationOnly após a tarefa ser criada.

    Você deve definir como TargetTablePrepModeDO_NOTHING(o padrão para uma tarefa somente de validação) e definir o Tipo de migração como um dos seguintes:

    • Carga total — Defina o tipo de migração da tarefa para migrar dados existentes no AWS DMS console. Ou, na AWS DMS API, defina o tipo de migração como FULL-LOAD.

    • CDC: defina o Tipo de migração da tarefa para Replicar somente alterações de dados no console do AWS DMS . Ou, na AWS DMS API, defina o tipo de migração como CDC.

    Independentemente do tipo de migração escolhido, os dados não são realmente migrados ou replicados durante uma tarefa somente de validação.

    Para obter mais informações, consulte Tarefas somente de validação.

    Importante

    A configuração de ValidationOnly é imutável. Ela não pode ser modificada para uma tarefa após a criação dessa tarefa.

  • ValidationPartialLobSize: especifica se você deseja fazer uma validação parcial das colunas LOB em vez de validar todos os dados armazenados na coluna. Isso é algo que pode ser útil ao migrar apenas parte dos dados de LOB e não todo o conjunto de dados de LOB. O valor está em unidades de KB. O valor padrão é 0, o que significa que o AWS DMS valida todos os dados da coluna LOB. Por exemplo, "ValidationPartialLobSize": 32 significa que valida AWS DMS somente os primeiros 32 KB dos dados da coluna na origem e no destino.

  • PartitionSize: especifica o tamanho do lote de registros a serem lidos para comparação da origem e do destino. O padrão é 10.000.

  • ValidationQueryCdcDelaySeconds: a quantidade de tempo em que a primeira consulta de validação é atrasada na origem e no destino de cada atualização da CDC. Isso pode ajudar a reduzir a contenção de recursos quando a latência da migração é alta. Uma tarefa somente de validação define automaticamente essa opção como 180 segundos. O padrão é 0.

Por exemplo, o JSON a seguir permite a validação de dados com duas vezes o número padrão de threads. Ele também considera as diferenças na ordem dos registros provocadas pelas diferenças no agrupamento de colunas nos endpoints do PostgreSQL. Além disso, ele fornece um atraso nos relatórios de validação para considerar tempo adicional para processar todas as falhas de validação.

"ValidationSettings": { "EnableValidation": true, "ThreadCount": 10, "HandleCollationDiff": true, "RecordFailureDelayLimitInMinutes": 30 }
nota

Para um endpoint Oracle, AWS DMS usa DBMS_CRYPTO para validar. BLOBs Se seu endpoint Oracle usa BLOBs, conceda a execute permissão para DBMS_CRYPTO à conta de usuário que acessa o endpoint Oracle. Faça isso executando a seguinte instrução.

grant execute on sys.dbms_crypto to dms_endpoint_user;