Configurações de registro de tarefa - AWS Database Migration Service

Configurações de registro de tarefa

O registro em log utiliza o Amazon CloudWatch para registrar em log informações durante o processo de migração. Usando as configurações de tarefa de registro em log, é possível especificar quais atividades de componentes serão registradas em log e qual quantidade de informações será gravada no log. As configurações da tarefa de registro em log são gravadas em um arquivo JSON. Para obter informações sobre como utilizar um arquivo de configuração de tarefas para definir as configurações de tarefas, consulte Exemplo de configurações de tarefas.

É possível ativar o registro em log do CloudWatch de várias maneiras. É possível selecionar a opção EnableLogging no Console de gerenciamento da AWS ao criar uma tarefa de migração. Ou é possível definir a opção EnableLogging como true ao criar uma tarefa utilizando a API do AWS DMS. Também é possível especificar "EnableLogging": true no JSON da seção de registro em log de configurações de tarefas.

Quando você define EnableLogging como true, o AWS DMS atribui o nome do grupo e o nome do fluxo do CloudWatch da seguinte forma. Não é possível definir esses valores diretamente.

  • CloudWatchLogGroup: dms-tasks-<REPLICATION_INSTANCE_IDENTIFIER>

  • CloudWatchLogStream: dms-task-<REPLICATION_TASK_EXTERNAL_RESOURCE_ID>

<REPLICATION_INSTANCE_IDENTIFIER> é o identificador da instância de replicação. <REPLICATION_TASK_EXTERNAL_RESOURCE_ID> é o valor da seção <resourcename> do ARN da tarefa. Para obter mais informações sobre os ARNs de recursos que o AWS DMS gera, consulte Criação de um nome de recurso da Amazon (ARN) para o AWS DMS.

O CloudWatch se integra ao AWS Identity and Access Management (IAM), e é possível especificar quais ações do CloudWatch podem ser executadas por um usuário na sua conta da AWS. Para obter mais informações sobre como trabalhar com IAM no CloudWatch, consulte Gerenciamento de identidade e acesso para o Amazon CloudWatch e Registrar em log chamadas da API do Amazon CloudWatch no Guia do usuário do Amazon CloudWatch.

Para excluir os logs de tarefas, é possível definir DeleteTaskLogs como verdadeiro no JSON da seção de registro em log das configurações de tarefas.

É possível especificar o registro em log dos seguintes tipos de eventos:

  • FILE_FACTORY: a fábrica de arquivos gerencia os arquivos utilizados para aplicação e carga em lote e gerencia os endpoints do Amazon S3.

  • METADATA_MANAGER: o gerenciador de metadados gerencia os metadados de origem e de destino, o particionamento e o estado da tabela durante a replicação.

  • SORTER: o SORTER recebe eventos recebidos do processo SOURCE_CAPTURE. Os eventos são agrupados em transações e passados para o componente de serviço TARGET_APPLY. Se o processo SOURCE_CAPTURE produzir eventos mais rapidamente do que o componente TARGET_APPLY pode consumir, o componente SORTER armazenará em cache os eventos acumulados no disco ou em um arquivo de troca. Os eventos armazenados em cache são uma causa comum de falta de armazenamento em instâncias de replicação.

    O componente de serviço SORTER gerencia os eventos armazenados em cache, reúne estatísticas da CDC e relata a latência da tarefa.

  • SOURCE_CAPTURE: os dados da replicação contínua (CDC) são capturados no banco de dados ou serviço de origem e passados para o componente de serviço SORTER.

  • SOURCE_UNLOAD: os dados são descarregados no banco de dados ou serviço de origem durante a carga máxima.

  • TABLES_MANAGER: o gerenciador de tabelas rastreia as tabelas capturadas, gerencia a ordem da migração da tabela e coleta as estatísticas das tabelas.

  • TARGET_APPLY: os dados e as instruções da linguagem de definição de dados (DDL) são aplicados no banco de dados de destino.

  • TARGET_LOAD: os dados são carregados no banco de dados de destino.

  • TASK_MANAGER: o gerenciador de tarefas gerencia as tarefas em execução e divide as tarefas em subtarefas para processamento paralelo de dados.

  • TRANSFORMATION: eventos de transformação de mapeamento de tabela. Para obter mais informações, consulte Utilizar o mapeamento de tabela para especificar as configurações da tarefa.

  • VALIDATOR/ VALIDATOR_EXT: o componente de serviço VALIDATOR verifica se os dados foram migrados com precisão da origem para o destino. Para obter mais informações, consulte Validação de dados.

  • DATA_RESYNC: componente comum do recurso de ressincronização de dados que gerencia o fluxo de ressincronização de dados. Para obter mais informações, consulte Ressincronização de dados do AWS DMS.

  • RESYNC_UNLOAD: os dados são descarregados no banco de dados ou serviço de origem durante o processo de ressincronização.

  • RESYNC_APPLY: as instruções da linguagem de manipulação de dados (DML) são aplicadas no banco de dados de destino durante a ressincronização.

Os seguintes componentes de registro em log geram uma grande quantidade de logs ao utilizar o nível de gravidade do log LOGGER_SEVERITY_DETAILED_DEBUG:

  • COMMON

  • ADDONS

  • DATA_STRUCTURE

  • COMMUNICATION

  • FILE_TRANSFER

  • FILE_FACTORY

Níveis de log diferentes DEFAULT são raramente necessários para esses componentes durante a solução de problemas. Não é recomendável alterar o nível de registro em log do DEFAULT para esses componentes, a menos que seja especificamente solicitado pelo AWS Support.

Depois de especificar um dos itens anteriores, é possível especificar a quantidade de informações registradas em log, conforme mostrado na lista a seguir.

Os níveis de severidade estão na ordem do menor para o maior nível de informações. Os níveis mais altos sempre incluem informações dos níveis mais baixos.

  • LOGGER_SEVERITY_ERROR: as mensagens de erro são gravadas no log.

  • LOGGER_SEVERITY_WARNING: avisos e mensagens de erro são gravados no log.

  • LOGGER_SEVERITY_INFO: mensagens informativas, avisos e mensagens de erro são gravados no log.

  • LOGGER_SEVERITY_DEFAULT: mensagens informativas, avisos e mensagens de erro são gravados no log.

  • LOGGER_SEVERITY_DEBUG: mensagens de depuração, mensagens informativas, mensagens de erro e avisos são gravadas no log.

  • LOGGER_SEVERITY_DETAILED_DEBUG: todas as informações são gravadas no log.

O exemplo de JSON a seguir mostra as configurações de tarefa para registrar em log todas as ações e os níveis de gravidade.

…
  "Logging": {
    "EnableLogging": true,
    "LogComponents": [
      {
        "Id": "FILE_FACTORY",
        "Severity": "LOGGER_SEVERITY_DEFAULT"
      },{
        "Id": "METADATA_MANAGER",
        "Severity": "LOGGER_SEVERITY_DEFAULT"
      },{
        "Id": "SORTER",
        "Severity": "LOGGER_SEVERITY_DEFAULT"
      },{
        "Id": "SOURCE_CAPTURE",
        "Severity": "LOGGER_SEVERITY_DEFAULT"
      },{
        "Id": "SOURCE_UNLOAD",
        "Severity": "LOGGER_SEVERITY_DEFAULT"
      },{
        "Id": "TABLES_MANAGER",
        "Severity": "LOGGER_SEVERITY_DEFAULT"
      },{
        "Id": "TARGET_APPLY",
        "Severity": "LOGGER_SEVERITY_DEFAULT"
      },{
        "Id": "TARGET_LOAD",
        "Severity": "LOGGER_SEVERITY_INFO"
      },{
        "Id": "TASK_MANAGER",
        "Severity": "LOGGER_SEVERITY_DEBUG"
      },{
        "Id": "TRANSFORMATION",
        "Severity": "LOGGER_SEVERITY_DEBUG"
      },{
        "Id": "VALIDATOR",
        "Severity": "LOGGER_SEVERITY_DEFAULT"
      }
    ],
    "CloudWatchLogGroup": null,
    "CloudWatchLogStream": null
  }, 
…