Configuración de las tareas de los registros - AWS Database Migration Service

Configuración de las tareas de los registros

El registro utiliza Amazon CloudWatch para registrar información durante el proceso de migración. Con la configuración de tareas de registro, puede especificar qué actividades de componentes se registran y qué cantidad de información se escribe en el registro. La configuración de tareas de registro se escribe en un archivo JSON. Para obtener información sobre cómo utilizar un archivo de configuración de tareas para establecer la configuración de las tareas, consulte Ejemplo de configuración de tarea.

Puede activar el registro de CloudWatch de varias maneras. Puede seleccionar la opción EnableLogging en la Consola de administración de AWS al crear una tarea de migración. O bien, puede establecer la opción EnableLogging en true al crear una tarea con la API de AWS DMS. También puede especificar "EnableLogging": true en el JSON de la sección de registro en la configuración de tareas.

Cuando configure EnableLogging en true, AWS DMS asigna el nombre del grupo de CloudWatch y el nombre de la transmisión de la siguiente manera. No puede establecer estos valores directamente.

  • CloudWatchLogGroup: dms-tasks-<REPLICATION_INSTANCE_IDENTIFIER>

  • CloudWatchLogStream: dms-task-<REPLICATION_TASK_EXTERNAL_RESOURCE_ID>

<REPLICATION_INSTANCE_IDENTIFIER> es el identificador de la instancia de replicación. <REPLICATION_TASK_EXTERNAL_RESOURCE_ID> es el valor de la sección <resourcename> del ARN de la tarea. Para obtener información sobre cómo AWS DMS genera recursos de ARN, consulte Creación de un nombre de recurso de Amazon (ARN) para usarlo con AWS DMS.

CloudWatch se integra con AWS Identity and Access Management (IAM) y puede especificar qué acciones de CloudWatch puede realizar un usuario en la cuenta de AWS. Para obtener más información sobre cómo trabajar con IAM en CloudWatch, consulte Identity and Access Management para Amazon CloudWatch y Registro de las llamadas a la API de Amazon CloudWatch en la Guía del usuario de Amazon CloudWatch.

Para eliminar los logs de tareas, puede establecer DeleteTaskLogs en true en el JSON de la sección de registro de la configuración de tareas.

Puede especificar el registro para los siguientes tipos de eventos:

  • FILE_FACTORY: la fábrica de archivos administra los archivos utilizados para la aplicación y carga de lotes y administra los puntos de conexión de Amazon S3.

  • METADATA_MANAGER: el administrador de metadatos administra los metadatos de origen y destino, las particiones y el estado de la tabla durante la replicación.

  • SORTER: SORTER recibe los eventos entrantes del proceso SOURCE_CAPTURE. Los eventos se agrupan en transacciones y se pasan al componente de servicio TARGET_APPLY. Si el proceso SOURCE_CAPTURE produce eventos más rápido de lo que el componente TARGET_APPLY puede consumirlos, el componente SORTER almacena en caché los eventos pendientes en un disco o en un archivo de intercambio. Los eventos en caché son una causa común de que se agote el almacenamiento en las instancias de replicación.

    El componente de servicio SORTER administra los eventos en caché, recopila estadísticas de CDC e informa sobre la latencia de las tareas.

  • SOURCE_CAPTURE: los datos de replicación continua (CDC) se capturan de la base de datos o el servicio de origen y se transfieren al componente de servicio SORTER.

  • SOURCE_UNLOAD: los datos se descargan de la base de datos o del servicio de origen durante la carga completa.

  • TABLES_MANAGER: el mánager de tablas rastrea las tablas capturadas, administra el orden de migración de las tablas y recopila las estadísticas de las tablas.

  • TARGET_APPLY: los datos e instrucciones de lenguaje de definición de datos (DDL) se aplican a la base de datos de destino.

  • TARGET_LOAD: los datos se cargan en la base de datos de destino.

  • TASK_MANAGER: el mánager de tareas administra las tareas en ejecución y divide las tareas en subtareas para el procesamiento de datos en paralelo.

  • TRANSFORMATION: eventos de transformación de asignación de tablas. Para obtener más información, consulte Uso del mapeo de tablas para especificar la configuración de tareas.

  • VALIDATOR/ VALIDATOR_EXT: el componente de servicio VALIDATOR verifica que los datos se hayan migrado con precisión del origen al destino. Para obtener más información, consulte Validación de datos.

  • DATA_RESYNC: componente común de la característica de resincronización de datos que administra el flujo de resincronización de datos. Para obtener más información, consulte Resincronización de datos de AWS DMS.

  • RESYNC_UNLOAD: los datos se descargan desde la base de datos o el servicio de origen durante el proceso de resincronización.

  • RESYNC_APPLY: las instrucciones de lenguaje de manipulación de datos (DML) se aplican a la base de datos de destino durante la resincronización.

Los siguientes componentes de registro generan una gran cantidad de registros cuando se utiliza el nivel de gravedad de registro LOGGER_SEVERITY_DETAILED_DEBUG:

  • COMMON

  • ADDONS

  • DATA_STRUCTURE

  • COMMUNICATION

  • FILE_TRANSFER

  • FILE_FACTORY

Los niveles de registro distintos de DEFAULT suelen ser necesarios para estos componentes durante la resolución de problemas. No recomendamos cambiar el nivel de registro de DEFAULT para estos componentes a menos que AWS Support lo solicite específicamente.

Después de especificar una de las anteriores, puede especificar la cantidad de información que se registra, como se muestra en la siguiente lista.

Los niveles de gravedad están en orden desde el nivel más bajo hasta el más alto de información. Los niveles más elevados siempre incluyen información de los niveles inferiores.

  • LOGGER_SEVERITY_ERROR: los mensajes de error se escriben en el registro.

  • LOGGER_SEVERITY_WARNING: las advertencias y mensajes de error se escriben en el registro.

  • LOGGER_SEVERITY_INFO: los mensajes informativos, las advertencias y los mensajes de error se escriben en el registro.

  • LOGGER_SEVERITY_DEFAULT: los mensajes informativos, las advertencias y los mensajes de error se escriben en el registro.

  • LOGGER_SEVERITY_DEBUG: los mensajes de depuración, los mensajes informativos, las advertencias y los mensajes de error se escriben en el registro.

  • LOGGER_SEVERITY_DETAILED_DEBUG: toda la información se escribe en el registro.

El siguiente ejemplo de JSON muestra la configuración de tareas para registrar todas las acciones y niveles de gravedad.

…
  "Logging": {
    "EnableLogging": true,
    "LogComponents": [
      {
        "Id": "FILE_FACTORY",
        "Severity": "LOGGER_SEVERITY_DEFAULT"
      },{
        "Id": "METADATA_MANAGER",
        "Severity": "LOGGER_SEVERITY_DEFAULT"
      },{
        "Id": "SORTER",
        "Severity": "LOGGER_SEVERITY_DEFAULT"
      },{
        "Id": "SOURCE_CAPTURE",
        "Severity": "LOGGER_SEVERITY_DEFAULT"
      },{
        "Id": "SOURCE_UNLOAD",
        "Severity": "LOGGER_SEVERITY_DEFAULT"
      },{
        "Id": "TABLES_MANAGER",
        "Severity": "LOGGER_SEVERITY_DEFAULT"
      },{
        "Id": "TARGET_APPLY",
        "Severity": "LOGGER_SEVERITY_DEFAULT"
      },{
        "Id": "TARGET_LOAD",
        "Severity": "LOGGER_SEVERITY_INFO"
      },{
        "Id": "TASK_MANAGER",
        "Severity": "LOGGER_SEVERITY_DEBUG"
      },{
        "Id": "TRANSFORMATION",
        "Severity": "LOGGER_SEVERITY_DEBUG"
      },{
        "Id": "VALIDATOR",
        "Severity": "LOGGER_SEVERITY_DEFAULT"
      }
    ],
    "CloudWatchLogGroup": null,
    "CloudWatchLogStream": null
  }, 
…