Personalización del comportamiento del rastreador - AWS Glue

Personalización del comportamiento del rastreador

Al configurar un Rastreador de AWS Glue, dispone de varias opciones para definir el comportamiento de su rastreador.

  • Rastreos progresivos: puede configurar un rastreador para ejecutar rastreos progresivos y agregar solo particiones nuevas al esquema de la tabla.

  • Índices de particiones: un rastreador crea, de manera predeterminada, índices de particiones para los destinos de Amazon S3 y Delta Lake para ofrecer una búsqueda eficiente de particiones específicas.

  • Mejora del tiempo de rastreo mediante eventos de Amazon S3: puede configurar un rastreador para usar eventos de Amazon S3 para identificar los cambios entre dos rastreos al enumerar todos los archivos de la subcarpeta que activó el evento en lugar de publicar el destino completo de Amazon S3 o el Catálogo de datos.

  • Gestión de los cambios de esquema: puede impedir que un rastreador realice cambios de esquema en el esquema existente. Puede utilizar la AWS Management Console o la API de AWS Glue para configurar la manera en que su rastreador procesa determinados tipos de cambios.

  • Un solo esquema para varias rutas de Amazon S3: puede configurar un rastreador para crear un solo esquema para cada ruta de S3, si los datos son compatibles.

  • Ubicación de la tabla y niveles de partición: la opción de rastreador de nivel de tabla proporciona la flexibilidad para indicar al rastreador dónde se encuentran las tablas y cómo desea crear las particiones.

  • Umbral de tabla: puede especificar el número máximo de tablas que el rastreador tiene permitido crear mediante un umbral de tabla.

  • Credenciales de AWS Lake Formation: puede configurar un rastreador para que utilice credenciales de Lake Formation para acceder a un almacén de datos de Amazon S3 o a una tabla del Catálogo de datos con una ubicación de Amazon S3 subyacente en la misma Cuenta de AWS o en otra Cuenta de AWS.

Para obtener más información acerca de cómo usar la consola de AWS Glue para añadir un rastreador, consulte Configuración de rastreadores.