Configuración de un rastreador para las notificaciones de eventos de Amazon S3 para un destino de Amazon S3 - AWS Glue

Configuración de un rastreador para las notificaciones de eventos de Amazon S3 para un destino de Amazon S3

Siga estos pasos para configurar un rastreador para las notificaciones de eventos de Amazon S3 para un destino de Amazon S3 mediante la AWS Management Console o AWS CLI.

AWS Management Console

  1. Inicie sesión en la AWS Management Console y abra la consola de GuardDuty en https://console.aws.amazon.com/guardduty/.

  2. Configure las propiedades del rastreador. Para obtener más información, consulte Opciones de configuración de rastreadores en la consola de AWS Glue.

  3. En la sección Configuración de origen de datos, se preguntará ¿Los datos ya están asignados a tablas de AWS Glue?

    De manera predeterminada, está seleccionado Not yet (Aún no). Déjelo así si está utilizando un origen de datos de Amazon S3 y los datos aún no están asignados a tablas de AWS Glue.

  4. En la sección Data sources (Origen de datos), elija Add a data source (Agregar un origen de datos).

    Data source configuration interface with options to select or add data sources for crawling.

  5. En el modal Add data source (Agregar origen de datos), configure el origen de datos de Amazon S3:

    • Data source (Origen de datos): de manera predeterminada, está seleccionado Amazon S3.

    • Network connection (Conexión de red) (opcional): elija Add new connection (Agregar nueva conexión).

    • Location of Amazon S3 data (Ubicación de datos de Amazon S3): de manera predeterminada, está seleccionado In this account (En esta cuenta).

    • Amazon S3 path (Ruta de Amazon S3): especifique la ruta de Amazon S3 en la que se rastrean carpetas y archivos.

    • Subsequent crawler runs (Ejecuciones posteriores del rastreador): elija Crawl based on events (Rastreo basado en eventos) para utilizar las notificaciones de eventos de Amazon S3 para el rastreador.

    • Include SQS ARN (Incluir ARN de SQS): especifique los parámetros del almacén de datos, incluido un ARN SQS válido. (Por ejemplo, arn:aws:sqs:region:account:sqs).

    • Include dead-letter SQS ARN (Incluir un SQS ARN de mensajes fallidos) (Optional): especifique un ARN de SQS con mensajes erróneos de Amazon válido. (Por ejemplo, arn:aws:sqs:region:account:deadLetterQueue).

    • Elija Add an Amazon S3 data source (Agregar un origen de datos de Amazon S3).

    Add data source dialog for S3, showing options for network connection and crawl settings.
AWS CLI

El siguiente es un ejemplo de llamada a la AWS CLI de Amazon S3 para configurar un rastreador para usar notificaciones de eventos a fin de rastrear un bucket de destino de Amazon S3. 


Create Crawler:
aws glue update-crawler \
    --name myCrawler \
    --recrawl-policy RecrawlBehavior=CRAWL_EVENT_MODE \
    --schema-change-policy UpdateBehavior=UPDATE_IN_DATABASE,DeleteBehavior=LOG
    --targets '{"S3Targets":[{"Path":"s3://amzn-s3-demo-bucket/", "EventQueueArn": "arn:aws:sqs:us-east-1:012345678910:MyQueue"}]}'