Configuration d’un robot pour les notifications d’événements Amazon S3 pour une cible Amazon S3 - AWS Glue

Configuration d’un robot pour les notifications d’événements Amazon S3 pour une cible Amazon S3

Procédez comme suit pour configurer un robot pour les notifications d’événements Amazon S3 pour une cible Amazon S3 à l’aide de la AWS Management Console ou de l’AWS CLI.

AWS Management Console

  1. Connectez-vous à la AWS Management Console et ouvrez la console GuardDuty à l’adresse https://console.aws.amazon.com/guardduty/.

  2. Définissez les propriétés de votre crawler. Pour plus d’informations, consultez la rubrique Configuration des options de configuration du crawler dans la console AWS Glue.

  3. Dans la section Configuration de source de données, la question Is your data already mapped to AWS Glue tables? (Vos données sont-elles déjà mappées aux tables  ?) vous est posée.

    Par défaut, la réponse Not yet (Pas encore) est déjà sélectionnée. Laissez cette réponse par défaut, car vous utilisez une source de données Amazon S3 et les données ne sont pas encore mappées aux tables AWS Glue.

  4. Dans la section Data sources (Sources de données), choisissez Add a data source (Ajouter une source de données).

    Data source configuration interface with options to select or add data sources for crawling.

  5. Dans le modal Add data source (Ajouter une source de données), configurez la source de données Amazon S3 :

    • Data source (Source de données) : Amazon S3 est sélectionné par défaut.

    • Network connection (Connexion réseau) (Facultatif) : sélectionnez Add new connection (Ajouter une nouvelle connexion).

    • Location of Amazon S3 data (Emplacement des données Amazon S3) : par défaut, l’option In this account (Dans ce compte) est sélectionnée.

    • Amazon S3 path (Chemin d’accès Amazon S3) : spécifiez le chemin d’accès Amazon S3 où les dossiers et les fichiers sont analysés.

    • Subsequent crawler runs (Exécutions ultérieures du crawler) : choisissez Crawl based on events (Analyse en fonction des événements) pour utiliser les notifications d’événements Amazon S3 pour votre crawler.

    • Include SQS ARN (Inclure un ARN SQS) : spécifiez les paramètres du magasin de données, y compris l’ARN SQS valide. (Par exemple, arn:aws:sqs:region:account:sqs.)

    • Include dead-letter SQS ARN (Inclure un ARN SQS de lettres mortes) (Facultatif) : spécifiez un ARN SQS de lettres mortes Amazon valide. (Par exemple, arn:aws:sqs:region:account:deadLetterQueue.)

    • Choisissez Add an Amazon S3 data source (Ajouter une source de données Amazon S3).

    Add data source dialog for S3, showing options for network connection and crawl settings.
AWS CLI

Voici un exemple d’appel AWS CLI Amazon S3 pour configurer un robot pour qu’il utilise des notifications d’événements afin d’analyser un compartiment cible Amazon S3. 


Create Crawler:
aws glue update-crawler \
    --name myCrawler \
    --recrawl-policy RecrawlBehavior=CRAWL_EVENT_MODE \
    --schema-change-policy UpdateBehavior=UPDATE_IN_DATABASE,DeleteBehavior=LOG
    --targets '{"S3Targets":[{"Path":"s3://amzn-s3-demo-bucket/", "EventQueueArn": "arn:aws:sqs:us-east-1:012345678910:MyQueue"}]}'