Creazione di una pianificazione del crawler - AWS Glue

Creazione di una pianificazione del crawler

È possibile creare una pianificazione per il crawler usando la console AWS Glue o AWS CLI.

AWS Management Console

  1. Accedi alla AWS Management Console e apri la console AWS Glue all'indirizzo https://console.aws.amazon.com/glue/.

  2. Nel riquadro di navigazione scegli Crawlers (Crawler).

  3. Segui i passaggi da 1 a 3 nella sezione Configurazione di un crawler.

  4. In Fase 4: Configurazione dell'output e della pianificazione, scegli una pianificazione del Crawler per impostare la frequenza di esecuzione. Puoi scegliere di eseguire il crawler ogni ora, ogni giorno, ogni settimana, ogni mese o definire una pianificazione personalizzata utilizzando espressioni Cron.

    Un'espressione Cron è una stringa che rappresenta un modello di pianificazione, ed è composta da 6 campi separati da spazi: * * * * * <minuto> <ora> <giorno del mese> <mese> <giorno della settimana> <anno>

    Ad esempio, per eseguire un'attività ogni giorno a mezzanotte, l'espressione Cron è: 0 0 * * ? *

    Per ulteriori informazioni consulta Espressioni cron.

  5. Rivedi le impostazioni del crawler che hai configurato e crea il crawler da eseguire secondo una pianificazione.

AWS CLI
aws glue create-crawler 
 --name myCrawler \
 --role AWSGlueServiceRole-myCrawler  \
 --targets '{"S3Targets":[{Path="s3://amzn-s3-demo-bucket/"}]}' \
 --schedule cron(15 12 * * ? *)

Per ulteriori informazioni sull'utilizzo di cron per pianificare processi e crawler, consulta Pianificazioni basate sul tempo per processi e crawler.