Erstellen eines Crawler-Zeitplans - AWS Glue

Erstellen eines Crawler-Zeitplans

Sie können mithilfe der AWS Glue-Konsole oder AWS CLI einen Zeitplan für den Crawler erstellen.

AWS Management Console

  1. Melden Sie sich bei der AWS Management Console an und öffnen Sie die AWS Glue-Konsole unter https://console.aws.amazon.com/glue/.

  2. Wählen Sie im Navigationsbereich Crawlers aus.

  3. Führen Sie die Schritte 1 bis 3 im Abschnitt Konfigurieren eines Crawlers aus.

  4. Wählen Sie Schritt 4: Festlegen von Ausgabe und Zeitplanung unter einen Crawler-Zeitplan aus, um die Häufigkeit der Ausführung festzulegen. Sie können den Crawler so einstellen, dass er stündlich, täglich, wöchentlich oder monatlich ausgeführt wird, oder einen benutzerdefinierten Zeitplan mit Cron-Ausdrücken festlegen.

    Ein Cron-Ausdruck ist eine Zeichenfolge, die ein Zeitplanmuster darstellt und aus 6 durch Leerzeichen getrennten Feldern besteht: * * * * * <Minute> <Stunde> <Monatstag> <Monat> <Wochentag> <Jahr>

    Um beispielsweise eine Aufgabe jeden Tag um Mitternacht auszuführen, lautet der Cron-Ausdruck: 0 0 * * ? *

    Weitere Informationen finden Sie unter Cron-Ausdrücke.

  5. Überprüfen Sie die von Ihnen konfigurierten Crawler-Einstellungen und erstellen Sie den Crawler so, dass er nach einem Zeitplan ausgeführt wird.

AWS CLI
aws glue create-crawler 
 --name myCrawler \
 --role AWSGlueServiceRole-myCrawler  \
 --targets '{"S3Targets":[{Path="s3://amzn-s3-demo-bucket/"}]}' \
 --schedule cron(15 12 * * ? *)

Weitere Informationen über die Verwendung von Cron zum Planen von Aufträgen und Crawlern finden Sie unter Zeitpläne für Aufträge und Crawler.