Starten eines AWS Glue-Workflows mit einem Amazon-EventBridge-Ereignis

Einen Workflow mit einem EventBridge-Ereignis starten

1. Sie sollten AWS Identity and Access Management-Berechtigungen (IAM) zum Erstellen und Anzeigen von EventBridge-Regeln und -Zielen haben. Nachfolgend finden Sie eine Musterrichtlinie, die Sie anfügen können. Möglicherweise sollten Sie sie eingrenzen, um Beschränkungen für die Vorgänge und Ressourcen festzulegen.

   JSON

   {
     "Version":"2012-10-17",		 	 	 
     "Statement": [
       {
         "Effect": "Allow",
         "Action": [
           "events:PutRule",
           "events:DisableRule",
           "events:DeleteRule",
           "events:PutTargets",
           "events:RemoveTargets",
           "events:EnableRule",
           "events:List*",
           "events:Describe*"
         ],
         "Resource": "*"
       }
     ]
   }
   

2. Erstellen Sie eine IAM-Rolle, die der EventBridge-Service übernehmen kann, wenn er ein Ereignis an AWS Glue übergibt.

   1. Wählen Sie auf der Seite Create role (Rolle erstellen) der IAM-Konsole die Option AWS-Service aus. Wählen Sie dann den Service CloudWatch Events aus.

   2. Schließen Sie den Assistenten Create role (Rolle erstellen) ab. Der Assistent fügt automatisch die Richtlinien CloudWatchEventsBuiltInTargetExecutionAccess und CloudWatchEventsInvocationAccess an.

   3. Fügen Sie der Rolle die folgende Inline-Richtlinie an. Mit dieser Richtlinie kann der EventBridge-Service Ereignisse an AWS Glue weiterleiten.

      JSON

      {
        "Version":"2012-10-17",		 	 	 
        "Statement": [
          {
            "Effect": "Allow",
            "Action": [
              "glue:notifyEvent"
            ],
            "Resource": [
              "arn:aws:glue:us-east-1:111122223333:workflow/workflow-name"
            ]
          }
        ]
      }
      

3. Verwenden Sie den folgenden Befehl, um den Workflow zu erstellen.

   Weitere Informationen zu zusätzlichen optionalen Befehlszeilenparametern finden Sie unter create-workflow in der AWS CLI-Befehlsreferenz.

   aws glue create-workflow --name <workflow-name>

4. Geben Sie den folgenden Befehl ein, um einen EventBridge-Ereignisauslöser für den Workflow zu erstellen. Dies wird der Startauslöser für den Workflow sein. Ersetzen Sie <actions> durch die auszuführenden Aktionen (die zu startenden Aufträge und Crawler).

   Weitere Informationen zum Programmieren des actions-Arguments finden Sie unter create-trigger in der AWS CLI-Befehlsreferenz.

   aws glue create-trigger --workflow-name <workflow-name> --type EVENT --name <trigger-name> --actions <actions>

   Wenn der Workflow von einem Batch von Ereignissen statt von einem einzelnen EventBridge-Ereignis ausgelöst werden soll, geben Sie stattdessen den folgenden Befehl ein.

   aws glue create-trigger --workflow-name <workflow-name> --type EVENT --name <trigger-name> --event-batching-condition BatchSize=<number-of-events>,BatchWindow=<seconds> --actions <actions>

   Für das event-batching-condition-Argument ist BatchSize erforderlich und BatchWindow optional. Wenn Sie BatchWindow weglassen, beträgt das Fenster standardmäßig 900 Sekunden – die maximale Fenstergröße.

   Im folgenden Beispiel wird ein Auslöser erstellt, der den Workflow eventtest startet, nachdem drei EventBridge-Ereignisse eingetroffen sind oder fünf Minuten nach dem Eintreffen des ersten Ereignisses, je nachdem, was zuerst eintritt.

   aws glue create-trigger --workflow-name eventtest --type EVENT --name objectArrival --event-batching-condition BatchSize=3,BatchWindow=300 --actions JobName=test1
   

5. Erstellen Sie eine Regel in Amazon EventBridge.

   1. Erstellen Sie das JSON-Objekt für die Regeldetails in Ihrem bevorzugten Texteditor.

      Im folgenden Beispiel wird Amazon S3 als Ereignisquelle, PutObject als Ereignisname und der Bucket-Name als Anforderungsparameter angegeben. Diese Regel startet einen Workflow, wenn ein neues Objekt im Bucket eintrifft.

      {
        "source": [
          "aws.s3"
        ],
        "detail-type": [
          "AWS API Call via CloudTrail"
        ],
        "detail": {
          "eventSource": [
            "s3.amazonaws.com"
          ],
          "eventName": [
            "PutObject"
          ],
          "requestParameters": {
            "bucketName": [
              "<bucket-name>"
            ]
          }
        }
      }

      Damit der Workflow gestartet wird, wenn ein neues Objekt in einem Ordner innerhalb des Buckets eintrifft, können Sie den folgenden Code für requestParameters austauschen.

          "requestParameters": {
            "bucketName": [
              "<bucket-name>"
            ]
            "key" : [{ "prefix" : "<folder1>/<folder2>/*"}}]
        }

   2. Verwenden Sie Ihr bevorzugtes Tool, um das JSON-Regelobjekt in eine Zeichenfolge mit Escapezeichen zu konvertieren.

      {\n  \"source\": [\n    \"aws.s3\"\n  ],\n  \"detail-type\": [\n    \"AWS API Call via CloudTrail\"\n  ],\n  \"detail\": {\n    \"eventSource\": [\n      \"s3.amazonaws.com\"\n    ],\n    \"eventName\": [\n      \"PutObject\"\n    ],\n    \"requestParameters\": {\n      \"bucketName\": [\n        \"<bucket-name>\"\n      ]\n    }\n  }\n}

   3. Führen Sie den folgenden Befehl aus, um eine JSON-Parametervorlage zu erstellen, die Sie bearbeiten können, um Eingabeparameter für einen nachfolgenden put-rule-Befehl anzugeben. Speichern Sie die Ausgabe in einer Datei. In diesem Beispiel heißt die Datei ruleCommand.

      aws events put-rule --name <rule-name> --generate-cli-skeleton >ruleCommand

      Weitere Informationen zum Parameter --generate-cli-skeleton finden Sie unter Generieren der AWS CLI-Skeleton- und -Eingabeparameter aus einer JSON- oder YAML-Eingabedatei im Benutzerhandbuch für die AWS-Befehlszeilenschnittstelle.

      Die Ausgabedatei sollte wie folgt aussehen.

      {
          "Name": "",
          "ScheduleExpression": "",
          "EventPattern": "",
          "State": "ENABLED",
          "Description": "",
          "RoleArn": "",
          "Tags": [
              {
                  "Key": "",
                  "Value": ""
              }
          ],
          "EventBusName": ""
      }

   4. Bearbeiten Sie die Datei, um mindestens die Parameter Name, EventPattern und State festzulegen und optional Parameter zu entfernen. Geben Sie für den Parameter EventPattern die Zeichenfolge mit Escapezeichen für die Regeldetails an, die Sie in einem vorherigen Schritt erstellt haben.

      {
          "Name": "<rule-name>",
          "EventPattern": "{\n  \"source\": [\n    \"aws.s3\"\n  ],\n  \"detail-type\": [\n    \"AWS API Call via CloudTrail\"\n  ],\n  \"detail\": {\n    \"eventSource\": [\n      \"s3.amazonaws.com\"\n    ],\n    \"eventName\": [\n      \"PutObject\"\n    ],\n    \"requestParameters\": {\n      \"bucketName\": [\n        \"<bucket-name>\"\n      ]\n    }\n  }\n}",
          "State": "DISABLED",
          "Description": "Start an AWS Glue workflow upon new file arrival in an Amazon S3 bucket"
      }
      

      Anmerkung

      Es empfiehlt sich, die Regel deaktiviert zu lassen, bis Sie den Workflow fertig erstellt haben.

   5. Geben Sie den folgenden put-rule-Befehl ein, der Eingabeparameter aus der Datei ruleCommand liest.

      aws events put-rule --name <rule-name> --cli-input-json file://ruleCommand

      Die folgende Ausgabe zeigt den Erfolg an.

      {
          "RuleArn": "<rule-arn>"
      }
      

6. Führen Sie den folgenden Befehl aus, um die Richtlinie einem Ziel anzufügen. Das Ziel ist der Workflow in AWS Glue. Ersetzen Sie <role-name> durch die Rolle, die Sie zu Beginn dieses Verfahrens erstellt haben.

   aws events put-targets --rule <rule-name> --targets "Id"="1","Arn"="arn:aws:glue:<region>:<account-id>:workflow/<workflow-name>","RoleArn"="arn:aws:iam::<account-id>:role/<role-name>" --region <region>

   Die folgende Ausgabe zeigt den Erfolg an.

   {
       "FailedEntryCount": 0,
       "FailedEntries": []
   }

7. Bestätigen Sie die erfolgreiche Verbindung von Regel und Ziel, indem Sie den folgenden Befehl eingeben.

   aws events list-rule-names-by-target --target-arn arn:aws:glue:<region>:<account-id>:workflow/<workflow-name>

   Die folgende Ausgabe zeigt den Erfolg an. Dabei ist <rule-name> der Name der Regel, die Sie erstellt haben.

   {
       "RuleNames": [
           "<rule-name>"
       ]
   }
   

8. Melden Sie sich bei der AWS Management Console an und öffnen Sie die AWS Glue-Konsole unter https://console.aws.amazon.com/glue/.

9. Wählen Sie den Workflow aus und prüfen Sie, ob der Startauslöser und seine Aktionen – die zu startenden Aufträge oder Crawler – im Workflow-Diagramm angezeigt werden. Fahren Sie anschließend mit dem Verfahren in Schritt 3: Hinzufügen weiterer Auslöser fort. Oder fügen Sie dem Workflow über die AWS Glue-API oder -AWS Command Line Interface weitere Komponenten hinzu.

10. Wenn der Workflow vollständig angegeben ist, aktivieren Sie die Regel.

    aws events enable-rule --name <rule-name>

    Der Workflow ist nun bereit, von einem EventBridge-Ereignis oder Ereignisbatch gestartet zu werden.