Erstellen Sie eine Managed Service for Apache Flink-Anwendung und führen Sie sie aus

Um die Datenströme zu erstellen (AWS CLI)

1. Verwenden Sie den folgenden Amazon create-stream AWS CLI Kinesis-Befehl, um den ersten Stream (ExampleInputStream) zu erstellen:

   $ aws kinesis create-stream \
   --stream-name ExampleInputStream \
   --shard-count 1 \
   --region us-east-1 \

2. Um den zweiten Stream zu erstellen, den die Anwendung zum Schreiben der Ausgabe verwendet, führen Sie denselben Befehl aus und ändern Sie den Stream-Namen inExampleOutputStream:

   $ aws kinesis create-stream \
   --stream-name ExampleOutputStream \
   --shard-count 1 \
   --region us-east-1 \

1. Klonen Sie das Remote-Repository, indem Sie den folgenden Befehl verwenden:

   git clone https://github.com/aws-samples/amazon-managed-service-for-apache-flink-examples.git

2. Navigieren Sie zum amazon-managed-service-for-apache-flink-examples/tree/main/java/GettingStarted Verzeichnis .

Um Aufzeichnungen zu beobachten

1. Öffnen Sie die Kinesis-Konsole unter https://console.aws.amazon.com/kinesis.

2. Stellen Sie sicher, dass die Region mit der Region übereinstimmt, in der Sie dieses Tutorial ausführen. Die Standardeinstellung lautet us-east-1 US East (Nord-Virginia). Ändern Sie die Region, wenn sie nicht übereinstimmt.

3. Wählen Sie Datenströme.

4. Wählen Sie den Stream aus, den Sie beobachten möchten, entweder ExampleInputStream oder ExampleOutputStream.

5. Wählen Sie den Tab „Datenanzeige“.

6. Wählen Sie einen beliebigen Shard aus, behalten Sie „Neueste“ als Startposition bei und wählen Sie dann „Datensätze abrufen“. Möglicherweise wird die Fehlermeldung „Für diese Anfrage wurde kein Datensatz gefunden“ angezeigt. Wenn ja, wählen Sie Erneut versuchen, Datensätze abzurufen. Die neuesten im Stream veröffentlichten Datensätze werden angezeigt.

7. Wählen Sie den Wert in der Datenspalte aus, um den Inhalt des Datensatzes im JSON-Format zu überprüfen.

Um die JAR-Datei mit dem Anwendungscode hochzuladen

1. Öffnen Sie die Amazon S3-Konsole unter https://console.aws.amazon.com/s3/.

2. Wählen Sie den Bucket aus, den Sie zuvor für den Anwendungscode erstellt haben.

3. Klicken Sie auf Upload.

4. Klicken Sie auf Add files.

5. Navigieren Sie zu der JAR-Datei, die im vorherigen Schritt generiert wurde:target/amazon-msf-java-stream-app-1.0.jar.

6. Wählen Sie Hochladen, ohne weitere Einstellungen zu ändern.

So erstellen Sie die Anwendung

1. Melden Sie sich bei der AWS-Managementkonsole an und öffnen Sie die Amazon MSF-Konsole unter https://console.aws.amazon.com/flink.

2. Stellen Sie sicher, dass die richtige Region ausgewählt ist: us-east-1 US East (Nord-Virginia)

3. Öffnen Sie das Menü auf der rechten Seite und wählen Sie Apache Flink-Anwendungen und dann Streaming-Anwendung erstellen. Wählen Sie alternativ im Container Erste Schritte auf der Startseite die Option Streaming-Anwendung erstellen.

4. Gehen Sie auf der Seite „Streaming-Anwendung erstellen“ wie folgt vor:

   • Wählen Sie eine Methode zum Einrichten der Stream-Verarbeitungsanwendung: Wählen Sie „Von Grund auf neu erstellen“.

   • Apache Flink-Konfiguration, Flink-Version der Anwendung: Wählen Sie Apache Flink 1.20.

5. Konfigurieren Sie Ihre Anwendung

   • Name der Anwendung: geben Sie einMyApplication.

   • Beschreibung: eingebenMy java test app.

   • Zugriff auf Anwendungsressourcen: Wählen Sie IAM-Rolle kinesis-analytics-MyApplication-us-east-1 mit den erforderlichen Richtlinien erstellen/aktualisieren.

6. Konfigurieren Sie Ihre Vorlage für Anwendungseinstellungen

   • Vorlagen: Wählen Sie Entwicklung.

7. Wählen Sie unten auf der Seite Streaming-Anwendung erstellen aus.

Um die Richtlinie zu bearbeiten

1. Öffnen Sie unter https://console.aws.amazon.com/iam/ die IAM-Konsole.

2. Wählen Sie Policies (Richtlinien). Wählen Sie die kinesis-analytics-service-MyApplication-us-east-1-Richtlinie aus, die die Konsole im vorherigen Abschnitt für Sie erstellt hat.

3. Wählen Sie Bearbeiten und dann die Registerkarte JSON.

4. Fügen Sie den markierten Abschnitt der folgenden Beispielrichtlinie der Richtlinie hinzu. Ersetzen Sie die Beispielkonto-IDs (012345678901) durch Ihre Konto-ID.

   JSON

   {
       "Version":"2012-10-17",
       "Statement": [
           {
               "Sid": "ReadCode",
               "Effect": "Allow",
               "Action": [
                   "s3:GetObject",
                   "s3:GetObjectVersion"
               ],
               "Resource": [
                   "arn:aws:s3:::my-bucket/kinesis-analytics-placeholder-s3-object"
               ]
           },
           {
               "Sid": "ListCloudwatchLogGroups",
               "Effect": "Allow",
               "Action": [
                   "logs:DescribeLogGroups"
               ],
               "Resource": [
                   "arn:aws:logs:us-east-1:012345678901:log-group:*"
               ]
           },
           {
               "Sid": "ListCloudwatchLogStreams",
               "Effect": "Allow",
               "Action": [
                   "logs:DescribeLogStreams"
               ],
               "Resource": [
                   "arn:aws:logs:us-east-1:012345678901:log-group:/aws/kinesis-analytics/MyApplication:log-stream:*"
               ]
           },
           {
               "Sid": "PutCloudwatchLogs",
               "Effect": "Allow",
               "Action": [
                   "logs:PutLogEvents"
               ],
               "Resource": [
                   "arn:aws:logs:us-east-1:012345678901:log-group:/aws/kinesis-analytics/MyApplication:log-stream:kinesis-analytics-log-stream"
               ]
           },
           {
               "Sid": "ReadInputStream",
               "Effect": "Allow",
               "Action": "kinesis:*",
               "Resource": "arn:aws:kinesis:us-east-1:012345678901:stream/ExampleInputStream"
           },
           {
               "Sid": "WriteOutputStream",
               "Effect": "Allow",
               "Action": "kinesis:*",
               "Resource": "arn:aws:kinesis:us-east-1:012345678901:stream/ExampleOutputStream"
           }
       ]
   }
   

5. Wählen Sie unten auf der Seite Weiter und dann Änderungen speichern aus.

Um die Konfiguration zu bearbeiten

1. Wählen Sie auf der MyApplication Seite „Konfigurieren“.

2. Gehen Sie im Abschnitt Speicherort des Anwendungscodes wie folgt vor:

   • Wählen Sie für den Amazon S3-Bucket den Bucket aus, den Sie zuvor für den Anwendungscode erstellt haben. Wählen Sie Browse und wählen Sie den richtigen Bucket aus. Wählen Sie dann Choose aus. Klicken Sie nicht auf den Bucket-Namen.

   • Geben Sie als Pfad zum Amazon-S3-Objekt den Wert amazon-msf-java-stream-app-1.0.jar ein.

3. Wählen Sie für Zugriffsberechtigungen die Option IAM-Rolle kinesis-analytics-MyApplication-us-east-1 mit den erforderlichen Richtlinien erstellen/aktualisieren aus.

4. Fügen Sie im Abschnitt Runtime-Eigenschaften die folgenden Eigenschaften hinzu.

5. Wählen Sie Neues Objekt hinzufügen und fügen Sie jeden der folgenden Parameter hinzu:

   Gruppen-ID	Key (Schlüssel)	Value (Wert)
   InputStream0	stream.name	ExampleInputStream
   InputStream0	aws.region	us-east-1
   OutputStream0	stream.name	ExampleOutputStream
   OutputStream0	aws.region	us-east-1

6. Ändern Sie keinen der anderen Abschnitte.

7. Wählen Sie Änderungen speichern aus.

Ausführen der Anwendung

1. Wählen Sie auf der Konsole für Amazon Managed Service für Apache Flink Meine Anwendung und dann Ausführen aus.

2. Wählen Sie auf der nächsten Seite, der Konfigurationsseite zur Anwendungswiederherstellung, die Option Mit dem neuesten Snapshot ausführen und dann Ausführen aus.

   Der Status in den Anwendungsdetails wechselt von Ready zu Starting und dann zu dem Running Zeitpunkt, zu dem die Anwendung gestartet wurde.

So öffnen Sie das -Dashboard

1. Wählen Sie Apache Flink-Dashboard öffnen. Das Dashboard wird auf einer neuen Seite geöffnet.

2. Wählen Sie in der Liste „Laufende Jobs“ den einzelnen Job aus, den Sie sehen können.

   Anmerkung

   Wenn Sie die Runtime-Eigenschaften festgelegt oder die IAM-Richtlinien falsch bearbeitet haben, wird der Anwendungsstatus möglicherweise wie folgt geändertRunning, aber das Flink-Dashboard zeigt an, dass der Job kontinuierlich neu gestartet wird. Dies ist ein häufiges Fehlerszenario, wenn die Anwendung falsch konfiguriert ist oder nicht über Berechtigungen für den Zugriff auf die externen Ressourcen verfügt.

   In diesem Fall überprüfen Sie die Registerkarte Ausnahmen im Flink-Dashboard, um die Ursache des Problems zu ermitteln.

Um die Metriken einzusehen

1. Wählen Sie neben der Schaltfläche „Aktualisieren“ 10 Sekunden aus der Dropdownliste aus.

2. Wenn die Anwendung läuft und fehlerfrei ist, können Sie sehen, dass die Verfügbarkeitsmetrik kontinuierlich ansteigt.

3. Die Metrik für vollständige Neustarts sollte Null sein. Wenn sie zunimmt, kann es bei der Konfiguration zu Problemen kommen. Um das Problem zu untersuchen, überprüfen Sie die Registerkarte Ausnahmen im Flink-Dashboard.

4. Die Metrik „Anzahl der fehlgeschlagenen Checkpoints“ sollte in einer fehlerfreien Anwendung Null sein.

   Anmerkung

   Dieses Dashboard zeigt einen festen Satz von Metriken mit einer Granularität von 5 Minuten an. Sie können ein benutzerdefiniertes Anwendungs-Dashboard mit beliebigen Metriken im CloudWatch Dashboard erstellen.

Um die Ausgabe anzusehen

1. Öffnen Sie die Kinesis-Konsole unter https://console.aws.amazon.com/kinesis.

2. Stellen Sie sicher, dass die Region mit der Region übereinstimmt, die Sie zum Ausführen dieses Tutorials verwenden. In der Standardeinstellung ist es US-East-1US East (Nord-Virginia). Ändern Sie bei Bedarf die Region.

3. Wählen Sie Datenströme.

4. Wählen Sie den Stream aus, den Sie beobachten möchten. Verwenden Sie für dieses Tutorial ExampleOutputStream.

5. Wählen Sie die Registerkarte Datenanzeige.

6. Wählen Sie einen beliebigen Shard aus, behalten Sie „Neueste“ als Startposition bei und wählen Sie dann „Datensätze abrufen“. Möglicherweise wird die Fehlermeldung „Für diese Anfrage wurde kein Datensatz gefunden“ angezeigt. Wenn ja, wählen Sie Erneut versuchen, Datensätze abzurufen. Die neuesten im Stream veröffentlichten Datensätze werden angezeigt.

7. Wählen Sie den Wert in der Datenspalte aus, um den Inhalt des Datensatzes im JSON-Format zu überprüfen.

So stoppen Sie die Anwendung

1. Wählen Sie in der Dropdownliste Aktion die Option Stopp aus.

2. Der Status in den Anwendungsdetails wechselt von Running zu und dann zu dem Ready ZeitpunktStopping, an dem die Anwendung vollständig gestoppt wurde.

   Anmerkung

   Vergessen Sie nicht, auch das Senden von Daten aus dem Python-Skript oder dem Kinesis-Datengenerator an den Eingabestream zu beenden.