Amazon Managed Service für Apache Flink 1.19 - Managed Service für Apache Flink
Unterstützte Features Änderungen in Amazon Managed Service für Apache Flink 1.19.1 KomponentenBekannte Probleme

Amazon Managed Service für Apache Flink war zuvor als Amazon Kinesis Data Analytics für Apache Flink bekannt.

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Amazon Managed Service für Apache Flink 1.19

Managed Service für Apache Flink unterstützt jetzt Apache Flink Version 1.19.1. In diesem Abschnitt werden die wichtigsten neuen Funktionen und Änderungen vorgestellt, die mit der Unterstützung von Apache Flink 1.19.1 durch Managed Service for Apache Flink eingeführt wurden.

Anmerkung

Wenn Sie eine frühere unterstützte Version von Apache Flink verwenden und Ihre vorhandenen Anwendungen auf Apache Flink 1.19.1 aktualisieren möchten, können Sie dazu direkte Apache Flink-Versionsupgrades verwenden. Weitere Informationen finden Sie unter Verwenden Sie direkte Versionsupgrades für Apache Flink. Mit direkten Versionsupgrades behalten Sie die Rückverfolgbarkeit von Anwendungen anhand eines einzigen ARN für alle Apache Flink-Versionen, einschließlich Snapshots, Logs, Metriken, Tags, Flink-Konfigurationen und mehr.

Apache Flink 1.19.1 führt Verbesserungen in der SQL-API ein, wie z. B. benannte Parameter, benutzerdefinierte Quellparallelität und unterschiedliche Status für verschiedene Flink-Operatoren. TTLs

Unterstützte Funktionen und zugehörige Dokumentation
Unterstützte Features Beschreibung Referenz zur Apache Flink-Dokumentation
SQL-API: Support Konfiguration verschiedener Zustände TTLs mithilfe eines SQL-Hints Benutzer können jetzt State-TTL für reguläre Stream-Joins und Gruppenaggregate konfigurieren. FLIP-373: Konfiguration verschiedener Zustände TTLs mithilfe eines SQL-Hints
SQL-API: Support benannte Parameter für Funktionen und Aufrufprozeduren Benutzer können jetzt benannte Parameter in Funktionen verwenden, anstatt sich auf die Reihenfolge der Parameter zu verlassen. FLIP-378: Support benannte Parameter für Funktionen und Aufrufprozeduren
SQL-API: Einstellung der Parallelität für SQL-Quellen Benutzer können jetzt Parallelität für SQL-Quellen angeben. FLIP-367: Support das Einstellen der Parallelität für Quellen Table/SQL
SQL API: Support des Sitzungsfensters TVF Benutzer können jetzt Tabellenwertfunktionen im Sitzungsfenster verwenden. FLINK-24024: Unterstützungssitzung Window TVF
SQL-API: Die Fenster-TVF-Aggregation unterstützt Changelog-Eingaben Benutzer können jetzt Fensteraggregation für Changelog-Eingaben durchführen. FLINK-20281: Die Fensteraggregation unterstützt die Eingabe von Changelog-Streams

Support Sie Python 3.11

 Flink unterstützt jetzt Python 3.11, was im Vergleich zu Python 3.10 10-60% schneller ist. Weitere Informationen finden Sie unter Was ist neu in Python 3.11. FLINK-33030: Unterstützung für Python 3.11 hinzufügen
Stellen Sie Metriken für TwoPhaseCommitting Sink bereit Benutzer können Statistiken über den Status von Committern in zwei Phasen der Committer-Senken einsehen. FLIP-371: Stellen Sie den Initialisierungskontext für die Committer-Erstellung bereit in TwoPhaseCommittingSink

Trace-Reporter für Job-Neustart und Checkpointing

 Benutzer können nun die Traces rund um die Dauer von Checkpoints und die Wiederherstellungstrends überwachen. In Amazon Managed Service für Apache Flink aktivieren wir standardmäßig Slf4j-Trace-Reporter, sodass Benutzer Checkpoint- und Job-Traces anhand von Anwendungsprotokollen überwachen können. CloudWatch FLIP-384: Führen Sie es ein TraceReporter und verwenden Sie es, um Checkpoint- und Wiederherstellungs-Traces zu erstellen
Anmerkung

Sie können sich für die folgenden Funktionen entscheiden, indem Sie eine Support-Anfrage einreichen:

Opt-in-Funktionen und zugehörige Dokumentation
Opt-in-Funktionen Beschreibung Referenz zur Apache Flink-Dokumentation
Support bei Verwendung eines größeren Checkpoint-Intervalls, wenn die Quelle Backlog verarbeitet Dies ist eine optionale Funktion, da Benutzer die Konfiguration an ihre spezifischen Jobanforderungen anpassen müssen. FLIP-309: Support bei Verwendung eines größeren Checkpoint-Intervalls, wenn die Quelle Backlog verarbeitet
Leiten Sie System.out und System.err zu Java-Protokollen um Dies ist eine Opt-in-Funktion. Bei Amazon Managed Service für Apache Flink besteht das Standardverhalten darin, die Ausgabe von System.out und System.err zu ignorieren, da die beste Vorgehensweise in der Produktion darin besteht, den nativen Java-Logger zu verwenden. FLIP-390: Das Unterstützungssystem ist ausgefallen und es wird ein Fehler angezeigt, der zu LOG umgeleitet oder verworfen wird

Die Versionsdokumentation zu Apache Flink 1.19.1 finden Sie unter Apache Flink Documentation v1.19.1.

Logging Trace Reporter ist standardmäßig aktiviert

Mit Apache Flink 1.19.1 wurden Checkpoint- und Recovery Traces eingeführt, sodass Benutzer Probleme mit Checkpoint- und Job Recovery besser debuggen können. In Amazon Managed Service für Apache Flink werden diese Traces im CloudWatch Protokollstream protokolliert, sodass Benutzer die für die Auftragsinitialisierung aufgewendete Zeit aufschlüsseln und die historische Größe von Checkpoints aufzeichnen können.

Die Standardstrategie für einen Neustart ist jetzt exponentielle Verzögerung

In Apache Flink 1.19.1 gibt es erhebliche Verbesserungen an der Neustartstrategie mit exponentieller Verzögerung. In Amazon Managed Service für Apache Flink ab Flink 1.19.1 verwenden Flink-Jobs standardmäßig die Neustartstrategie mit exponentieller Verzögerung. Das bedeutet, dass Benutzerjobs nach vorübergehenden Fehlern schneller wiederhergestellt werden, externe Systeme jedoch nicht überlastet werden, wenn die Jobs weiterhin neu gestartet werden.

Fehlerkorrekturen wurden zurückportiert

Amazon Managed Service for Apache Flink portiert Korrekturen aus der Flink-Community für kritische Probleme zurück. Das bedeutet, dass sich die Laufzeit von der Version Apache Flink 1.19.1 unterscheidet. Im Folgenden finden Sie eine Liste der Bugfixes, die wir zurückportiert haben:

Rückportierte Fehlerkorrekturen
Apache Flink JIRA-Link Beschreibung
FLINK-35531 Dieser Fix behebt den in 1.17.0 eingeführten Leistungsrückgang, der zu langsameren Schreibvorgängen auf HDFS führt.
FLINK-35157 Dieser Fix behebt das Problem, dass Flink-Jobs nicht mehr funktionieren, wenn Quellen mit Wasserzeichenausrichtung auf abgeschlossene Unteraufgaben stoßen.
FLINK-34252 Dieser Fix behebt das Problem bei der Generierung von Wasserzeichen, das zu einem fehlerhaften IDLE-Wasserzeichenstatus führt.
FLINK-34252 Mit diesem Fix wird der Leistungsrückgang bei der Generierung von Wasserzeichen behoben, indem die Anzahl der Systemaufrufe reduziert wird.
FLINK-33936 Mit diesem Fix wird das Problem mit doppelten Datensätzen bei der Mini-Batch-Aggregation in der Tabellen-API behoben.
FLINK-35498 Dieser Fix behebt das Problem mit Argumentnamenkonflikten bei der Definition benannter Parameter in der Tabellen-API. UDFs
FLINK-33192 Mit diesem Fix wird das Problem behoben, dass bei Fensteroperatoren aufgrund einer unsachgemäßen Timer-Bereinigung ein Speicherverlust aufgetreten ist.
FLINK-35069 Dieser Fix behebt das Problem, dass ein Flink-Job hängen bleibt und am Ende eines Fensters einen Timer auslöst.
FLINK-35832 Dieser Fix behebt das Problem, wenn IFNULL falsche Ergebnisse zurückgibt.
FLINK-35886 Mit diesem Fix wird das Problem behoben, dass Aufgaben, bei denen ein Gegendruck entsteht, als inaktiv betrachtet werden.
Komponente Version
Java 11 (empfohlen)
Python

3.11
Kinesis Data Analytics Flink Runtime () aws-kinesisanalytics-runtime 1.2.0
Konnektoren Informationen zu verfügbaren Konnektoren finden Sie unter Apache Flink-Konnektoren.
Apache Beam (nur Beam-Anwendungen)

Ab Version 2.61.0. Weitere Informationen finden Sie unter Flink-Versionskompatibilität.

Amazon Managed Service für Apache Flink Studio

Studio verwendet Apache Zeppelin-Notebooks, um die Entwicklung, das Debuggen von Code und die Ausführung von Apache Flink-Stream-Verarbeitungsanwendungen über eine einzige Benutzeroberfläche zu ermöglichen. Für den Flink Interpreter von Zeppelin ist ein Upgrade erforderlich, um die Unterstützung von Flink 1.19 zu aktivieren. Diese Arbeit ist mit der Zeppelin-Community geplant und wir werden diese Hinweise aktualisieren, sobald sie abgeschlossen sind. Sie können Flink 1.15 weiterhin mit Amazon Managed Service für Apache Flink Studio verwenden. Weitere Informationen finden Sie unter Ein Studio-Notizbuch erstellen.