Amazon Managed Service für Apache Flink 2.2

MSF Flink 2.2 meldet jetzt eine Ausnahme, wenn Kunden versuchen, Konfigurationen, die von MSF nicht unterstützt werden, über oder ähnliches zu ändern. env.getConfig().set() APIs Siehe Eigenschaften der programmatischen Flink-Konfiguration.

Kunden können weiterhin über Support-Tickets die Änderung bestimmter Konfigurationen beantragen (siehe Modifizierbare Einstellungen)

Die fullRestarts Metrik wurde in Flink 2.2 entfernt. Verwenden Sie stattdessen die numRestarts Metrik.

Die bytesRequestedPerFetch Metrik für den KDS-Anschluss wurde in der AWS Flink-Connector-Version 6.0.0 entfernt (nur die Connector-Version, die mit Flink 2.2 kompatibel ist).

Die downtime Metriken uptime und sind beide in Flink 2.2 als veraltet markiert und werden bald entfernt. Durch die neue uptime Metrik ersetzen. runningTime downtimeErsetzen Sie durch eine oder mehrere von restartingTimecancellingTime, undfailingTime.

Eine vollständige Liste der unterstützten Metriken finden Sie auf der Seite Metriken und Dimensionen.

Diese zulässigen Endpunkte werden von den AWS SDKs DefaultCredentialsProvider(/latest/meta-data/iam/security-credentials/) und DefaultAwsRegionProviderChain(/latest/dynamic/instance-identity/document) verwendet, um Anmeldeinformationen und Region für Ihre Anwendung automatisch zu konfigurieren.

Anwendungen, die AWS-SDK-Funktionen verwenden und auf IMDS-Aufrufe ohne Anmeldeinformationen angewiesen sind (wieEC2MetadataUtils.getInstanceId(),, oderEC2MetadataUtils.getAvailabilityZone()) EC2MetadataUtils.getInstanceType()EC2MetadataUtils.getLocalHostName(), erhalten HTTP 4xx-Fehler, wenn sie versuchen, diese Aufrufe zu starten.

Wenn Ihre Anwendung IMDS-Metadaten oder andere Informationen außerhalb der erlaubten Pfade verwendet, sollten Sie Ihren Code so umgestalten, dass er stattdessen Umgebungsvariablen oder Anwendungskonfigurationen verwendet.

Um die Sicherheit zu verbessern, führt jede Abhängigkeit, die nicht /tmp das Standard-Flink-Arbeitsverzeichnis ist, zu:. java.io.FileNotFoundException: /{path}/{filename} (Read-only file system)

Dateisystemabhängigkeiten können direkt aus Ihrem Code oder indirekt aus Bibliotheken stammen, die in Ihren Abhängigkeiten enthalten sind. Überschreiben Sie direkte Dateisystemabhängigkeiten /tmp/ in Ihrem Code. Verwenden Sie bei indirekten Dateisystemabhängigkeiten von Bibliotheken Überschreibungen der Bibliothekskonfiguration, um Dateisystemoperationen auf diese umzuleiten. /tmp/

Die veraltete DataSet API für die Stapelverarbeitung wurde in Flink 2.0+ vollständig entfernt. Die gesamte Batch-Verarbeitung muss jetzt die einheitliche DataStream API verwenden.

Anwendungen, die die DataSet API verwenden, müssen vor dem Upgrade auf die DataStream API migriert werden. Informationen zur Konvertierung finden Sie im Apache DataSet Flink-Migrationsleitfaden DataStream

Die Unterstützung für Java 11 wurde vollständig entfernt; Java 17 ist die standardmäßige und empfohlene Laufzeit.

Die Unterstützung für Python 3.8 wurde entfernt; Python 3.12 ist jetzt die Standardeinstellung.

Die alten Versionen SourceFunction und SinkFunction Schnittstellen wurden durch die neuen vereinheitlichten Versionen Source (FLIP-27) und Sink (FLIP-143) ersetzt, die eine bessere Unterstützung für bounded/unbounded Dualität APIs, eine verbesserte Checkpoint-Koordination und ein übersichtlicheres Programmiermodell bieten.

Verwenden Sie für Kinesis Data Streams KinesisStreamsSource und KinesisStreamsSink vonflink-connector-aws-kinesis-streams:6.0.0-2.0.

Die Flink Scala-API wurde entfernt. Die Java-API von Flink ist jetzt die einzige unterstützte API für JVM-basierte Anwendungen.

Wenn Ihre Anwendung in Scala geschrieben ist, können Sie weiterhin die Java-API von Flink aus dem Scala-Code verwenden. Die wichtigste Änderung besteht darin, dass die Scala-spezifischen Wrapper und impliziten Konvertierungen nicht mehr verfügbar sind. Einzelheiten zur Aktualisierung Ihrer Scala-Anwendungen finden Sie unter Upgraden von Anwendungen und Flink-Versionen.

Ein Upgrade des Kryo-Serializers von Version 2.24 auf 5.6 kann zu Kompatibilitätsproblemen mit dem Status führen.

POJOs Bei Sammlungen (HashMap,,HashSet) kann es zu ArrayList Problemen mit der Statuskompatibilität kommen.

Die Avro- und Protobuf-Serialisierung ist davon nicht betroffen.

Eine detaillierte Bewertung Leitfaden zur staatlichen Kompatibilität für Flink 2.2-Upgrades zur Bewertung des Risikoniveaus Ihrer Anwendung finden Sie unter.

Wenn Ihre Anwendung von einem Connector abhängt, für den es noch keine Flink 2.x-Version gibt, haben Sie zwei Möglichkeiten: Warten Sie, bis der Connector eine kompatible Version veröffentlicht, oder prüfen Sie, ob Sie ihn durch eine Alternative ersetzen können (z. B. mithilfe des JDBC-Katalogs oder einer benutzerdefinierten Senke).

Achten Sie bei der Aktualisierung von Konnektorversionen auf Änderungen der Artefaktnamen — einige Konnektoren wurden zwischen den Hauptversionen umbenannt (z. B. wurde der Firehose-Connector flink-connector-aws-firehose in einigen Zwischenversionen von flink-connector-aws-kinesis-firehose zu geändert).

In der Dokumentation zum Amazon Managed Service for Apache Flink Connector finden Sie immer die genauen Namen und Versionen der Artefakte, die in Ihrer Ziel-Runtime unterstützt werden.

Materialisierte Tabellen: Kontinuierlich verwaltete, abfragbare Tabellen-Snapshots.

Benutzerdefinierte Telemetrieänderungen: Benutzerdefinierte Metrik-Reporter und Telemetriekonfigurationen.

ForSt State-Backend: Disaggregierter Statusspeicher (experimentell in Open Source).

Java 21: Experimentelle Unterstützung in Open Source, nicht unterstützt in Managed Service für Apache Flink.

Anwendungen, die den in Connector v5.0.0 und v6.0.0 eingeführten Pfad KinesisStreamsSource with EFO (Enhanced Fan-Out/ SubscribeToShard) verwenden, können fehlschlagen, wenn Kinesis-Streams reshardiert werden. Dies ist ein bekanntes Problem in der Community. Weitere Informationen finden Sie unter FLINK-37648.

Bei Anwendungen, die den in den Konnektoren v5.0.0 und v6.0.0 eingeführten Pfad KinesisStreamsSource with EFO (Enhanced Fan-Out/ SubscribeToShard) zusammen verwenden, KinesisStreamsSink kann es zu Deadlocks kommen, wenn die Flink-Anwendung unter Gegendruck steht, was zu einem vollständigen Stopp der Datenverarbeitung in einer oder mehreren führt. TaskManagers Ein erzwungener Stop-Vorgang und ein Startvorgang der Anwendung sind erforderlich, um die Anwendung wiederherzustellen. Dies ist ein Unterfall des in der Community bekannten Problems. Weitere Informationen finden Sie unter FLINK-34071.

Neu bei Flink 2.2? Eine ausführliche Dokumentation zu Apache Flink 2.2 finden Sie in der Apache Flink 2.2-Dokumentation.

Sie planen ein Upgrade? Siehe Upgrade auf Flink 2.2: Vollständige Anleitung

Bedenken hinsichtlich der staatlichen Kompatibilität? Siehe Leitfaden zur staatlichen Kompatibilität für Flink 2.2-Upgrades