Service géré Amazon pour Apache Flink 2.2

MSF Flink 2.2 signale désormais une exception lorsque les clients tentent de modifier des configurations non prises en charge par MSF via des API env.getConfig().set() ou des API similaires. Consultez Propriétés de configuration programmatique de Flink.

Les clients peuvent toujours demander à modifier certaines configurations via des tickets d'assistance (voir Paramètres modifiables)

La fullRestarts métrique a été supprimée dans Flink 2.2. Utilisez plutôt la numRestarts métrique.

La bytesRequestedPerFetch métrique pour le connecteur KDS a été supprimée dans la version 6.0.0 AWS du connecteur Flink (seule la version de connecteur est compatible avec Flink 2.2).

Les downtime métriques uptime et sont toutes deux marquées comme obsolètes dans Flink 2.2 et seront bientôt supprimées. Remplacez uptime par la nouvelle métriquerunningTime. Remplacez downtime par un ou plusieurs des éléments restartingTime suivants :cancellingTime, etfailingTime.

Consultez la page Mesures et dimensions pour obtenir la liste complète des mesures prises en charge.

Ces points de terminaison autorisés sont utilisés par les AWS SDK DefaultCredentialsProvider (/latest/meta-data/iam/security-credentials/) et DefaultAwsRegionProviderChain (/latest/dynamic/instance-identity/document) pour configurer automatiquement les informations d'identification et la région pour votre application.

Les applications utilisant les fonctions du SDK AWS qui s'appuient sur des appels IMDS non liés à des informations d'identification (tels queEC2MetadataUtils.getInstanceId(), EC2MetadataUtils.getInstanceType()EC2MetadataUtils.getLocalHostName(), ouEC2MetadataUtils.getAvailabilityZone()) recevront des erreurs HTTP 4xx lors de la tentative de ces appels.

Si votre application utilise l'IMDS pour les métadonnées d'exemple ou d'autres informations en dehors des chemins autorisés, refactorisez votre code pour utiliser des variables d'environnement ou la configuration de l'application à la place.

Pour améliorer la sécurité, toute dépendance en dehors de /tmp laquelle se trouve le répertoire de travail flink par défaut entraînera :java.io.FileNotFoundException: /{path}/{filename} (Read-only file system).

Les dépendances du système de fichiers peuvent provenir directement de votre code ou indirectement des bibliothèques incluses dans vos dépendances. Remplacez les dépendances directes du système de fichiers /tmp/ dans votre code. Pour les dépendances indirectes entre les bibliothèques et les systèmes de fichiers, utilisez les modifications de configuration des bibliothèques pour rediriger les opérations du système de fichiers vers. /tmp/

L'ancienne DataSet API pour le traitement par lots a été complètement supprimée dans Flink 2.0+. Tous les traitements par lots doivent désormais utiliser l' DataStream API unifiée.

Les applications utilisant l' DataSet API doivent être migrées vers l' DataStream API avant la mise à niveau. Consultez le guide de migration vers Apache Flink DataSet pour la conversion DataStream

La prise en charge de Java 11 a été complètement supprimée ; Java 17 est l'environnement d'exécution par défaut et recommandé.

La prise en charge de Python 3.8 a été supprimée ; Python 3.12 est désormais la version par défaut.

L'héritage SourceFunction et les SinkFunction interfaces ont été remplacés par les nouvelles API unifiées Source (FLIP-27) et Sink (FLIP-143), qui offrent une meilleure prise en charge de la bounded/unbounded dualité, une meilleure coordination des points de contrôle et un modèle de programmation plus propre.

Pour Kinesis Data Streams, utilisez KinesisStreamsSource et KinesisStreamsSink depuisflink-connector-aws-kinesis-streams:6.0.0-2.0.

L'API Flink Scala a été supprimée. L'API Java de Flink est désormais la seule API prise en charge pour les JVM-based applications.

Si votre application est écrite en Scala, vous pouvez toujours utiliser l'API Java de Flink à partir du code Scala. Le principal changement est que les Scala-specific wrappers et les conversions implicites ne sont plus disponibles. Consultez les sections Mise à niveau des applications et des versions de Flink pour plus de détails sur la mise à jour de vos applications Scala.

La mise à niveau du sérialiseur Kryo de la version 2.24 à la version 5.6 peut entraîner des problèmes de compatibilité d'état.

Les POJO dotés de collections (HashMap,ArrayList,HashSet) peuvent présenter des problèmes de compatibilité d'état.

La sérialisation d'Avro et Protobuf n'est pas affectée.

Consultez Guide de compatibilité d'état pour les mises à niveau de Flink 2.2 l'évaluation détaillée permettant de trier le niveau de risque de votre demande.

Si votre application dépend d'un connecteur qui ne possède pas encore de version Flink 2.x, deux options s'offrent à vous : attendre que le connecteur publie une version compatible ou évaluer si vous pouvez le remplacer par une autre version (par exemple, en utilisant le catalogue JDBC ou un récepteur personnalisé).

Lors de la mise à jour des versions de connecteurs, faites attention aux changements de nom des artefacts : certains connecteurs ont été renommés entre les versions majeures (par exemple, le connecteur Firehose est passé de flink-connector-aws-kinesis-firehose à flink-connector-aws-firehose dans certaines versions intermédiaires).

Consultez toujours la documentation du connecteur Amazon Managed Service pour Apache Flink pour connaître les noms exacts des artefacts et les versions prises en charge dans votre environnement d'exécution cible.

Tableaux matérialisés  : instantanés de tables interrogeables et mis à jour en permanence.

Modifications de télémétrie personnalisées  : Reporters de métriques personnalisés et configurations de télémétrie.

ForSt State Backend  : stockage d'état désagrégé (expérimental en open source).

Java 21  : support expérimental en open source, non pris en charge dans Managed Service for Apache Flink.

Les applications utilisant le chemin KinesisStreamsSource with EFO (Enhanced Fan-Out / SubscribeToShard) introduit dans les connecteurs v5.0.0 et v6.0.0 peuvent échouer lorsque les flux Kinesis sont repartagés. Il s'agit d'un problème connu dans la communauté. Pour de plus amples informations, veuillez consulter FLINK-37648.

Les applications utilisant le chemin KinesisStreamsSource avec EFO (Enhanced Fan-Out / SubscribeToShard) introduit dans les connecteurs v5.0.0 et v6.0.0 KinesisStreamsSink peuvent rencontrer des blocages si l'application Flink est soumise à une contre-pression, ce qui entraîne l'arrêt complet du traitement des données dans une ou plusieurs applications. TaskManagers Une opération d'arrêt forcé et une opération de démarrage de l'application sont nécessaires pour récupérer l'application. Il s'agit d'un sous-cas du problème connu dans la communauté. Pour de plus amples informations, veuillez consulter FLINK-34071.

Vous êtes nouveau sur Flink 2.2 ? Pour une documentation détaillée d'Apache Flink 2.2, consultez la documentation d'Apache Flink 2.2.

Vous planifiez une mise à niveau ? Consultez Mise à niveau vers Flink 2.2 : guide complet

Problèmes de compatibilité des États ? Consultez Guide de compatibilité d'état pour les mises à niveau de Flink 2.2