Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.
Service géré Amazon pour Apache Flink 1.15
Le service géré pour Apache Flink prend en charge les nouvelles fonctionnalités suivantes dans Apache 1.15.2 :
| Fonctionnalité | Description | Référence Apache FLIP |
|---|---|---|
| Récepteur asynchrone | Un framework AWS contribué pour créer des destinations asynchrones qui permet aux développeurs de créer des AWS connecteurs personnalisés avec moins de la moitié de l'effort précédent. Pour plus d’informations, consultez The Generic Asynchronous Base Sink. |
FLIP-171: Récepteur asynchrone. |
| Récepteur Kinesis Data Firehose | AWS a contribué à un nouveau Amazon Kinesis Firehose Sink utilisant le framework Async. | Récepteur Amazon Kinesis Data Firehose |
| Arrêter avec point de sauvegarde | Arrêter avec point de sauvegarde garantit un fonctionnement sans faille et surtout en garantissant une sémantique unique pour les clients qui comptent dessus. | FLIP-34: Terminate/Suspend Travaillez chez Savepoint |
| Découplage Scala | Les utilisateurs peuvent désormais tirer parti de l’API Java depuis n’importe quelle version de Scala, y compris Scala 3. Les clients devront intégrer la bibliothèque standard Scala de leur choix à leurs applications Scala. | FLIP-28: Long-term objectif de créer Flink-Table Scala-free |
| Scala | Voir le découplage de Scala ci-dessus | FLIP-28: Long-term objectif de créer Flink-Table Scala-free |
| Métriques du connecteur unifié | Flink a défini des métriques standardnumRestarts en parallèle avec fullRestarts dans la version 1.15 pour les métriques de disponibilité. |
FLIP-33: Standardisez les métriques des connecteurs |
| Point de contrôle des tâches terminées | Cette fonctionnalité est activée par défaut dans Flink 1.15 et permet de continuer à effectuer des points de contrôle même si certaines parties du graphique de tâches ont fini de traiter toutes les données, ce qui peut se produire s’il contient des sources limitées (par lots). | FLIP-147: Supportez les points de contrôle une fois les tâches terminées |
Modifications apportées au service géré Amazon pour Apache Flink avec Apache Flink 1.15
Blocs-notes Studio
Le service géré pour Apache Flink prend désormais en charge Apache Flink 1.15. Le service géré pour Apache Flink Studio utilise les blocs-notes Apache Zeppelin pour fournir une expérience de développement à interface unique pour le développement, le débogage de code et l’exécution d’applications de traitement de flux Apache Flink. Vous pouvez en savoir plus sur le service géré pour Apache Flink Studio et sur la façon de démarrer sur Utiliser un bloc-notes Studio avec service géré pour Apache Flink.
Connecteur EFO
Lors de la mise à niveau vers la version 1.15 du service géré pour Apache Flink, assurez-vous que vous utilisez le connecteur EFO le plus récent, à savoir la version 1.15.3 ou une version ultérieure. Pour en savoir plus sur les raisons, consultez FLINK-29324
Découplage Scala
Pour commencer avec Flink 1.15.2, vous devrez intégrer la bibliothèque standard Scala de votre choix à vos applications Scala.
Récepteur Kinesis Data Firehose
Lors de la mise à niveau vers la version 1.15 du service géré pour Apache Flink, assurez-vous que vous utilisez le récepteur Amazon Kinesis Data Firehose
Connecteurs Kafka
Lors de la mise à niveau vers la version 1.15 du service géré Amazon pour Apache Flink, assurez-vous que vous utilisez les API de connecteur Kafka les plus récents. Apache Flink est obsolète FlinkKafkaConsumer
Éléments
| Composant | Version |
|---|---|
| Java | 11 (recommandée) |
| Scala | 2,12 |
| Service géré pour Apache Flink pour l’exécution Flink (aws-kinesisanalytics-runtime) | 1.2.0 |
| AWS Connecteur Kinesis (connecteur flink-kinesis) |
1,15,4 |
| Apache Beam (applications Beam uniquement) |
2.33.0, avec la version Jackson 2.12.2 |
Problèmes connus
Kafka Commit on checkpointing échoue à plusieurs reprises après le redémarrage d'un courtier
Il existe un problème open source connu d'Apache Flink avec le connecteur Apache Kafka dans la version 1.15 de Flink, causé par un bogue critique du client Kafka open source dans Kafka Client 2.8.1. Pour plus d'informations, voir Kafka Commit on checkpointing échoue à plusieurs reprises après le redémarrage d'un broker
Pour éviter ce problème, nous vous recommandons d'utiliser Apache Flink 1.18 ou version ultérieure dans Amazon Managed Service pour Apache Flink.
