Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.
Amazon Managed Service per Apache Flink 1.15
Managed Service for Apache Flink supporta le seguenti nuove funzionalità in Apache 1.15.2:
| Funzionalità | Description | Riferimento Apache FLIP |
|---|---|---|
| Async Sink | Un framework AWS integrato per la creazione di destinazioni asincrone che consente agli sviluppatori di creare AWS connettori personalizzati con meno della metà dello sforzo precedente. Per ulteriori informazioni, consulta Generic Asynchronous Base Sink |
FLIP-171: Async Sink. |
| Sink Kinesis Data Firehose | AWS ha contribuito con un nuovo Amazon Kinesis Firehose Sink utilizzando il framework Async. | Amazon Kinesis Data Firehose Sink |
| Stop with Savepoint | Stop with Savepoint garantisce un funzionamento pulito ininterrotto e, soprattutto, supporta la semantica exactly-once per i clienti che decidono di usarlo. | FLIP-34: Terminate/Suspend Lavora con Savepoint. |
| Scala Decoupling | Gli utenti ora possono sfruttare l'API Java di qualsiasi versione di Scala, inclusa Scala 3. I clienti dovranno raggruppare la libreria standard Scala che hanno scelto nelle loro applicazioni Scala. | FLIP-28: Long-term obiettivo di creare flink-table. Scala-free |
| Scala | Cfr. Scala Decoupling qui sopra | FLIP-28: Long-term obiettivo di creare flink-table. Scala-free |
| Metriche unificate per i connettori. | Flink ha definito metriche standardnumRestarts in parallelo con fullRestarts per Availability Metrics. |
FLIP-33: Standardizza le metriche dei connettori ed espone le metriche |
| Checkpoint delle attività completate | Questa funzionalità è abilitata di default in Flink 1.15 e consente di continuare a eseguire i checkpoint anche se alcune parti del grafico di processo hanno terminato l'elaborazione di tutti i dati, cosa che potrebbe accadere se contiene origini (batch) associate. | FLIP-147: Controlla i punti di controllo dopo il completamento delle attività. |
Modifiche al servizio gestito da Amazon per Apache Flink con Apache Flink 1.15
Notebook Studio
Il servizio gestito per Apache Flink Studio ora supporta Apache Flink 1.15. Il servizio gestito per Apache Flink Studio utilizza i notebook Apache Zeppelin per offrire un'unica interfaccia per lo sviluppo, il debug del codice e l'esecuzione di applicazioni di elaborazione di flussi Apache Flink. Puoi saperne di più sul servizio gestito per Apache Flink Studio e su come iniziare qui: Usa un notebook Studio con Managed Service for Apache Flink.
Connettore EFO
Quando esegui l'aggiornamento del servizio gestito per Apache Flink versione 1.15, assicurati di utilizzare il connettore EFO più recente, ossia qualsiasi versione 1.15.3 o successiva. Per ulteriori informazioni sul motivo, consulta FLINK-29324
Scala Decoupling
A partire da Flink 1.15.2, dovrai raggruppare la libreria standard Scala che hai scelto nelle tue applicazioni Scala.
Kinesis Data Firehose Sink
Quando esegui l'aggiornamento del servizio gestito per Apache Flink versione 1.15, assicurati di utilizzare il Amazon Kinesis Data Firehose Sink
Connettori Kafka
Quando esegui l'aggiornamento del servizio gestito da Amazon per Apache Flink versione 1.15, assicurati di utilizzare le API per connettori Kafka più recenti. Apache Flink è obsoleto FlinkKafkaConsumer
Componenti
| Componente | Versione |
|---|---|
| Java | 11 (consigliata) |
| Scala | 2.12 |
| Servizio gestito per Apache Flink per il runtime di Flink (aws-kinesisanalytics-runtime) | 1.2.0 |
| AWS Connettore Kinesis (flink-connector-kinesis) |
1.15.4 |
| Apache Beam (solo applicazioni Beam) |
2.33.0, con la versione Jackson 2.12.2 |
Problemi noti
Kafka Commit on checkpointing fallisce ripetutamente dopo il riavvio del broker
Esiste un noto problema open source di Apache Flink con il connettore Apache Kafka nella versione 1.15 di Flink causato da un bug critico del client Kafka open source in Kafka Client 2.8.1. Per maggiori informazioni, vedi Kafka Commit on checkpointing fallisce ripetutamente dopo il riavvio di un broker e non è in grado di ripristinare la connessione al coordinatore del gruppo dopo un'eccezione di commit.
Per evitare questo problema, ti consigliamo di utilizzare Apache Flink 1.18 o versione successiva in Amazon Managed Service for Apache Flink.
