Amazon Managed Service for Apache Flink 1.15 - Managed Service for Apache Flink
Alterações no Amazon Managed Service for Apache Flink com o Apache Flink 1.15 ComponentesProblemas conhecidos

Anteriormente, o Amazon Managed Service for Apache Flink (Amazon MSF) era conhecido como Amazon Kinesis Data Analytics for Apache Flink.

Amazon Managed Service for Apache Flink 1.15

O Managed Service for Apache Flink suporta os seguintes novos recursos no Apache 1.15.2

Recurso Descrição Referência ao Apache FLIP
Coletor assíncrono Uma estrutura AWS contribuída para criar destinos assíncronos que permite aos desenvolvedores criar conectores AWS personalizados com menos da metade do esforço anterior. Para obter mais informações, consulte The Generic Asynchronous Base Sink. FLIP-171: Coletor assíncrono.
Coletor do Kinesis Data Firehose AWS contribuiu com um novo coletor Amazon Kinesis Firehose usando a estrutura assíncrona. Coletor Amazon Kinesis Data Firehose.
Interromper com o Savepoint Interromper com Savepoint garante uma operação de parada limpa e, mais importante, oferecendo suporte a semântica de exatamente uma vez para clientes que confiam nela. FLIP-34: Encerrar/suspender o trabalho com o Savepoint.
Desacoplamento do Scala Agora, os usuários podem aproveitar a API Java de qualquer versão do Scala, incluindo o Scala 3. Os clientes precisarão incluir a biblioteca padrão Scala de sua seleção em seus aplicativos Scala. FLIP-28: Objetivo de longo prazo de tornar o Flink Table livre do Scala.
Scala Veja desacoplamento do Scala acima FLIP-28: Objetivo de longo prazo de tornar o Flink Table livre do Scala.
Métricas unificadas de conectores O Flink definiu métricas padrão para trabalhos, tarefas e operadores. O Managed Service for Apache Flink continuará a oferecer suporte às métricas de coletor e de fonte e, na versão 1.15, será introduzido numRestarts paralelamente às métricas fullRestarts de disponibilidade. FLIP-33: Padronizar as métricas do conector e FLIP-179: Expor métricas padronizadas do operador.
Verificação de tarefas concluídas Esse recurso é ativado por padrão no Flink 1.15 e possibilita continuar executando pontos de verificação mesmo que partes do gráfico de trabalho tenham concluído o processamento de todos os dados, o que pode acontecer se ele contiver fontes limitadas (em lote). FLIP-147: Pontos de verificação de suporte após a conclusão das tarefas.

Notebooks Studio

O Managed Service for Apache Flink Studio agora é compatível com o Apache Flink 1.15. O Managed Service for Apache Flink Studio utiliza blocos de anotações do Apache Zeppelin para fornecer uma experiência de desenvolvimento de interface única para desenvolvimento, depuração de código e execução de aplicativos de processamento de stream do Apache Flink. Você pode aprender mais sobre o Managed Service for Apache Flink Studio e os conceitos básicos em. Use um notebook Studio com Managed Service for Apache Flink

Connector EFO

Ao atualizar para o Managed Service for Apache Flink versão 1.15, verifique se você está usando o conector EFO mais recente, ou seja, qualquer versão 1.15.3 ou mais recente. Para obter mais informações sobre o motivo, consulte FLINK-29324.

Desacoplamento do Scala

A partir do Flink 1.15.2, você precisará agrupar a biblioteca padrão Scala de sua seleção em seus aplicativos Scala.

Coletor Kinesis Data Firehose

Ao atualizar para o Managed Service for Apache Flink versão 1.15, certifique-se de usar o coletor Amazon Kinesis Data Firehose mais recente.

Conetores Kafka

Ao atualizar para o Amazon Managed Service for Apache Flink para o Apache Flink versão 1.15, verifique se você está usando as APIs mais recentes do conetor Kafka. O Apache Flink descontinuou o FlinkKafkaConsumer e o FlinkKafkaProducer. Essas APIs para o coletor Kafka não conseguem se restabelecer com o Kafka para o Flink 1.15. Verifique se você está usando o KafkaSource e o KafkaSink.

Componente Versão
Java 11 (recomendado)
Scala 2.12
Managed Service for Apache Flink Runtime (aws-kinesisanalytics-runtime) 1.2.0
AWS Conector Kinesis (flink-connector-kinesis) 1.15.4
Apache Beam (somente aplicativos Beam) 2.33.0, com Jackson versão 2.12.2

O Kafka Commit no ponto de verificação falha repetidamente após a reinicialização do agente

Há um problema conhecido do Apache Flink de código aberto com o conector do Apache Kafka no Flink versão 1.15 causado por um bug crítico do Kafka Client de código aberto no Kafka Client 2.8.1. Para obter mais informações, consulte Kafka Commit no ponto de verificação falha repetidamente após a reinicialização do agente e KafkaConsumer não consegue recuperar a conexão com o coordenador do grupo após a exceção commitOffsetAsync.

Para evitar esse problema, recomendamos usar o Apache Flink 1.18 ou posterior no Amazon Managed Service for Apache Flink.