Amazon Managed Service for Apache Flink 1.18 - Managed Service for Apache Flink
Alterações no Amazon Managed Service for Apache Flink com o Apache Flink 1.15 ComponentesProblemas conhecidos

Anteriormente, o Amazon Managed Service for Apache Flink (Amazon MSF) era conhecido como Amazon Kinesis Data Analytics for Apache Flink.

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Amazon Managed Service for Apache Flink 1.18

O Managed Service for Apache Flink Studio agora é compatível com o Apache Flink versão 1.18.1. Conheça os principais novos recursos e alterações introduzidos com o suporte do Apache Flink 1.18.1 ao Managed Service for Apache Flink.

nota

Se você estiver usando uma versão anterior compatível do Apache Flink e quiser atualizar seus aplicativos existentes para o Apache Flink 1.18.1, pode fazer isso usando atualizações de versão do Apache Flink in-place. Com as atualizações de versão in-place, você mantém a rastreabilidade do aplicativo em relação a um único ARN nas versões do Apache Flink, incluindo snapshots, registros, métricas, tags, configurações do Flink e muito mais. Você pode usar esse recurso em um estado RUNNING e READY. Para obter mais informações, consulte Use atualizações de versão in-place para o Apache Flink.

Recursos compatíveis com as referências de documentação do Apache Flink
Recursos compatíveis Description Referência da documentação do Apache Flink
Conector Opensearch Esse conector inclui um coletor que fornece at-least-once garantias. github: Conector Opensearch
Conector Amazon DynamoDB Esse conector inclui um coletor que fornece at-least-once garantias. Coletor Amazon DynamoDB
Conector MongoDB Esse conector inclui uma fonte e um coletor que fornecem at-least-once garantias. Conector MongoDB
Separe o Hive com o planejador Flink

Você pode usar o dialeto Hive diretamente sem uma troca extra de JAR.

 FLINK-26603: Separe o Hive com o planejador Flink
Desative o WAL em Rocks DBWrite BatchWrapper por padrão

Isso habilita tempos de recuperação mais rápidos.

 FLINK-32326: Desative o WAL em Rocks por padrão DBWrite BatchWrapper

Melhore o desempenho da agregação de marcas d'água ao ativar o alinhamento da marca d'água

Melhora o desempenho da agregação de marcas d'água ao ativar o alinhamento da marca d'água e adiciona a referência relacionada.

 FLINK-32524: desempenho da agregação de marcas d'água
Prepare o alinhamento da marca d'água para uso na produção Elimina o risco de sobrecarga de grandes trabalhos JobManager FLINK-32548: prepare o alinhamento da marca d'água

Configurável RateLimitingStratey para coletor assíncrono

RateLimitingStrategy permite que você configure a decisão sobre o que escalar, quando escalar e quanto escalar.

 FLIP-242: Introdução configurável RateLimitingStrategy para Async Sink

Busca em lote das estatísticas de tabelas e colunas

 Melhoria do desempenho de consultas FLIP-247: busca em lote das estatísticas de tabelas e colunas para determinadas partições

Para a documentação da versão do Apache Flink 1.18.1, consulte Anúncio da versão do Apache Flink 1.18.1.

Akka substituído pelo Pekko

O Apache Flink substituiu o Akka pelo Pekko no Apache Flink 1.18. Essa alteração é totalmente compatível no Managed Service for Apache Flink a partir do Apache Flink versão 1.18.1 e posteriores. Não é necessário modificar seus aplicativos como resultado dessa alteração. Para obter mais informações, consulte FLINK-32468: substituir o Akka pelo Pekko.

Support a PyFlink execução do Runtime no Modo Thread

Essa alteração do Apache Flink introduz um novo modo de execução para a estrutura do Pyflink Runtime, o modo de processo. O Modo de Processo agora pode executar funções definidas pelo usuário do Python no mesmo thread, em vez de em um processo separado.

Correções de bugs retroportadas

O Amazon Managed Service for Apache Flink é responsável pelas correções da comunidade do Flink para problemas críticos. Isso significa que o runtime é diferente da versão 1.18.1 do Apache Flink. A seguir está uma lista de correções de bugs em que aplicamos backport:

Correções de bugs retroportadas
Link para o Apache Flink JIRA Description
FLINK-33863 Essa correção soluciona o problema quando uma restauração de estado falha para snapshots compactados.
FLINK-34063 Essa correção soluciona o problema quando os operadores da fonte perdem divisões quando a compactação de snapshots está ativada. O Apache Flink oferece compactação opcional (padrão: desligado) para todos os pontos de verificação e pontos de salvamento. O Apache Flink identificou um bug no Flink 1.18.1 em que o estado do operador não pôde ser restaurado adequadamente quando a compactação de snapshots foi ativada. Isso pode causar perda de dados ou incapacidade de restaurar a partir do ponto de verificação.
FLINK-35069 Essa correção soluciona o problema quando uma tarefa do Flink trava e aciona um cronômetro no final de uma janela.
FLINK-35097 Essa correção soluciona o problema de registros duplicados em um conector Filesystem da API Table com o formato bruto.
FLINK-34379 Essa correção soluciona o problema de um OutOfMemoryError ao ativar a filtragem dinâmica de tabelas.
FLINK-28693 Essa correção soluciona o problema de a API Table não conseguir gerar um gráfico se a marca d'água tiver uma expressão columnBy.
FLINK-35217 Essa correção soluciona o problema de um ponto de verificação corrompido durante um modo específico de falha de trabalho do Flink.
Componente Versão
Java 11 (recomendado)
Scala

Desde a versão 1.15, o Flink é independente do Scala. Para referência, o MSF Flink 1.18 foi verificado em relação ao Scala 3.3 (LTS).
Serviço gerenciado para Apache Flink Flink Runtime () aws-kinesisanalytics-runtime 1.2.0
AWS Kinesis Connector (flink-connector-kinesis) [Fonte] 4.2.0-1.18
AWS Conector Kinesis (flink-connector-kinesis) [Pia] 4.2.0-1.18
Apache Beam (somente aplicativos Beam)

A partir da versão 2.57.0. Para obter mais informações, consulte Compatibilidade de versões do Flink.

Amazon Managed Service para Apache Flink Studio

O Studio utiliza notebooks do Apache Zeppelin para fornecer uma experiência de desenvolvimento de interface única para desenvolvimento, depuração de código e execução de aplicativos de processamento de fluxo do Apache Flink. É necessário atualizar o Flink Interpreter do Zeppelin para permitir o suporte ao Flink 1.18. Este trabalho está agendado com a comunidade do Zeppelin e atualizaremos essas notas quando for concluído. É possível continuar usando o Flink 1.15 com o Amazon Managed Service for Apache Flink Studio. Para obter mais informações, consulte Criação de um notebook do Studio.

Ociosidade incorreta da marca d'água quando a subtarefa está sob backpressure

Há um problema conhecido na geração de marca d'água quando uma subtarefa está sob backpressure, o que foi corrigido a partir do Flink 1.19 e versões posteriores. Isso pode aparecer como um aumento no número de registros atrasados quando um gráfico de trabalho do Flink está sob backpressure. É recomendável atualizar para a versão mais recente do Flink para obter essa correção. Para obter mais informações, consulte Contabilização incorreta do tempo limite de ociosidade da marca d'água quando a subtarefa está sob backpressure/bloqueada.