Amazon Managed Service for Apache Flink 1.20 - Managed Service for Apache Flink
Recursos compatíveis ComponentesProblemas conhecidos

Anteriormente, o Amazon Managed Service for Apache Flink (Amazon MSF) era conhecido como Amazon Kinesis Data Analytics for Apache Flink.

Amazon Managed Service for Apache Flink 1.20

O Managed Service for Apache Flink Studio agora é compatível com o Apache Flink versão 1.20.0. Esta seção apresenta os principais recursos e alterações introduzidos com o suporte do Apache Flink 1.20.0 ao Managed Service for Apache Flink. Espera-se que o Apache Flink 1.20 seja a última versão 1.x e de suporte de longo prazo (LTS) do Flink. Para obter mais informações, consulte FLIP-458: Long-Term Support for the Final Release of Apache Flink 1.x Line (Suporte de longo prazo para a versão final da linha do Apache Flink 1.x).

nota

Se você estiver usando uma versão anterior compatível do Apache Flink e quiser atualizar seus aplicativos existentes para o Apache Flink 1.20.0, pode fazer isso usando atualizações de versão do Apache Flink in-place. Para obter mais informações, consulte Use atualizações de versão in-place para o Apache Flink. Com as atualizações de versão in-place, você mantém a rastreabilidade do aplicativo em relação a um único ARN nas versões do Apache Flink, incluindo snapshots, registros, métricas, tags, configurações do Flink e muito mais.

O Apache Flink 1.20.0 introduz melhorias nas APIs do SQL, nas APIs DataStream e no painel do Flink.

Recursos compatíveis e documentação relacionada
Recursos compatíveis Descrição Referência da documentação do Apache Flink
Adicionar cláusula DISTRIBUTED BY Muitos mecanismos SQL expõem os conceitos de Partitioning, Bucketing ou Clustering. O Flink 1.20 introduz o conceito de Bucketing no Flink. FLIP-376: adicionar cláusula DISTRIBUTED BY
API DataStream: compatível com processamento completo de partição O Flink 1.20 introduz suporte integrado para agregações em fluxos sem chave por meio da API FullPartitionWindow. FLIP-380: suporte ao processamento completo de partições em fluxo de dados sem chave
Mostrar pontuação de distorção de dados no painel do Flink O painel do Flink 1.20 agora mostra informações de distorção de dados. Cada operador na interface do gráfico de tarefas do Flink mostra uma pontuação adicional de distorção de dados. FLIP-418: mostrar pontuação de distorção de dados no painel do Flink

Para obter a documentação da versão 1.20.0 do Apache Flink, consulte Documentação do Apache Flink v1.20.0. Para obter as notas de versão do Flink 1.20, consulte Notas de versão - Flink 1.20

Componentes do Flink 1.20
Componente Versão
Java 11 (recomendado)
Python

3.11

Runtime do Kinesis Data Analytics Flink (aws-kinesisanalytics-runtime) 1.2.0
Conectores Para obter informações sobre os conectores disponíveis, consulte Conectores do Apache Flink.
Apache Beam (somente aplicativos Beam)

Não há um Apache Flink Runner compatível com o Flink 1.20. Para obter mais informações, consulte Compatibilidade de versões do Flink.

Apache Beam

Atualmente, não há um Apache Flink Runner compatível com o Flink 1.20 no Apache Beam. Para obter mais informações, consulte Compatibilidade de versões do Flink.

Amazon Managed Service for Apache Flink Studio

O Amazon Managed Service for Apache Flink Studio utiliza notebooks do Apache Zeppelin para fornecer uma experiência de desenvolvimento de interface única para desenvolvimento, depuração de código e execução de aplicativos de processamento de stream do Apache Flink. É necessário atualizar o Flink Interpreter do Zeppelin para permitir o suporte do Flink 1.20. Este trabalho está agendado com a comunidade Zeppelin. Atualizaremos essas notas quando o trabalho for concluído. É possível continuar usando o Flink 1.15 com o Amazon Managed Service for Apache Flink Studio. Para obter mais informações, consulte Criação de um notebook do Studio.

Correções de bugs retroportadas

O Amazon Managed Service for Apache Flink é responsável pelas correções da comunidade do Flink para problemas críticos. A seguir está uma lista de correções de bugs em que aplicamos backport:

Correções de bugs retroportadas
Link para o Apache Flink JIRA Descrição
FLINK-35886 Essa correção soluciona um problema que causa a contabilização incorreta dos tempos limite de ociosidade da marca d'água quando uma subtarefa está sob backpressure/bloqueada.