Amazon Managed Service para Apache Flink 1.20 - Managed Service para Apache Flink
Características admitidas ComponentesProblemas conocidos

Amazon Managed Service para Apache Flink Amazon (Amazon MSF) se denominaba anteriormente Amazon Kinesis Data Analytics para Apache Flink.

Amazon Managed Service para Apache Flink 1.20

Managed Service para Apache Flink ahora es compatible con Apache Flink versión 1.20.0 Esta sección presenta una introducción a las nuevas características y cambios clave introducidos con Managed Service para Apache Flink 1.20.0. Se espera que Apache Flink 1.20 sea la última versión 1.x y una versión con compatibilidad a largo plazo (LTS) de Flink. Para obtener más información, consulte FLIP-458: Long-Term Support for the Final Release of Apache Flink 1.x Line.

nota

Si se utiliza una versión anterior compatible de Apache Flink y desea actualizar sus aplicaciones actuales a Apache Flink 1.20.0, se puede hacer mediante las actualizaciones de versión integradas de Apache Flink. Para obtener más información, consulte Uso de actualizaciones de versión locales para Apache Flink. Con las actualizaciones de versión locales, se retiene la trazabilidad de las aplicaciones con respecto a un único ARN en todas las versiones de Apache Flink, incluidas las instantáneas, los registros, las métricas, las etiquetas, las configuraciones de Flink y más.

Apache Flink 1.20.0 introduce mejoras en las API de SQL, en las API de DataStream y en el panel de control de Flink.

Características compatibles y documentación relacionada
Características admitidas Descripción Referencia de la documentación de Apache Flink
Agregue la cláusula DISTRIBUTED BY Muchos motores de SQL exponen los conceptos de Partitioning, Bucketing oClustering. Flink 1.20 introduce el concepto de Bucketing en Flink. FLIP-376: Add DISTRIBUTED BY clause
API de DataStream: compatibilidad con la partición completa Flink 1.20 introduce un soporte integrado para las agregaciones en transmisiones sin clave a través de la API de FullPartitionWindow. FLIP-380: Support Full Partition Processing on Non-keyed DataStream
Muestra la puntuación de sesgo de datos en el panel de Flink El panel de Flink 1.20 ahora muestra información sobre el sesgo de datos. Cada operador de la UI del gráfico de tareas de Flink muestra una puntuación adicional de sesgo de datos. FLIP-418: Show data skew score on Flink Dashboard

Para ver la documentación de la versión 1.20.0 de Apache Flink, consulte la documentación de Apache Flink, versión 1.20.0. Para ver las notas de la versión 1.20 de Flink, consulte las notas de la versión: Flink 1.20

Componentes de Flink 1.20
Componente Versión
Java 11 (recomendado)
Python

3.11
El tiempo de ejecución de Flink de Kinesis Data Analytics (aws-kinesisanalytics-runtime) 1.2.0
Connectors Para obtener información sobre los conectores disponibles, consulte los conectores de Apache Flink.
Apache Beam (solo aplicaciones Beam)

No hay un Apache Flink Runner compatible con Flink 1.20. Para obtener más información, consulte Compatibilidad de versiones de Flink.

Apache Beam

No existe un Apache Flink Runner compatible con Flink 1.20 en Apache Beam. Para obtener más información, consulte Compatibilidad de versiones de Flink.

Amazon Managed Service para Apache Flink Studio

Amazon Managed Service para Apache Flink Studio utiliza los cuadernos de Apache Zeppelin para ofrecer una experiencia de desarrollo de interfaz única para desarrollar, depurar código y ejecutar aplicaciones de procesamiento de flujos de Apache Flink. Se requiere una actualización del intérprete Flink de Zeppelin para permitir la compatibilidad con Flink 1.20. Este trabajo está programado con la comunidad de Zeppelin. Actualizaremos estas notas cuando el trabajo esté finalizado. Se puede seguir utilizando Flink 1.15 con Amazon Managed Service para Apache Flink Studio. Para obtener más información, consulte Creación de un cuaderno de Studio.

Correcciones de errores adaptados

Amazon Managed Service para Apache Flink adapta correcciones de la comunidad de Flink para problemas críticos. La siguiente es una lista de las correcciones de errores que hemos adaptado:

Correcciones de errores adaptados
Enlace de JIRA de Apache Flink Descripción
FLINK-35886 Esta solución aborda un problema que provocaba una contabilización incorrecta de los tiempos de inactividad marcados por marcas de agua cuando una subtarea estaba presionada o bloqueada.