Amazon Managed Service para Apache Flink Amazon (Amazon MSF) se denominaba anteriormente Amazon Kinesis Data Analytics para Apache Flink.
Ejemplos de Python para Managed Service para Apache Flink
En los siguientes ejemplos se muestra cómo crear aplicaciones escritas en Python.
nota
La mayoría de los ejemplos están diseñados para ejecutarse tanto de manera local, en la máquina de desarrollo y el IDE que prefiera, como en Amazon Managed Service para Apache Flink. En ellos se muestra el sencillo mecanismo que se puede utilizar para transferir los parámetros de la aplicación y cómo configurar la dependencia de manera correcta para ejecutar la aplicación en ambos entornos sin cambios.
Dependencias de proyectos
La mayoría de los ejemplos de PyFlink requieren una o más dependencias como archivos JAR, por ejemplo, para los conectores Flink. Luego, estas dependencias se deben empaquetar con la aplicación cuando se desplieguen en Amazon Managed Service para Apache Flink.
Los siguientes ejemplos ya incluyen las herramientas que le permiten ejecutar la aplicación de manera local para el desarrollo y las pruebas, y para empaquetar correctamente las dependencias necesarias. Esta herramienta requiere el uso de Java JDK11 y Apache Maven. Consulte el archivo README que se incluye en cada ejemplo para obtener instrucciones específicas.
Ejemplos
En este ejemplo se muestra la estructura básica de una aplicación PyFlink que utiliza SQL incrustado en código Python. Este proyecto también proporciona un esquema para cualquier aplicación de PyFlink que incluya dependencias JAR, como conectores. La sección README proporciona una guía detallada sobre cómo ejecutar su aplicación Python de manera local para el desarrollo. El ejemplo también muestra cómo incluir una única dependencia JAR, el conector SQL de Kinesis de este ejemplo, en su aplicación PyFlink.
Ejemplo de código: GettingStarted
En este ejemplo se muestra cómo agregar dependencias de Python a su aplicación PyFlink de la manera más general. Este método funciona para dependencias simples, como Boto3, o para dependencias complejas que contienen bibliotecas de C, como PyArrow.
Ejemplo de código: PythonDependencies
En este ejemplo, se muestran cuatro tipos de agregación de ventanas en SQL incrustado en una aplicación de Python.
-
Ventana deslizante basada en el tiempo de procesamiento
-
Ventana deslizante basada en la hora del evento
-
Ventana de saltos de tamaño constante basada en el tiempo de procesamiento
-
Ventana de saltos de tamaño constante basada en la hora del evento
Ejemplo de código: Windowing
En este ejemplo, se muestra cómo escribir el resultado en Amazon S3 como archivos JSON, mediante SQL integrado en una aplicación de Python. Debe habilitar puntos de control para que el receptor de S3 escriba y rote archivos en Amazon S3.
Ejemplo de código: S3Sink
En este ejemplo se muestra cómo definir una función definida por el usuario, implementarla en Python y utilizarla en código SQL que se ejecuta en una aplicación de Python.
Ejemplo de código: UDF
En este ejemplo se muestra cómo enviar datos a Amazon Data Firehose mediante SQL.
Ejemplo de código: FirehoseSink
