Realización de análisis interactivo de los datos del flujo - Managed Service para Apache Flink

Amazon Managed Service para Apache Flink Amazon (Amazon MSF) se denominaba anteriormente Amazon Kinesis Data Analytics para Apache Flink.

Realización de análisis interactivo de los datos del flujo

Utiliza un portátil sin servidor con tecnología Apache Zeppelin para interactuar con sus datos de streaming. Su cuaderno puede tener varias notas y cada nota puede tener uno o más párrafos en los que puede escribir el código.

El siguiente ejemplo de consulta SQL muestra cómo recuperar datos de un origen de datos:

%flink.ssql(type=update) select * from stock;

Para ver más ejemplos de consultas SQL de Flink Streaming, consulte Ejemplos y tutoriales para cuadernos de Studio en Managed Service para Apache Flink a continuación y Queries en la documentación de Apache Flink.

Se puede utilizar las consultas SQL de Flink del cuaderno de Studio para consultar los datos de streaming. También puede usar Python (API de tabla) y Scala (API de tabla y de flujo de datos) para escribir programas que consulten sus datos de streaming de forma interactiva. Se puede ver los resultados de sus consultas o programas, actualizarlos en cuestión de segundos y volver a ejecutarlos para ver los resultados actualizados.

Intérpretes de Flink

Usted especifica el idioma que utiliza Managed Service para Apache Flink para ejecutar su aplicación mediante un intérprete. Se puede usar los siguientes intérpretes con Managed Service para Apache Flink:

Nombre Clase Descripción
%flink FlinkInterpreter Creates ExecutionEnvironment/StreamExecutionEnvironment/BatchTableEnvironment/StreamTableEnvironment and provides a Scala environment
%flink.pyflink PyFlinkInterpreter Provides a python environment
%flink.ipyflink IPyFlinkInterpreter Provides an ipython environment
%flink.ssql FlinkStreamSqlInterpreter Provides a stream sql environment
%flink.bsql FlinkBatchSqlInterpreter Provides a batch sql environment

Para obtener más información sobre los intérpretes de Flink, consulte Flink interpreter for Apache Zeppelin.

Si se utiliza %flink.pyflink o %flink.ipyflink como intérpretes, necesitará usar ZeppelinContext para visualizar los resultados en el cuaderno.

Para ver más ejemplos específicos de PyFlink, consulte Query your data streams interactively using Managed Service para Apache Flink Studio and Python.

Variables de entorno de la tabla de Apache Flink

Apache Zeppelin proporciona acceso a los recursos del entorno de la tabla mediante variables de entorno.

Se accede a los recursos del entorno de tablas de Scala con las siguientes variables:

Variable Recurso
senvEntorno de ejecución de Stream
stenvStreamTableEnvironment para el planificador blink

Se puede acceder a los recursos del entorno de tablas de Python con las siguientes variables:

Variable Recurso
s_envEntorno de ejecución de Stream
st_envStreamTableEnvironment para el planificador blink

Para obtener más información sobre el uso de entornos de tablas, consulte Concepts and Common API en la documentación de Apache Flink.