Exemplos em Python do Managed Service for Apache Flink - Managed Service for Apache Flink

Anteriormente, o Amazon Managed Service for Apache Flink (Amazon MSF) era conhecido como Amazon Kinesis Data Analytics for Apache Flink.

Exemplos em Python do Managed Service for Apache Flink

Os exemplos a seguir demonstram como criar aplicativos escritos em Python.

nota

A maioria dos exemplos foi projetada para ser executada localmente, na máquina de desenvolvimento e no IDE de sua escolha, e no Amazon Managed Service for Apache Flink. Esses exemplos demonstram o mecanismo simples que você pode usar para transmitir os parâmetros do aplicativo e como definir a dependência corretamente para executar o aplicativo nos dois ambientes sem alterações.

Dependências do projeto

A maioria dos exemplos de PyFlink exige uma ou mais dependências como arquivos JAR, por exemplo, para conectores Flink. Essas dependências devem então ser empacotadas com o aplicativo quando implantadas no Amazon Managed Service for Apache Flink.

Os exemplos a seguir já incluem as ferramentas que permitem executar o aplicativo localmente para desenvolvimento e teste, e para empacotar as dependências necessárias corretamente. Essas ferramentas requerem o uso do Java JDK11 e do Apache Maven. Consulte o README contido em cada exemplo para obter as instruções específicas.

Exemplos

Este exemplo demonstra a estrutura básica de um aplicativo PyFlink usando SQL incorporado no código Python. Esse projeto também fornece um esqueleto para qualquer aplicativo PyFlink que inclua dependências JAR, como conectores. A seção README fornece orientação detalhada sobre como executar seu aplicativo Python localmente para desenvolvimento. O exemplo também mostra como incluir uma única dependência JAR, o conector Kinesis SQL neste exemplo, em seu aplicativo PyFlink.

Exemplo de código: GettingStarted

Este exemplo mostra como adicionar dependências do Python ao aplicativo PyFlink da maneira mais geral. Esse método funciona para dependências simples, como Boto3, ou dependências complexas contendo bibliotecas C, como PyArrow.

Exemplo de código: PythonDependencies

Este exemplo demonstra quatro tipos de agregação de janelas no SQL incorporado em um aplicativo Python.

  1. Janela deslizante com base no tempo de processamento

  2. Janela deslizante com base na hora do evento

  3. Janela em cascata com base no tempo de processamento

  4. Janela em cascata com base na hora do evento

Exemplo de código: Windowing

Este exemplo mostra como gravar a saída no Amazon S3 como arquivos JSON, usando SQL incorporado em um aplicativo Python. Você deve ativar o ponto de verificação para o coletor do S3 gravar e alternar arquivos no Amazon S3.

Exemplo de código: S3Sink

Este exemplo demonstra como configurar uma função definida pelo usuário, implementá-la em Python e usá-la no código SQL executado em um aplicativo Python.

Exemplo de código: UDF

Este exemplo demonstra como enviar dados para o Amazon Data Firehose usando SQL.

Exemplo de código: FirehoseSink