Anteriormente, o Amazon Managed Service for Apache Flink (Amazon MSF) era conhecido como Amazon Kinesis Data Analytics for Apache Flink.
As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.
Crie um notebook do Studio
Um notebook Studio contém consultas ou programas escritos em SQL, Python ou Scala que são executados em dados de streaming e retornam resultados analíticos. Você cria seu aplicativo usando o console ou a CLI e fornece consultas para analisar os dados da sua fonte de dados.
Seu aplicativo tem os seguintes componentes:
Uma fonte de dados, como um cluster do Amazon MSK, um fluxo de dados do Kinesis ou um bucket do Amazon S3.
Um AWS Glue banco de dados. Esse banco de dados contém tabelas, que armazenam esquemas e endpoints de origem e destino de seus dados. Para obter mais informações, consulte Trabalhe com AWS Glue.
Código do seu aplicativo Seu código implementa sua consulta ou programa de analytics.
Suas configurações do aplicativo e propriedades de runtime. Para obter informações sobre configurações do aplicativo e propriedades de runtime, consulte os seguintes tópicos no Guia do desenvolvedor para aplicativos Apache Flink:
Paralelismo e escalonamento de aplicativos: você usa a configuração de paralelismo do seu aplicativo para controlar o número de consultas que seu aplicativo pode executar simultaneamente. Suas consultas também podem aproveitar o aumento do paralelismo se tiverem vários caminhos de execução, como nas seguintes circunstâncias:
Ao processar vários fragmentos de um fluxo de dados do Kinesis
Ao particionar dados usando o operador
KeyBy.Ao usar vários operadores de janela
Para obter mais informações sobre o escalonamento de aplicativos, consulte Escalonamento de aplicativos no Managed Service for Apache Flink.
Logs e monitoramento: para obter informações sobre logs e monitoramento de aplicativos, consulte Logs e monitoramento no Amazon Managed Service for Apache Flink para Apache Flink.
-
Seu aplicativo usa pontos de verificação e pontos de salvamento para tolerância a falhas. Os pontos de verificação e os pontos de salvamento não estão habilitados por padrão para notebooks Studio.
Você pode criar seu notebook Studio usando o Console de gerenciamento da AWS ou AWS CLI o.
Ao criar o aplicativo a partir do console, você tem as seguintes opções:
No console do Amazon MSK, selecione seu cluster e, em seguida, selecione Processar dados em tempo real.
No console do Kinesis Data Streams, selecione seu fluxo de dados e, em seguida, na aba Aplicativos, selecione Processar dados em tempo real.
No console Managed Service for Apache Flink, selecione a aba Studio e, em seguida, selecione Criar notebook Studio.
