Anteriormente, o Amazon Managed Service for Apache Flink (Amazon MSF) era conhecido como Amazon Kinesis Data Analytics for Apache Flink.
Crie um aplicativo Managed Service for Apache Flink
Este tópico contém informações sobre como criar um aplicativo Managed Service for Apache Flink.
Este tópico contém as seguintes seções:
Compile seu código de aplicativo Managed Service for Apache Flink
Esta seção descreve os componentes que você usa para criar o código do aplicativo Managed Service for Apache Flink.
Recomendamos que você use a versão mais recente suportada do Apache Flink para o seu código do aplicativo. Para obter informações sobre a atualização de aplicativos Managed Service for Apache Flink, consulte Use atualizações de versão in-place para o Apache Flink.
Você cria o código do seu aplicativo usando o Apache Mavenpom.xml para especificar as versões dos componentes que ele usa.
nota
O Managed Service for Apache Flink suporta arquivos JAR de até 512 MB de tamanho. Se você usar um arquivo JAR maior do que isso, seu aplicativo falhará ao iniciar.
Agora, os aplicativos podem usar a API Java de qualquer versão do Scala. Você precisará empacotar a biblioteca padrão Scala de sua escolha em seus aplicativos Scala.
Para obter informações sobre como criar um aplicativo Managed Service for Apache Flink que usa Apache Beam, consulte Use o Apache Beam com aplicativos Managed Service for Apache Flink.
Especifique a versão do Apache Flink do seu aplicativo
Ao usar o runtime do Managed Service for Apache Flink versão 1.1.0 e posterior, você especifica a versão do Apache Flink que seu aplicativo usa ao compilar seu aplicativo. Você fornece a versão do Apache Flink com o parâmetro -Dflink.version. Por exemplo, se estiver usando o Apache Flink 1.19.1, forneça o seguinte:
mvn package -Dflink.version=1.19.1
Para compilar aplicativos com versões mais antigas do Apache Flink, consulte Versões anteriores.
Crie seu aplicativo Managed Service for Apache Flink
Depois de compilar o código do aplicativo, faça o seguinte para criar seu aplicativo Managed Service for Apache Flink (Amazon MSF):
Faça upload do código do aplicativo: faça upload do código do aplicativo em um bucket do Amazon S3. Ao criar o aplicativo, você especifica o nome do bucket do S3 e o nome do objeto do código do aplicativo. Para ver um tutorial que mostra como fazer upload do código do seu aplicativo, consulte o tutorial Tutorial: conceitos básicos no uso da API DataStream no Managed Service for Apache Flink.
Crie seu aplicativo Managed Service for Apache Flink: use um dos métodos a seguir para criar seu aplicativo Amazon MSF:
nota
O Amazon MSF criptografa seu aplicativo por padrão usando Chaves pertencentes à AWS. Você também pode criar seu novo aplicativo usando chaves gerenciadas pelo cliente (CMKs) AWS KMS para criar, possuir e gerenciar suas chaves sozinho. Para obter mais informações sobre CMKs, consulte Gerenciamento de chaves no Amazon Managed Service for Apache Flink.
Crie seu aplicativo Amazon MSF usando o console AWS: é possível criar e configurar seu aplicativo usando o console AWS.
Quando você cria seu aplicativo usando o console, os recursos dependentes do seu aplicativo (como fluxos de logs do CloudWatch, perfis do IAM e políticas do IAM) são criados para você.
Ao criar seu aplicativo usando o console, você especifica qual versão do Apache Flink seu aplicativo usa selecionando-a no menu suspenso na página Managed Service for Apache Flink - Criar aplicativo.
Para obter um tutorial sobre como usar o console para criar um aplicativo, consulte o tutorial Tutorial: conceitos básicos no uso da API DataStream no Managed Service for Apache Flink.
Crie seu aplicativo Amazon MSF usando a CLI AWS: é possível criar e configurar seu aplicativo usando a CLI AWS.
Quando você cria seu aplicativo usando o CLI, você também deve criar os recursos dependentes do seu aplicativo (como fluxos de logs do CloudWatch, perfis do IAM e políticas do IAM) manualmente.
Ao criar seu aplicativo usando o CLI, você especifica qual versão do Apache Flink seu aplicativo usa usando o parâmetro
RuntimeEnvironmentda açãoCreateApplication.
nota
É possível alterar o
RuntimeEnvironmentde um aplicativo existente. Para saber como, consulte Use atualizações de versão in-place para o Apache Flink.
Use chaves gerenciadas pelo cliente.
No Amazon MSF, as chaves gerenciadas pelo cliente (CMKs) são um recurso com o qual você pode criptografar os dados do seu aplicativo com uma chave que você cria, possui e gerencia no AWS Key Management Service (AWS KMS). Para um aplicativo Amazon MSF, isso significa que todos os dados sujeitos a um ponto de verificação ou snapshot do Flink são criptografados com uma CMK que você define para esse aplicativo.
Para usar a CMK com seu aplicativo, primeiro você deve criar seu novo aplicativo e, em seguida, aplicar uma CMK. Para obter mais informações sobre o uso de CMKs, consulte Gerenciamento de chaves no Amazon Managed Service for Apache Flink.
Inicie seu aplicativo Managed Service for Apache Flink
Depois de criar o código do aplicativo, carregá-lo no S3 e criar seu aplicativo Managed Service for Apache Flink, você inicia o aplicativo. O início de um aplicativo Managed Service for Apache Flink normalmente leva vários minutos.
Use um dos métodos a seguir para iniciar o aplicativo:
Inicie seu aplicativo Managed Service for Apache Flink usando o console AWS: você pode executar seu aplicativo escolhendo Executar na página do seu aplicativo no console AWS.
Inicie seu aplicativo Managed Service for Apache Flink usando a API AWS: você pode executar seu aplicativo usando a ação StartApplication.
Verifique seu aplicativo Managed Service for Apache Flink
Você pode verificar se o aplicativo está funcionando das seguintes maneiras:
Usar o CloudWatch Logs: você pode usar o CloudWatch Logs e o CloudWatch Logs Insights para verificar se seu aplicativo está funcionando corretamente. Para obter informações sobre como usar o CloudWatch Logs com seu aplicativo Managed Service for Apache Flink, consulte Registro em log e monitoramento no Amazon Managed Service for Apache Flink.
Uso do CloudWatch Metrics: você pode usar o CloudWatch Metrics para monitorar a atividade do seu aplicativo ou a atividade nos recursos que o aplicativo usa para entrada ou saída (como fluxos do Kinesis, fluxos do Firehose ou buckets do Amazon S3). Para obter mais informações sobre as métricas do CloudWatch, consulte Trabalhando com métricas no Guia do usuário do Amazon CloudWatch.
Monitoramento de locais de saída: se seu aplicativo grava a saída em um local (como um bucket ou banco de dados do Amazon S3), você pode monitorar esse local para dados gravados.
