Crie e execute um aplicativo Managed Service for Apache Flink

Para baixar o código de aplicativo Java

1. Duplique o repositório remoto usando o seguinte comando:

   git clone https://github.com/aws-samples/amazon-managed-service-for-apache-flink-examples.git

2. Navegue até o diretório ./java/GettingStartedTable.

Para navegar no bucket do S3 e observar o arquivo gravado pelo aplicativo

1. 1. Abra o console do Amazon S3 em https://console.aws.amazon.com/s3/.

2. Escolha o bucket que você criou anteriormente.

3. Navegue até o caminho output e, em seguida, até as pastas de data e hora que correspondem à hora atual no fuso horário UTC.

4. Atualize periodicamente para observar novos arquivos aparecendo a cada 5 segundos.

5. Selecione e baixe um arquivo para observar o conteúdo.

   nota

   Por padrão, os arquivos não têm extensões. O conteúdo é formatado como JSON. Você pode abrir os arquivos com qualquer editor de texto para inspecionar o conteúdo.

Para fazer upload do código do aplicativo

1. Abra o console do Amazon S3 em https://console.aws.amazon.com/s3/.

2. Selecione o bucket que você criou anteriormente para o código do aplicativo.

3. Escolha o campo Upload.

4. Escolha Adicionar arquivos.

5. Navegue até o arquivo JAR gerado na seção anterior: target/amazon-msf-java-table-app-1.0.jar.

6. Escolha Fazer upload sem alterar nenhuma outra configuração.

   Atenção

   Selecione o arquivo JAR correto em <repo-dir>/java/GettingStarted/target/amazon/msf-java-table-app-1.0.jar.

   O diretório de destino também contém outros arquivos JAR que você não precisa carregar.

1. Faça login no e abra Console de gerenciamento da AWS o console Amazon MSF em https://console.aws.amazon.com /flink.

2. Verifique se a região correta está selecionada: Leste dos EUA (Norte da Virgínia) us-east-1.

3. No menu à direita, escolha aplicativos Apache Flink e, em seguida, escolha Criar aplicativo de transmissão. Como alternativa, escolha Criar aplicativo de transmissão na seção Introdução da página inicial.

4. Na página Criar aplicativo de transmissão, faça o seguinte:

   • Em Escolha um método para configurar o aplicativo de processamento de fluxo, escolha Criar do zero.

   • Para Configuração do Apache Flink, versão do aplicativo Flink, escolha Apache Flink 1.19.

   • Na seção Configuração do aplicativo, conclua as seguintes etapas:

     • Em Nome do aplicativo, insira MyApplication.

     • Em Descrição, insira My Java Table API test app.

     • Para Acesso aos recursos do aplicativo, escolha Create/update IAM role kinesis-analytics-MyApplication-us -east-1 com as políticas necessárias.

   • Em Modelo para configurações do aplicativo, faça o seguinte:

     • Em Modelos, selecione Desenvolvimento.

5. Escolha Criar aplicativo de transmissão.

Editar a política do IAM para adicionar permissões do bucket do S3

1. Abra o console do IAM em https://console.aws.amazon.com/iam/.

2. Selecione Políticas. Selecione a política kinesis-analytics-service-MyApplication-us-east-1 que o console criou na seção anterior.

3. Escolha a guia Edit (Editar) e escolha a guia JSON.

4. Adicione a seção destacada do exemplo de política a seguir à política. Substitua o ID da conta de exemplo (012345678901) pelo ID da sua conta e <bucket-name> pelo nome do bucket do S3 que você criou.

   JSON

   {
       "Version":"2012-10-17",		 	 	 
       "Statement": [
           {
               "Sid": "ReadCode",
               "Effect": "Allow",
               "Action": [
                   "s3:GetObject",
                   "s3:GetObjectVersion"
               ],
               "Resource": [
                   "arn:aws:s3:::amzn-s3-demo-bucket/kinesis-analytics-placeholder-s3-object"
               ]
           },
           {
               "Sid": "ListCloudwatchLogGroups",
               "Effect": "Allow",
               "Action": [
                   "logs:DescribeLogGroups"
               ],
               "Resource": [
                   "arn:aws:logs:us-east-1:123456789012:*"
               ]
           },
           {
               "Sid": "ListCloudwatchLogStreams",
               "Effect": "Allow",
               "Action": [
                   "logs:DescribeLogStreams"
               ],
               "Resource": [
                   "arn:aws:logs:us-east-1:123456789012:log-group:/aws/kinesis-analytics/MyApplication:log-stream:*"
               ]
           },
           {
               "Sid": "PutCloudwatchLogs",
               "Effect": "Allow",
               "Action": [
                   "logs:PutLogEvents"
               ],
               "Resource": [
                   "arn:aws:logs:us-east-1:123456789012:log-group:/aws/kinesis-analytics/MyApplication:log-stream:kinesis-analytics-log-stream"
               ]
           }, 
           {
               "Sid": "WriteOutputBucket", 
               "Effect": "Allow", 
               "Action": "s3:*", 
               "Resource": [
                   "arn:aws:s3:::amzn-s3-demo-bucket2"
               ]
          }
       ]
   }
   

5. Escolha Próximo e, em seguida, escolha Salvar alterações.

Configurar o aplicativo

1. Na MyApplicationpágina, escolha Configurar.

2. Na seção Localização do código do aplicativo, selecione Configurar.

   • Para o bucket do Amazon S3, selecione o bucket criado anteriormente para o código do aplicativo. Escolha Procurar, selecione o bucket correto e, em seguida, selecione Escolher. Não clique no nome do bucket.

   • Em Caminho do objeto do Amazon S3, insira amazon-msf-java-table-app-1.0.jar.

3. Em Permissões de acesso, selecione Criar/atualizar o perfil do IAM kinesis-analytics-MyApplication-us-east-1.

4. Na seção Propriedades do runtime, adicione as propriedades a seguir.

5. Selecione Adicionar novo item e adicione cada um dos seguintes parâmetros:

   ID do grupo	Chave	Valor
   bucket	name	your-bucket-name
   bucket	path	output

6. Não modifique outras configurações.

7. Escolha Salvar alterações.

Executar o aplicativo

1. Volte para a página do console no Amazon Managed Service para Apache Flink e escolha. MyApplication

2. Escolha Executar para iniciar o aplicativo.

3. Na Configuração de restauração do aplicativo, escolha Executar com o snapshot mais recente.

4. Escolha Executar.

5. O Status nos Detalhes do aplicativo muda de Ready para Starting e depois para Running quando o aplicativo é iniciado.

Para abrir o painel e visualizar o trabalho

1. Selecione Abrir painel do Apache Flink. O painel é aberto em uma nova página.

2. Na lista Trabalhos em execução, escolha o único trabalho que você pode ver.

   nota

   Se você definiu as propriedades do runtime ou editou as políticas do IAM incorretamente, o status do aplicativo pode mudar para Running, mas o painel do Flink mostra o trabalho sendo reiniciado continuamente. Esse é um cenário de falha comum quando o aplicativo estiver configurado incorretamente ou não tiver permissões para acessar os recursos externos.

   Quando isso acontecer, verifique a guia Exceções no painel do Flink para investigar a causa do problema.

Para visualizar as métricas

1. Ao lado do botão Atualizar, selecione 10 segundos na lista suspensa.

2. Quando o aplicativo está em execução e íntegro, é possível ver a métrica de tempo de atividade aumentando continuamente.

3. A métrica fullrestarts deve ser zero. Se estiver aumentando, a configuração pode ter problemas. Consulte a guia Exceções no painel do Flink para investigar o problema.

4. A métrica Número de pontos de verificação com falha deve ser zero em um aplicativo íntegro.

   nota

   Esse painel exibe um conjunto fixo de métricas com uma granularidade de 5 minutos. Você pode criar um painel de aplicativos personalizado com qualquer métrica no CloudWatch painel.

Como interromper o aplicativo

1. Na lista suspensa Ação, escolha Interromper.

2. O Status nos Detalhes do aplicativo muda de Running para Stopping e depois para Ready quando o aplicativo é completamente interrompido.

   nota

   Não se esqueça também de parar de enviar dados para o fluxo de entrada a partir do script Python ou do Kinesis Data Generator.