Informações sobre a versão anterior do Managed Service for Apache Flink

1. Certifique-se de ter o Apache Maven instalado e que sua variável de ambiente JAVA_HOME aponte para um JDK em vez de um JRE. Você pode testar a instalação do Apache Maven com o seguinte comando:

   mvn -version

2. Baixe o código-fonte do Apache Flink versão 1.8.2:

   wget https://archive.apache.org/dist/flink/flink-1.8.2/flink-1.8.2-src.tgz

3. Descompacte o código-fonte do Apache Flink:

   tar -xvf flink-1.8.2-src.tgz

4. Vá para o diretório do código-fonte do Apache Flink:

   cd flink-1.8.2

5. Compile e instale o Apache Flink:

   mvn clean install -Pinclude-kinesis -DskipTests

   nota

   Se você estiver compilando o Flink no Microsoft Windows, precisará adicionar o parâmetro -Drat.skip=true.

Como cadastrar uma Conta da AWS

1. Abra https://portal.aws.amazon.com/billing/signup.

2. Siga as instruções online.

   Parte do procedimento de inscrição envolve receber uma chamada telefônica ou uma mensagem de texto e inserir um código de verificação pelo teclado do telefone.

   Quando você se inscreve para uma Conta da AWS, um Usuário raiz da conta da AWS é criado. O usuário-raiz tem acesso a todos os Serviços da AWS e recursos na conta. Como prática recomendada de segurança, atribua o acesso administrativo a um usuário e use somente o usuário-raiz para executar tarefas que exigem acesso de usuário-raiz.

Proteger o Usuário raiz da conta da AWS

1. Faça login no Console de gerenciamento da AWS como o proprietário da conta ao escolher a opção Usuário-raiz e inserir o endereço de e-mail da Conta da AWS. Na próxima página, insira a senha.

   Para obter ajuda ao fazer login usando o usuário-raiz, consulte Fazer login como usuário-raiz no Guia do usuário do Início de Sessão da AWS.

2. Habilite a autenticação multifator (MFA) para o usuário-raiz.

   Para obter instruções, consulte Habilitar um dispositivo MFA virtual para sua Conta da AWS de usuário-raiz (console) no Guia do usuário do IAM.

Criar um usuário com acesso administrativo

1. Habilita o Centro de Identidade do IAM.

   Para obter instruções, consulte Habilitar o AWS IAM Identity Center no Guia do usuário do AWS IAM Identity Center.

2. No Centro de Identidade do IAM, conceda o acesso administrativo a um usuário.

   Para obter um tutorial sobre como usar o Diretório do Centro de Identidade do IAM como a fonte de identidade, consulte Configurar o acesso dos usuários com o Diretório do Centro de Identidade do IAM padrão no Guia do usuário do AWS IAM Identity Center.

Iniciar sessão como o usuário com acesso administrativo

• Para fazer login com o seu usuário do Centro de Identidade do IAM, use o URL de login enviado ao seu endereço de e-mail quando o usuário do Centro de Identidade do IAM foi criado.

  Para obter ajuda para fazer login usando um usuário do Centro de Identidade do IAM, consulte Fazer login no portal de acesso da AWS, no Guia do usuário do Início de Sessão da AWS.

Atribuir acesso a usuários adicionais

1. No Centro de Identidade do IAM, crie um conjunto de permissões que siga as práticas recomendadas de aplicação de permissões com privilégio mínimo.

   Para obter instruções, consulte Criar um conjunto de permissões no Guia do usuário do AWS IAM Identity Center.

2. Atribua usuários a um grupo e, em seguida, atribua o acesso de autenticação única ao grupo.

   Para obter instruções, consulte Adicionar grupos no Guia do usuário do AWS IAM Identity Center.

Para configurar a AWS CLI

1. Faça download e configure a AWS CLI. Para obter instruções, consulte os seguintes tópicos no Guia do usuário do AWS Command Line Interface:

   • Instalar a AWS Command Line Interface

   • Configurando o AWS CLI

2. Adicione um perfil nomeado para o usuário administrador no arquivo AWS CLI config . É possível usar esse perfil ao executar os comandos da AWS CLI. Para obter mais informações sobre perfis nomeados, consulte Perfis nomeados no Guia do usuário da AWS Command Line Interface.

   [profile adminuser]
   aws_access_key_id = adminuser access key ID
   aws_secret_access_key = adminuser secret access key
   region = aws-region

   Para obter uma lista das regiões da AWS disponíveis, consulte Regiões e endpoints no Referência geral da Amazon Web Services.

   nota

   O código e os comandos de exemplo neste tutorial usam a região Oeste dos EUA (Oregon). Para usar uma região diferente, altere a região no código e nos comandos deste tutorial para a região que você deseja usar.

3. Verifique a configuração digitando o seguinte comando no prompt de comando:

   aws help

Como criar os fluxos de dados (AWS CLI)

1. Para criar o primeiro fluxo (ExampleInputStream), use o comando create-stream AWS CLI do Amazon Kinesis a seguir.

   $ aws kinesis create-stream \
   --stream-name ExampleInputStream \
   --shard-count 1 \
   --region us-west-2 \
   --profile adminuser

2. Para criar o segundo fluxo que o aplicativo usa para gravar a saída, execute o mesmo comando, alterando o nome da transmissão para ExampleOutputStream.

   $ aws kinesis create-stream \
   --stream-name ExampleOutputStream \
   --shard-count 1 \
   --region us-west-2 \
   --profile adminuser

1. Crie um arquivo denominado stock.py com o conteúdo a seguir:

   
       import datetime
       import json
       import random
       import boto3
       STREAM_NAME = "ExampleInputStream"
       def get_data():
           return {
               'event_time': datetime.datetime.now().isoformat(),
               'ticker': random.choice(['AAPL', 'AMZN', 'MSFT', 'INTC', 'TBV']),
               'price': round(random.random() * 100, 2)}
       def generate(stream_name, kinesis_client):
           while True:
               data = get_data()
               print(data)
               kinesis_client.put_record(
                   StreamName=stream_name,
                   Data=json.dumps(data),
                   PartitionKey="partitionkey")
       if __name__ == '__main__':
           generate(STREAM_NAME, boto3.client('kinesis', region_name='us-west-2')) 

2. Mais adiante neste tutorial, será executado o script stock.py para enviar dados para o aplicativo.

   $ python stock.py

1. Duplique o repositório remoto usando o seguinte comando:

   git clone https://github.com/aws-samples/amazon-kinesis-data-analytics-examples.git

2. Navegue até o diretório amazon-kinesis-data-analytics-java-examples/GettingStarted.

Para compilar o código do aplicativo

1. Para usar o seu código de aplicativo, compile-o e empacote-o em um arquivo JAR. Há duas formas de compilar e empacotar o código:

   • Use a ferramenta de linha de comando do Maven. Crie seu arquivo JAR executando o seguinte comando no diretório que contém o arquivo pom.xml:

     mvn package -Dflink.version=1.13.2

   • Use o ambiente de desenvolvimento. Consulte a documentação de seu ambiente de desenvolvimento para obter mais detalhes.

     nota

     O código-fonte fornecido depende de bibliotecas do Java 11.

   É possível carregar o pacote como um arquivo JAR, ou pode compactar o pacote e carregá-lo como um arquivo ZIP. Se o aplicativo for criado usando a AWS CLI, é necessário especificar o tipo de conteúdo de código (JAR ou ZIP).

2. Se houver erros durante a compilação, verifique se sua variável de ambiente JAVA_HOME está definida corretamente.

Para fazer upload do código do aplicativo

1. Abra o console do Amazon S3, em https://console.aws.amazon.com/s3/.

2. Selecione Criar bucket.

3. Insira ka-app-code-<username> no campo Nome do bucket. Adicione um sufixo para o nome do bucket, como o nome do usuário, para torná-lo globalmente exclusivo. Selecione Próximo.

4. Na etapa Configurar opções, mantenha as configurações como estão e selecione Próximo.

5. Na etapa Definir permissões, mantenha as configurações como estão e selecione Próximo.

6. Selecione Criar bucket.

7. No console do Amazon S3, selecione o bucket ka-app-code-<username> e selecione Fazer upload.

8. Na etapa Selecionar arquivos, selecione Adicionar arquivos. Navegue até o arquivo aws-kinesis-analytics-java-apps-1.0.jar, criado na etapa anterior. Selecione Próximo.

9. Você não precisa alterar nenhuma das configurações para o objeto, em seguida, selecione Upload.

1. Faça login no Console de gerenciamento da AWS e abra o console do Amazon MSF em https://console.aws.amazon.com/flink.

2. No painel do Managed Service for Apache Flink, selecione Criar aplicativo de analytics.

3. Na página Managed Service for Apache Flink - Criar aplicativo, forneça os detalhes do aplicativo da seguinte forma:

   • Em Nome do aplicativo, insira MyApplication.

   • Em Descrição, insira My java test app.

   • Em Runtime, selecione Apache Flink.

   • Deixe o menu suspenso de versão como Apache Flink versão 1.13.

4. Em Permissões de acesso, selecione Criar/atualizar o perfil do IAM kinesis-analytics-MyApplication-us-west-2.

5. Selecione Create application (Criar aplicativo).

1. Abra o console do IAM em https://console.aws.amazon.com/iam/.

2. Selecione Políticas. Selecione a política kinesis-analytics-service-MyApplication-us-west-2 que o console criou na seção anterior.

3. Na página Resumo, selecione Editar política. Selecione a guia JSON.

4. Adicione a seção destacada do exemplo de política a seguir à política. Substitua os exemplos de IDs de conta (012345678901) pelo ID da conta.

   JSON

   {
       "Version":"2012-10-17",		 	 	 
       "Statement": [
           {
               "Sid": "ReadCode",
               "Effect": "Allow",
               "Action": [
                   "s3:GetObject",
                   "s3:GetObjectVersion"
               ],
               "Resource": [
                   "arn:aws:s3:::ka-app-code-username/aws-kinesis-analytics-java-apps-1.0.jar"
               ]
           },
           {
               "Sid": "DescribeLogGroups",
               "Effect": "Allow",
               "Action": [
                   "logs:DescribeLogGroups"
               ],
               "Resource": [
                   "arn:aws:logs:us-west-2:012345678901:log-group:*"
               ]
           },
           {
               "Sid": "DescribeLogStreams",
               "Effect": "Allow",
               "Action": [
                   "logs:DescribeLogStreams"
               ],
               "Resource": [
                   "arn:aws:logs:us-west-2:012345678901:log-group:/aws/kinesis-analytics/MyApplication:log-stream:*"
               ]
           },
           {
               "Sid": "PutLogEvents",
               "Effect": "Allow",
               "Action": [
                   "logs:PutLogEvents"
               ],
               "Resource": [
                   "arn:aws:logs:us-west-2:012345678901:log-group:/aws/kinesis-analytics/MyApplication:log-stream:kinesis-analytics-log-stream"
               ]
           },
           {
               "Sid": "ReadInputStream",
               "Effect": "Allow",
               "Action": "kinesis:*",
               "Resource": "arn:aws:kinesis:us-west-2:012345678901:stream/ExampleInputStream"
           },
           {
               "Sid": "WriteOutputStream",
               "Effect": "Allow",
               "Action": "kinesis:*",
               "Resource": "arn:aws:kinesis:us-west-2:012345678901:stream/ExampleOutputStream"
           }
       ]
   }
   

1. Na página MyApplication, selecione Configure (Configurar).

2. Na página Configurar aplicativo, forneça o Local do código:

   • Em Bucket do Amazon S3, insira ka-app-code-<username>.

   • Em Caminho do objeto do Amazon S3, insira aws-kinesis-analytics-java-apps-1.0.jar.

3. Na seção Acesso aos recursos do aplicativo, em Permissões de acesso, selecione Criar/atualizar o perfil do IAM kinesis-analytics-MyApplication-us-west-2.

4. Insira o seguinte:

   ID do grupo	Chave	Valor
   ProducerConfigProperties	flink.inputstream.initpos	LATEST
   ProducerConfigProperties	aws.region	us-west-2
   ProducerConfigProperties	AggregationEnabled	false

5. Em Monitoramento, confirme se Nível de monitoramento de métricas está definido como Aplicativo.

6. Em Registro em log do CloudWatch, marque a caixa de seleção Habilitar.

7. Selecione Atualizar.

Para criar uma perfil do IAM

1. Abra o console do IAM em https://console.aws.amazon.com/iam/.

2. No painel de navegação, selecione Funções e Criar função.

3. Em Selecionar tipo de identidade de confiança, selecione Serviço da AWS. Em Selecionar o serviço que usará esta função, selecione Kinesis. Em Selecionar seu caso de uso, selecione Kinesis Analytics.

   Selecione Next: Permissions (Próximo: permissões).

4. Na página Attach permissions policies, selecione Next: Review. É possível anexar políticas de permissões depois de criar a função.

5. Na página Criar função, insira MF-stream-rw-role para o Nome da função. Selecione Criar função.

   Foi criado um perfil do IAM chamado MF-stream-rw-role. Em seguida, atualize as políticas de confiança e de permissões para a função.

6. Anexe a política de permissões à função.

   nota

   Para este exercício, o Managed Service for Apache Flink assume esse perfil para ler dados de um fluxo de dados do Kinesis (origem) e gravar a saída em outro fluxo de dados do Kinesis. Depois, anexe a política criada na etapa anterior, Criar uma política de permissões.

   1. Na página Resumo, selecione a guia Permissões.

   2. Selecione Attach Policies.

   3. Na caixa de pesquisa, insira AKReadSourceStreamWriteSinkStream (a política criada na seção anterior).

   4. Selecione a política AKReadSourceStreamWriteSinkStream e selecione Anexar política.

1. Salve o seguinte código JSON em um arquivo chamado create_request.json. Substitua o ARN da função de amostra pelo ARN da função criada anteriormente. Substitua o sufixo do ARN do bucket (username) pelo sufixo selecionado na seção anterior. Substitua o ID da conta de exemplo (012345678901) na função de execução do serviço pelo ID da conta.

   {
       "ApplicationName": "test",
       "ApplicationDescription": "my java test app",
       "RuntimeEnvironment": "FLINK-1_15",
       "ServiceExecutionRole": "arn:aws:iam::012345678901:role/MF-stream-rw-role",
       "ApplicationConfiguration": {
           "ApplicationCodeConfiguration": {
               "CodeContent": {
                   "S3ContentLocation": {
                       "BucketARN": "arn:aws:s3:::ka-app-code-username",
                       "FileKey": "aws-kinesis-analytics-java-apps-1.0.jar"
                   }
               },
               "CodeContentType": "ZIPFILE"
           },
           "EnvironmentProperties":  { 
            "PropertyGroups": [ 
               { 
                  "PropertyGroupId": "ProducerConfigProperties",
                  "PropertyMap" : {
                       "flink.stream.initpos" : "LATEST",
                       "aws.region" : "us-west-2",
                       "AggregationEnabled" : "false"
                  }
               },
               { 
                  "PropertyGroupId": "ConsumerConfigProperties",
                  "PropertyMap" : {
                       "aws.region" : "us-west-2"
                  }
               }
            ]
         }
       }
   }
   
   

2. Execute a ação CreateApplication com a solicitação anterior para criar o aplicativo:

   aws kinesisanalyticsv2 create-application --cli-input-json file://create_request.json

Para iniciar o aplicativo

1. Salve o seguinte código JSON em um arquivo chamado start_request.json.

   {
       "ApplicationName": "test",
       "RunConfiguration": {
           "ApplicationRestoreConfiguration": { 
            "ApplicationRestoreType": "RESTORE_FROM_LATEST_SNAPSHOT"
            }
       }
   }
   

2. Execute a ação StartApplication com a solicitação anterior para iniciar o aplicativo:

   aws kinesisanalyticsv2 start-application --cli-input-json file://start_request.json

Como interromper o aplicativo

1. Salve o seguinte código JSON em um arquivo chamado stop_request.json.

   {
      "ApplicationName": "test"
   }
   

2. Execute a ação StopApplication com a seguinte solicitação para interromper o aplicativo:

   aws kinesisanalyticsv2 stop-application --cli-input-json file://stop_request.json

Para atualizar propriedades de ambiente para o aplicativo

1. Salve o seguinte código JSON em um arquivo chamado update_properties_request.json.

   {"ApplicationName": "test",
      "CurrentApplicationVersionId": 1,
      "ApplicationConfigurationUpdate": { 
         "EnvironmentPropertyUpdates": { 
            "PropertyGroups": [ 
               { 
                  "PropertyGroupId": "ProducerConfigProperties",
                  "PropertyMap" : {
                       "flink.stream.initpos" : "LATEST",
                       "aws.region" : "us-west-2",
                       "AggregationEnabled" : "false"
                  }
               },
               { 
                  "PropertyGroupId": "ConsumerConfigProperties",
                  "PropertyMap" : {
                       "aws.region" : "us-west-2"
                  }
               }
            ]
         }
      }
   }
   

2. Execute a ação UpdateApplication com a solicitação anterior para atualizar as propriedades do ambiente:

   aws kinesisanalyticsv2 update-application --cli-input-json file://update_properties_request.json

1. Abra o console do Kinesis em https://console.aws.amazon.com/kinesis.

2. No painel do Managed Service for Apache Flink, selecione MyApplication.

3. Na página do aplicativo, selecione Excluir e, em seguida, confirme a exclusão.

1. Faça login no Console de gerenciamento da AWS e abra o console do Amazon MSF em https://console.aws.amazon.com/flink.

2. No painel Kinesis Data Streams, selecione ExampleInputStream.

3. Na página ExampleInputStream, Selecione Excluir Kinesis Stream e, em seguida, confirme a exclusão.

4. Na página Kinesis streams, selecione ExampleOutputStream, selecione Ações, selecione Excluir e, em seguida, confirme a exclusão.

1. Abra o console do Amazon S3, em https://console.aws.amazon.com/s3/.

2. Selecione o bucket ka-app-code-<username>.

3. Selecione Excluir e, em seguida, insira o nome do bucket para confirmar a exclusão.

1. Abra o console do IAM em https://console.aws.amazon.com/iam/.

2. Na barra de navegação, selecione Políticas.

3. No controle do filtro, insira kinesis.

4. Selecione a política kinesis-analytics-service-MyApplication-us-west-2.

5. Selecione Ações da política e, em seguida, Excluir.

6. Na barra de navegação, selecione Roles (Funções).

7. Selecione a função kinesis-analytics-MyApplication-us-west-2.

8. Selecione Excluir função e, em seguida, confirme a exclusão.

1. Abra o console do CloudWatch em https://console.aws.amazon.com/cloudwatch/.

2. No painel de navegação, selecione Logs.

3. Selecione o grupo de logs /aws/kinesis-analytics/MyApplication.

4. Selecione Excluir grupo de logs e, em seguida, confirme a exclusão.

Como cadastrar uma Conta da AWS

1. Abra https://portal.aws.amazon.com/billing/signup.

2. Siga as instruções online.

   Parte do procedimento de inscrição envolve receber uma chamada telefônica ou uma mensagem de texto e inserir um código de verificação pelo teclado do telefone.

   Quando você se inscreve para uma Conta da AWS, um Usuário raiz da conta da AWS é criado. O usuário-raiz tem acesso a todos os Serviços da AWS e recursos na conta. Como prática recomendada de segurança, atribua o acesso administrativo a um usuário e use somente o usuário-raiz para executar tarefas que exigem acesso de usuário-raiz.

Proteger o Usuário raiz da conta da AWS

1. Faça login no Console de gerenciamento da AWS como o proprietário da conta ao escolher a opção Usuário-raiz e inserir o endereço de e-mail da Conta da AWS. Na próxima página, insira a senha.

   Para obter ajuda ao fazer login usando o usuário-raiz, consulte Fazer login como usuário-raiz no Guia do usuário do Início de Sessão da AWS.

2. Habilite a autenticação multifator (MFA) para o usuário-raiz.

   Para obter instruções, consulte Habilitar um dispositivo MFA virtual para sua Conta da AWS de usuário-raiz (console) no Guia do usuário do IAM.

Criar um usuário com acesso administrativo

1. Habilita o Centro de Identidade do IAM.

   Para obter instruções, consulte Habilitar o AWS IAM Identity Center no Guia do usuário do AWS IAM Identity Center.

2. No Centro de Identidade do IAM, conceda o acesso administrativo a um usuário.

   Para obter um tutorial sobre como usar o Diretório do Centro de Identidade do IAM como a fonte de identidade, consulte Configurar o acesso dos usuários com o Diretório do Centro de Identidade do IAM padrão no Guia do usuário do AWS IAM Identity Center.

Iniciar sessão como o usuário com acesso administrativo

• Para fazer login com o seu usuário do Centro de Identidade do IAM, use o URL de login enviado ao seu endereço de e-mail quando o usuário do Centro de Identidade do IAM foi criado.

  Para obter ajuda para fazer login usando um usuário do Centro de Identidade do IAM, consulte Fazer login no portal de acesso da AWS, no Guia do usuário do Início de Sessão da AWS.

Atribuir acesso a usuários adicionais

1. No Centro de Identidade do IAM, crie um conjunto de permissões que siga as práticas recomendadas de aplicação de permissões com privilégio mínimo.

   Para obter instruções, consulte Criar um conjunto de permissões no Guia do usuário do AWS IAM Identity Center.

2. Atribua usuários a um grupo e, em seguida, atribua o acesso de autenticação única ao grupo.

   Para obter instruções, consulte Adicionar grupos no Guia do usuário do AWS IAM Identity Center.

Para configurar a AWS CLI

1. Faça download e configure a AWS CLI. Para obter instruções, consulte os seguintes tópicos no Guia do usuário do AWS Command Line Interface:

   • Instalar a AWS Command Line Interface

   • Configurando o AWS CLI

2. Adicione um perfil nomeado para o usuário administrador no arquivo AWS CLI config . É possível usar esse perfil ao executar os comandos da AWS CLI. Para obter mais informações sobre perfis nomeados, consulte Perfis nomeados no Guia do usuário da AWS Command Line Interface.

   [profile adminuser]
   aws_access_key_id = adminuser access key ID
   aws_secret_access_key = adminuser secret access key
   region = aws-region

   Para obter uma lista das regiões da AWS disponíveis, consulte Regiões e endpoints no Referência geral da Amazon Web Services.

   nota

   O código e os comandos de exemplo neste tutorial usam a região Oeste dos EUA (Oregon). Para usar uma região diferente, altere a região no código e nos comandos deste tutorial para a região que você deseja usar.

3. Verifique a configuração digitando o seguinte comando no prompt de comando:

   aws help

Como criar os fluxos de dados (AWS CLI)

1. Para criar o primeiro fluxo (ExampleInputStream), use o comando create-stream AWS CLI do Amazon Kinesis a seguir.

   $ aws kinesis create-stream \
   --stream-name ExampleInputStream \
   --shard-count 1 \
   --region us-west-2 \
   --profile adminuser

2. Para criar o segundo fluxo que o aplicativo usa para gravar a saída, execute o mesmo comando, alterando o nome da transmissão para ExampleOutputStream.

   $ aws kinesis create-stream \
   --stream-name ExampleOutputStream \
   --shard-count 1 \
   --region us-west-2 \
   --profile adminuser

1. Crie um arquivo denominado stock.py com o conteúdo a seguir:

    
   import datetime
   import json
   import random
   import boto3
   
   STREAM_NAME = "ExampleInputStream"
   
   
   def get_data():
       return {
           "EVENT_TIME": datetime.datetime.now().isoformat(),
           "TICKER": random.choice(["AAPL", "AMZN", "MSFT", "INTC", "TBV"]),
           "PRICE": round(random.random() * 100, 2),
       }
   
   
   def generate(stream_name, kinesis_client):
       while True:
           data = get_data()
           print(data)
           kinesis_client.put_record(
               StreamName=stream_name, Data=json.dumps(data), PartitionKey="partitionkey"
           )
   
   
   if __name__ == "__main__":
       generate(STREAM_NAME, boto3.client("kinesis"))
   

2. Mais adiante neste tutorial, será executado o script stock.py para enviar dados para o aplicativo.

   $ python stock.py

1. Duplique o repositório remoto usando o seguinte comando:

   git clone https://github.com/aws-samples/amazon-kinesis-data-analytics-examples.git

2. Navegue até o diretório amazon-kinesis-data-analytics-java-examples/GettingStarted.

Para compilar o código do aplicativo

1. Para usar o seu código de aplicativo, compile-o e empacote-o em um arquivo JAR. Há duas formas de compilar e empacotar o código:

   • Use a ferramenta de linha de comando do Maven. Crie seu arquivo JAR executando o seguinte comando no diretório que contém o arquivo pom.xml:

     mvn package -Dflink.version=1.11.3

   • Use o ambiente de desenvolvimento. Consulte a documentação de seu ambiente de desenvolvimento para obter mais detalhes.

     nota

     O código-fonte fornecido depende de bibliotecas do Java 11. Certifique-se de que a versão Java do seu projeto seja 11.

   É possível carregar o pacote como um arquivo JAR, ou pode compactar o pacote e carregá-lo como um arquivo ZIP. Se o aplicativo for criado usando a AWS CLI, é necessário especificar o tipo de conteúdo de código (JAR ou ZIP).

2. Se houver erros durante a compilação, verifique se sua variável de ambiente JAVA_HOME está definida corretamente.

Para fazer upload do código do aplicativo

1. Abra o console do Amazon S3, em https://console.aws.amazon.com/s3/.

2. Selecione Criar bucket.

3. Insira ka-app-code-<username> no campo Nome do bucket. Adicione um sufixo para o nome do bucket, como o nome do usuário, para torná-lo globalmente exclusivo. Selecione Próximo.

4. Na etapa Configurar opções, mantenha as configurações como estão e selecione Próximo.

5. Na etapa Definir permissões, mantenha as configurações como estão e selecione Próximo.

6. Selecione Criar bucket.

7. No console do Amazon S3, selecione o bucket ka-app-code-<username> e selecione Fazer upload.

8. Na etapa Selecionar arquivos, selecione Adicionar arquivos. Navegue até o arquivo aws-kinesis-analytics-java-apps-1.0.jar, criado na etapa anterior. Selecione Próximo.

9. Você não precisa alterar nenhuma das configurações para o objeto, em seguida, selecione Upload.

1. Faça login no Console de gerenciamento da AWS e abra o console do Amazon MSF em https://console.aws.amazon.com/flink.

2. No painel do Managed Service for Apache Flink, selecione Criar aplicativo de analytics.

3. Na página Managed Service for Apache Flink - Criar aplicativo, forneça os detalhes do aplicativo da seguinte forma:

   • Em Nome do aplicativo, insira MyApplication.

   • Em Descrição, insira My java test app.

   • Em Runtime, selecione Apache Flink.

   • Deixe o menu suspenso de versão como Apache Flink versão 1.11 (versão recomendada).

4. Em Permissões de acesso, selecione Criar/atualizar o perfil do IAM kinesis-analytics-MyApplication-us-west-2.

5. Selecione Create application (Criar aplicativo).

1. Abra o console do IAM em https://console.aws.amazon.com/iam/.

2. Selecione Políticas. Selecione a política kinesis-analytics-service-MyApplication-us-west-2 que o console criou na seção anterior.

3. Na página Resumo, selecione Editar política. Selecione a guia JSON.

4. Adicione a seção destacada do exemplo de política a seguir à política. Substitua os exemplos de IDs de conta (012345678901) pelo ID da conta.

   JSON

   {
       "Version":"2012-10-17",		 	 	 
       "Statement": [
           {
               "Sid": "ReadCode",
               "Effect": "Allow",
               "Action": [
                   "s3:GetObject",
                   "s3:GetObjectVersion"
               ],
               "Resource": [
                   "arn:aws:s3:::ka-app-code-username/aws-kinesis-analytics-java-apps-1.0.jar"
               ]
           },
           {
               "Sid": "DescribeLogGroups",
               "Effect": "Allow",
               "Action": [
                   "logs:DescribeLogGroups"
               ],
               "Resource": [
                   "arn:aws:logs:us-west-2:012345678901:log-group:*"
               ]
           },
           {
               "Sid": "DescribeLogStreams",
               "Effect": "Allow",
               "Action": [
                   "logs:DescribeLogStreams"
               ],
               "Resource": [
                   "arn:aws:logs:us-west-2:012345678901:log-group:/aws/kinesis-analytics/MyApplication:log-stream:*"
               ]
           },
           {
               "Sid": "PutLogEvents",
               "Effect": "Allow",
               "Action": [
                   "logs:PutLogEvents"
               ],
               "Resource": [
                   "arn:aws:logs:us-west-2:012345678901:log-group:/aws/kinesis-analytics/MyApplication:log-stream:kinesis-analytics-log-stream"
               ]
           },
           {
               "Sid": "ReadInputStream",
               "Effect": "Allow",
               "Action": "kinesis:*",
               "Resource": "arn:aws:kinesis:us-west-2:012345678901:stream/ExampleInputStream"
           },
           {
               "Sid": "WriteOutputStream",
               "Effect": "Allow",
               "Action": "kinesis:*",
               "Resource": "arn:aws:kinesis:us-west-2:012345678901:stream/ExampleOutputStream"
           }
       ]
   }
   

1. Na página MyApplication, selecione Configure (Configurar).

2. Na página Configurar aplicativo, forneça o Local do código:

   • Em Bucket do Amazon S3, insira ka-app-code-<username>.

   • Em Caminho do objeto do Amazon S3, insira aws-kinesis-analytics-java-apps-1.0.jar.

3. Na seção ‭Acesso aos recursos do aplicativo‭‬, em ‭‬Permissões de acesso‭, selecione ‭Criar/atualizar o perfil do IAM ‭kinesis-analytics-MyApplication-us-west-2.

4. Em Propriedades, ID do grupo, insira ProducerConfigProperties.

5. Insira as seguintes propriedades e valores de aplicativo:

   ID do grupo	Chave	Valor
   ProducerConfigProperties	flink.inputstream.initpos	LATEST
   ProducerConfigProperties	aws.region	us-west-2
   ProducerConfigProperties	AggregationEnabled	false

6. Em Monitoramento, confirme se Nível de monitoramento de métricas está definido como Aplicativo.

7. Em Registro em log do CloudWatch, marque a caixa de seleção Habilitar.

8. Selecione Atualizar.

Para criar uma perfil do IAM

1. Abra o console do IAM em https://console.aws.amazon.com/iam/.

2. No painel de navegação, selecione Funções e Criar função.

3. Em Selecionar tipo de identidade de confiança, selecione Serviço da AWS. Em Selecionar o serviço que usará esta função, selecione Kinesis. Em Selecionar seu caso de uso, selecione Kinesis Analytics.

   Selecione Next: Permissions (Próximo: permissões).

4. Na página Attach permissions policies, selecione Next: Review. É possível anexar políticas de permissões depois de criar a função.

5. Na página Criar função, insira MF-stream-rw-role para o Nome da função. Selecione Criar função.

   Foi criado um perfil do IAM chamado MF-stream-rw-role. Em seguida, atualize as políticas de confiança e de permissões para a função.

6. Anexe a política de permissões à função.

   nota

   Para este exercício, o Managed Service for Apache Flink assume esse perfil para ler dados de um fluxo de dados do Kinesis (origem) e gravar a saída em outro fluxo de dados do Kinesis. Depois, anexe a política criada na etapa anterior, Criar uma política de permissões.

   1. Na página Resumo, selecione a guia Permissões.

   2. Selecione Attach Policies.

   3. Na caixa de pesquisa, insira AKReadSourceStreamWriteSinkStream (a política criada na seção anterior).

   4. Selecione a política AKReadSourceStreamWriteSinkStream e selecione Anexar política.

1. Salve o seguinte código JSON em um arquivo chamado create_request.json. Substitua o ARN da função de amostra pelo ARN da função criada anteriormente. Substitua o sufixo do ARN do bucket (username) pelo sufixo selecionado na seção anterior. Substitua o ID da conta de exemplo (012345678901) na função de execução do serviço pelo ID da conta.

   {
       "ApplicationName": "test",
       "ApplicationDescription": "my java test app",
       "RuntimeEnvironment": "FLINK-1_11",
       "ServiceExecutionRole": "arn:aws:iam::012345678901:role/MF-stream-rw-role",
       "ApplicationConfiguration": {
           "ApplicationCodeConfiguration": {
               "CodeContent": {
                   "S3ContentLocation": {
                       "BucketARN": "arn:aws:s3:::ka-app-code-username",
                       "FileKey": "aws-kinesis-analytics-java-apps-1.0.jar"
                   }
               },
               "CodeContentType": "ZIPFILE"
           },
           "EnvironmentProperties":  { 
            "PropertyGroups": [ 
               { 
                  "PropertyGroupId": "ProducerConfigProperties",
                  "PropertyMap" : {
                       "flink.stream.initpos" : "LATEST",
                       "aws.region" : "us-west-2",
                       "AggregationEnabled" : "false"
                  }
               },
               { 
                  "PropertyGroupId": "ConsumerConfigProperties",
                  "PropertyMap" : {
                       "aws.region" : "us-west-2"
                  }
               }
            ]
         }
       }
   }
   
   

2. Execute a ação CreateApplication com a solicitação anterior para criar o aplicativo:

   aws kinesisanalyticsv2 create-application --cli-input-json file://create_request.json

Para iniciar o aplicativo

1. Salve o seguinte código JSON em um arquivo chamado start_request.json.

   {
       "ApplicationName": "test",
       "RunConfiguration": {
           "ApplicationRestoreConfiguration": { 
            "ApplicationRestoreType": "RESTORE_FROM_LATEST_SNAPSHOT"
            }
       }
   }
   

2. Execute a ação StartApplication com a solicitação anterior para iniciar o aplicativo:

   aws kinesisanalyticsv2 start-application --cli-input-json file://start_request.json

Como interromper o aplicativo

1. Salve o seguinte código JSON em um arquivo chamado stop_request.json.

   
   {
       "ApplicationName": "test"
   }
   

2. Execute a ação StopApplication com a seguinte solicitação para interromper o aplicativo:

   aws kinesisanalyticsv2 stop-application --cli-input-json file://stop_request.json

Para atualizar propriedades de ambiente para o aplicativo

1. Salve o seguinte código JSON em um arquivo chamado update_properties_request.json.

   {"ApplicationName": "test",
      "CurrentApplicationVersionId": 1,
      "ApplicationConfigurationUpdate": { 
         "EnvironmentPropertyUpdates": { 
            "PropertyGroups": [ 
               { 
                  "PropertyGroupId": "ProducerConfigProperties",
                  "PropertyMap" : {
                       "flink.stream.initpos" : "LATEST",
                       "aws.region" : "us-west-2",
                       "AggregationEnabled" : "false"
                  }
               },
               { 
                  "PropertyGroupId": "ConsumerConfigProperties",
                  "PropertyMap" : {
                       "aws.region" : "us-west-2"
                  }
               }
            ]
         }
      }
   }
   

2. Execute a ação UpdateApplication com a solicitação anterior para atualizar as propriedades do ambiente:

   aws kinesisanalyticsv2 update-application --cli-input-json file://update_properties_request.json

1. Abra o console do Kinesis em https://console.aws.amazon.com/kinesis.

2. No painel do Managed Service for Apache Flink, selecione MyApplication.

3. Na página do aplicativo, selecione Excluir e, em seguida, confirme a exclusão.

1. Faça login no Console de gerenciamento da AWS e abra o console do Amazon MSF em https://console.aws.amazon.com/flink.

2. No painel Kinesis Data Streams, selecione ExampleInputStream.

3. Na página ExampleInputStream, Selecione Excluir Kinesis Stream e, em seguida, confirme a exclusão.

4. Na página Kinesis streams, selecione ExampleOutputStream, selecione Ações, selecione Excluir e, em seguida, confirme a exclusão.

1. Abra o console do Amazon S3, em https://console.aws.amazon.com/s3/.

2. Selecione o bucket ka-app-code-<username>.

3. Selecione Excluir e, em seguida, insira o nome do bucket para confirmar a exclusão.

1. Abra o console do IAM em https://console.aws.amazon.com/iam/.

2. Na barra de navegação, selecione Políticas.

3. No controle do filtro, insira kinesis.

4. Selecione a política kinesis-analytics-service-MyApplication-us-west-2.

5. Selecione Ações da política e, em seguida, Excluir.

6. Na barra de navegação, selecione Roles (Funções).

7. Selecione a função kinesis-analytics-MyApplication-us-west-2.

8. Selecione Excluir função e, em seguida, confirme a exclusão.

1. Abra o console do CloudWatch em https://console.aws.amazon.com/cloudwatch/.

2. No painel de navegação, selecione Logs.

3. Selecione o grupo de logs /aws/kinesis-analytics/MyApplication.

4. Selecione Excluir grupo de logs e, em seguida, confirme a exclusão.

Como cadastrar uma Conta da AWS

1. Abra https://portal.aws.amazon.com/billing/signup.

2. Siga as instruções online.

   Parte do procedimento de inscrição envolve receber uma chamada telefônica ou uma mensagem de texto e inserir um código de verificação pelo teclado do telefone.

   Quando você se inscreve para uma Conta da AWS, um Usuário raiz da conta da AWS é criado. O usuário-raiz tem acesso a todos os Serviços da AWS e recursos na conta. Como prática recomendada de segurança, atribua o acesso administrativo a um usuário e use somente o usuário-raiz para executar tarefas que exigem acesso de usuário-raiz.

Proteger o Usuário raiz da conta da AWS

1. Faça login no Console de gerenciamento da AWS como o proprietário da conta ao escolher a opção Usuário-raiz e inserir o endereço de e-mail da Conta da AWS. Na próxima página, insira a senha.

   Para obter ajuda ao fazer login usando o usuário-raiz, consulte Fazer login como usuário-raiz no Guia do usuário do Início de Sessão da AWS.

2. Habilite a autenticação multifator (MFA) para o usuário-raiz.

   Para obter instruções, consulte Habilitar um dispositivo MFA virtual para sua Conta da AWS de usuário-raiz (console) no Guia do usuário do IAM.

Criar um usuário com acesso administrativo

1. Habilita o Centro de Identidade do IAM.

   Para obter instruções, consulte Habilitar o AWS IAM Identity Center no Guia do usuário do AWS IAM Identity Center.

2. No Centro de Identidade do IAM, conceda o acesso administrativo a um usuário.

   Para obter um tutorial sobre como usar o Diretório do Centro de Identidade do IAM como a fonte de identidade, consulte Configurar o acesso dos usuários com o Diretório do Centro de Identidade do IAM padrão no Guia do usuário do AWS IAM Identity Center.

Iniciar sessão como o usuário com acesso administrativo

• Para fazer login com o seu usuário do Centro de Identidade do IAM, use o URL de login enviado ao seu endereço de e-mail quando o usuário do Centro de Identidade do IAM foi criado.

  Para obter ajuda para fazer login usando um usuário do Centro de Identidade do IAM, consulte Fazer login no portal de acesso da AWS, no Guia do usuário do Início de Sessão da AWS.

Atribuir acesso a usuários adicionais

1. No Centro de Identidade do IAM, crie um conjunto de permissões que siga as práticas recomendadas de aplicação de permissões com privilégio mínimo.

   Para obter instruções, consulte Criar um conjunto de permissões no Guia do usuário do AWS IAM Identity Center.

2. Atribua usuários a um grupo e, em seguida, atribua o acesso de autenticação única ao grupo.

   Para obter instruções, consulte Adicionar grupos no Guia do usuário do AWS IAM Identity Center.

Para configurar a AWS CLI

1. Faça download e configure a AWS CLI. Para obter instruções, consulte os seguintes tópicos no Guia do usuário do AWS Command Line Interface:

   • Instalar a AWS Command Line Interface

   • Configurando o AWS CLI

2. Adicione um perfil nomeado para o usuário administrador no arquivo AWS CLI config . É possível usar esse perfil ao executar os comandos da AWS CLI. Para obter mais informações sobre perfis nomeados, consulte Perfis nomeados no Guia do usuário da AWS Command Line Interface.

   [profile adminuser]
   aws_access_key_id = adminuser access key ID
   aws_secret_access_key = adminuser secret access key
   region = aws-region

   Para obter uma lista das regiões disponíveis, consulte Regiões e endpoints no Referência geral da Amazon Web Services.

   nota

   O código e os comandos de exemplo neste tutorial usam a região Oeste dos EUA (Oregon). Para usar uma região AWS diferente, altere a região no código e nos comandos deste tutorial para a região que você deseja usar.

3. Verifique a configuração digitando o seguinte comando no prompt de comando:

   aws help

Como criar os fluxos de dados (AWS CLI)

1. Para criar o primeiro fluxo (ExampleInputStream), use o comando create-stream AWS CLI do Amazon Kinesis a seguir.

   $ aws kinesis create-stream \
   --stream-name ExampleInputStream \
   --shard-count 1 \
   --region us-west-2 \
   --profile adminuser

2. Para criar o segundo fluxo que o aplicativo usa para gravar a saída, execute o mesmo comando, alterando o nome da transmissão para ExampleOutputStream.

   $ aws kinesis create-stream \
   --stream-name ExampleOutputStream \
   --shard-count 1 \
   --region us-west-2 \
   --profile adminuser

1. Crie um arquivo denominado stock.py com o conteúdo a seguir:

    
   import datetime
   import json
   import random
   import boto3
   
   STREAM_NAME = "ExampleInputStream"
   
   
   def get_data():
       return {
           "EVENT_TIME": datetime.datetime.now().isoformat(),
           "TICKER": random.choice(["AAPL", "AMZN", "MSFT", "INTC", "TBV"]),
           "PRICE": round(random.random() * 100, 2),
       }
   
   
   def generate(stream_name, kinesis_client):
       while True:
           data = get_data()
           print(data)
           kinesis_client.put_record(
               StreamName=stream_name, Data=json.dumps(data), PartitionKey="partitionkey"
           )
   
   
   if __name__ == "__main__":
       generate(STREAM_NAME, boto3.client("kinesis"))
   

2. Mais adiante neste tutorial, será executado o script stock.py para enviar dados para o aplicativo.

   $ python stock.py

1. Duplique o repositório remoto usando o seguinte comando:

   git clone https://github.com/aws-samples/amazon-kinesis-data-analytics-examples.git

2. Navegue até o diretório amazon-kinesis-data-analytics-java-examples/GettingStarted_1_8.

Para compilar o código do aplicativo

1. Para usar o seu código de aplicativo, compile-o e empacote-o em um arquivo JAR. Há duas formas de compilar e empacotar o código:

   • Use a ferramenta de linha de comando do Maven. Crie seu arquivo JAR executando o seguinte comando no diretório que contém o arquivo pom.xml:

     mvn package -Dflink.version=1.8.2

   • Use o ambiente de desenvolvimento. Consulte a documentação de seu ambiente de desenvolvimento para obter mais detalhes.

     nota

     O código-fonte fornecido depende de bibliotecas do Java 1.8. Certifique-se de que a versão Java do seu projeto seja 1.8.

   É possível carregar o pacote como um arquivo JAR, ou pode compactar o pacote e carregá-lo como um arquivo ZIP. Se o aplicativo for criado usando a AWS CLI, é necessário especificar o tipo de conteúdo de código (JAR ou ZIP).

2. Se houver erros durante a compilação, verifique se sua variável de ambiente JAVA_HOME está definida corretamente.

Para fazer upload do código do aplicativo

1. Abra o console do Amazon S3, em https://console.aws.amazon.com/s3/.

2. Selecione Criar bucket.

3. Insira ka-app-code-<username> no campo Nome do bucket. Adicione um sufixo para o nome do bucket, como o nome do usuário, para torná-lo globalmente exclusivo. Selecione Próximo.

4. Na etapa Configurar opções, mantenha as configurações como estão e selecione Próximo.

5. Na etapa Definir permissões, mantenha as configurações como estão e selecione Próximo.

6. Selecione Criar bucket.

7. No console do Amazon S3, selecione o bucket ka-app-code-<username> e selecione Fazer upload.

8. Na etapa Selecionar arquivos, selecione Adicionar arquivos. Navegue até o arquivo aws-kinesis-analytics-java-apps-1.0.jar, criado na etapa anterior. Selecione Próximo.

9. Você não precisa alterar nenhuma das configurações para o objeto, em seguida, selecione Upload.

1. Faça login no Console de gerenciamento da AWS e abra o console do Amazon MSF em https://console.aws.amazon.com/flink.

2. No painel do Managed Service for Apache Flink, selecione Criar aplicativo de analytics.

3. Na página Managed Service for Apache Flink - Criar aplicativo, forneça os detalhes do aplicativo da seguinte forma:

   • Em Nome do aplicativo, insira MyApplication.

   • Em Descrição, insira My java test app.

   • Em Runtime, selecione Apache Flink.

   • Deixe o menu suspenso da versão como Apache Flink 1.8 (versão recomendada).

4. Em Permissões de acesso, selecione Criar/atualizar o perfil do IAM kinesis-analytics-MyApplication-us-west-2.

5. Selecione Create application (Criar aplicativo).

1. Abra o console do IAM em https://console.aws.amazon.com/iam/.

2. Selecione Políticas. Selecione a política kinesis-analytics-service-MyApplication-us-west-2 que o console criou na seção anterior.

3. Na página Resumo, selecione Editar política. Selecione a guia JSON.

4. Adicione a seção destacada do exemplo de política a seguir à política. Substitua os exemplos de IDs de conta (012345678901) pelo ID da conta.

   JSON

   {
       "Version":"2012-10-17",		 	 	 
       "Statement": [
           {
               "Sid": "ReadCode",
               "Effect": "Allow",
               "Action": [
                   "s3:GetObject",
                   "s3:GetObjectVersion"
               ],
               "Resource": [
                   "arn:aws:s3:::ka-app-code-username/aws-kinesis-analytics-java-apps-1.0.jar"
               ]
           },
           {
               "Sid": "DescribeLogGroups",
               "Effect": "Allow",
               "Action": [
                   "logs:DescribeLogGroups"
               ],
               "Resource": [
                   "arn:aws:logs:us-west-2:012345678901:log-group:*"
               ]
           },
           {
               "Sid": "DescribeLogStreams",
               "Effect": "Allow",
               "Action": [
                   "logs:DescribeLogStreams"
               ],
               "Resource": [
                   "arn:aws:logs:us-west-2:012345678901:log-group:/aws/kinesis-analytics/MyApplication:log-stream:*"
               ]
           },
           {
               "Sid": "PutLogEvents",
               "Effect": "Allow",
               "Action": [
                   "logs:PutLogEvents"
               ],
               "Resource": [
                   "arn:aws:logs:us-west-2:012345678901:log-group:/aws/kinesis-analytics/MyApplication:log-stream:kinesis-analytics-log-stream"
               ]
           },
           {
               "Sid": "ReadInputStream",
               "Effect": "Allow",
               "Action": "kinesis:*",
               "Resource": "arn:aws:kinesis:us-west-2:012345678901:stream/ExampleInputStream"
           },
           {
               "Sid": "WriteOutputStream",
               "Effect": "Allow",
               "Action": "kinesis:*",
               "Resource": "arn:aws:kinesis:us-west-2:012345678901:stream/ExampleOutputStream"
           }
       ]
   }
   

1. Na página MyApplication, selecione Configure (Configurar).

2. Na página Configurar aplicativo, forneça o Local do código:

   • Em Bucket do Amazon S3, insira ka-app-code-<username>.

   • Em Caminho do objeto do Amazon S3, insira aws-kinesis-analytics-java-apps-1.0.jar.

3. Na seção Acesso aos recursos do aplicativo, em Permissões de acesso, selecione Criar/atualizar o perfil do IAM kinesis-analytics-MyApplication-us-west-2.

4. Insira as seguintes propriedades e valores de aplicativo:

   ID do grupo	Chave	Valor
   ProducerConfigProperties	flink.inputstream.initpos	LATEST
   ProducerConfigProperties	aws.region	us-west-2
   ProducerConfigProperties	AggregationEnabled	false

5. Em Monitoramento, confirme se Nível de monitoramento de métricas está definido como Aplicativo.

6. Em Registro em log do CloudWatch, marque a caixa de seleção Habilitar.

7. Selecione Atualizar.

1. Na página MyApplication, selecione Executar. Confirme a ação.

2. Quando o aplicativo estiver em execução, atualize a página. O console mostra o Gráfico do aplicativo.

Para criar uma perfil do IAM

1. Abra o console do IAM em https://console.aws.amazon.com/iam/.

2. No painel de navegação, selecione Funções e Criar função.

3. Em Selecionar tipo de identidade de confiança, selecione Serviço da AWS. Em Selecionar o serviço que usará esta função, selecione Kinesis. Em Selecionar seu caso de uso, selecione Kinesis Analytics.

   Selecione Next: Permissions (Próximo: permissões).

4. Na página Attach permissions policies, selecione Next: Review. É possível anexar políticas de permissões depois de criar a função.

5. Na página Criar função, insira MF-stream-rw-role para o Nome da função. Selecione Criar função.

   Foi criado um perfil do IAM chamado MF-stream-rw-role. Em seguida, atualize as políticas de confiança e de permissões para a função.

6. Anexe a política de permissões à função.

   nota

   Para este exercício, o Managed Service for Apache Flink assume esse perfil para ler dados de um fluxo de dados do Kinesis (origem) e gravar a saída em outro fluxo de dados do Kinesis. Depois, anexe a política criada na etapa anterior, Criar uma política de permissões.

   1. Na página Resumo, selecione a guia Permissões.

   2. Selecione Attach Policies.

   3. Na caixa de pesquisa, insira AKReadSourceStreamWriteSinkStream (a política criada na seção anterior).

   4. Selecione a política AKReadSourceStreamWriteSinkStream e selecione Anexar política.

1. Salve o seguinte código JSON em um arquivo chamado create_request.json. Substitua o ARN da função de amostra pelo ARN da função criada anteriormente. Substitua o sufixo do ARN do bucket (username) pelo sufixo selecionado na seção anterior. Substitua o ID da conta de exemplo (012345678901) na função de execução do serviço pelo ID da conta.

   {
       "ApplicationName": "test",
       "ApplicationDescription": "my java test app",
       "RuntimeEnvironment": "FLINK-1_8",
       "ServiceExecutionRole": "arn:aws:iam::012345678901:role/MF-stream-rw-role",
       "ApplicationConfiguration": {
           "ApplicationCodeConfiguration": {
               "CodeContent": {
                   "S3ContentLocation": {
                       "BucketARN": "arn:aws:s3:::ka-app-code-username",
                       "FileKey": "aws-kinesis-analytics-java-apps-1.0.jar"
                   }
               },
               "CodeContentType": "ZIPFILE"
           },
           "EnvironmentProperties":  { 
            "PropertyGroups": [ 
               { 
                  "PropertyGroupId": "ProducerConfigProperties",
                  "PropertyMap" : {
                       "flink.stream.initpos" : "LATEST",
                       "aws.region" : "us-west-2",
                       "AggregationEnabled" : "false"
                  }
               },
               { 
                  "PropertyGroupId": "ConsumerConfigProperties",
                  "PropertyMap" : {
                       "aws.region" : "us-west-2"
                  }
               }
            ]
         }
       }
   }
   
   

2. Execute a ação CreateApplication com a solicitação anterior para criar o aplicativo:

   aws kinesisanalyticsv2 create-application --cli-input-json file://create_request.json

Para iniciar o aplicativo

1. Salve o seguinte código JSON em um arquivo chamado start_request.json.

   {
       "ApplicationName": "test",
       "RunConfiguration": {
           "ApplicationRestoreConfiguration": { 
            "ApplicationRestoreType": "RESTORE_FROM_LATEST_SNAPSHOT"
            }
       }
   }
   

2. Execute a ação StartApplication com a solicitação anterior para iniciar o aplicativo:

   aws kinesisanalyticsv2 start-application --cli-input-json file://start_request.json

Como interromper o aplicativo

1. Salve o seguinte código JSON em um arquivo chamado stop_request.json.

   
   {
      "ApplicationName": "test"
   }
   

2. Execute a ação StopApplication com a seguinte solicitação para interromper o aplicativo:

   aws kinesisanalyticsv2 stop-application --cli-input-json file://stop_request.json

Para atualizar propriedades de ambiente para o aplicativo

1. Salve o seguinte código JSON em um arquivo chamado update_properties_request.json.

   {"ApplicationName": "test",
      "CurrentApplicationVersionId": 1,
      "ApplicationConfigurationUpdate": { 
         "EnvironmentPropertyUpdates": { 
            "PropertyGroups": [ 
               { 
                  "PropertyGroupId": "ProducerConfigProperties",
                  "PropertyMap" : {
                       "flink.stream.initpos" : "LATEST",
                       "aws.region" : "us-west-2",
                       "AggregationEnabled" : "false"
                  }
               },
               { 
                  "PropertyGroupId": "ConsumerConfigProperties",
                  "PropertyMap" : {
                       "aws.region" : "us-west-2"
                  }
               }
            ]
         }
      }
   }
   

2. Execute a ação UpdateApplication com a solicitação anterior para atualizar as propriedades do ambiente:

   aws kinesisanalyticsv2 update-application --cli-input-json file://update_properties_request.json

1. Abra o console do Kinesis em https://console.aws.amazon.com/kinesis.

2. No painel do Managed Service for Apache Flink, selecione MyApplication.

3. Selecione Configurar.

4. Na seção Snapshots, selecione Desativar e, em seguida, selecione Atualizar.

5. Na página do aplicativo, selecione Excluir e, em seguida, confirme a exclusão.

1. Faça login no Console de gerenciamento da AWS e abra o console do Amazon MSF em https://console.aws.amazon.com/flink.

2. No painel Kinesis Data Streams, selecione ExampleInputStream.

3. Na página ExampleInputStream, Selecione Excluir Kinesis Stream e, em seguida, confirme a exclusão.

4. Na página Kinesis streams, selecione ExampleOutputStream, selecione Ações, selecione Excluir e, em seguida, confirme a exclusão.

1. Abra o console do Amazon S3, em https://console.aws.amazon.com/s3/.

2. Selecione o bucket ka-app-code-<username>.

3. Selecione Excluir e, em seguida, insira o nome do bucket para confirmar a exclusão.

1. Abra o console do IAM em https://console.aws.amazon.com/iam/.

2. Na barra de navegação, selecione Políticas.

3. No controle do filtro, insira kinesis.

4. Selecione a política kinesis-analytics-service-MyApplication-us-west-2.

5. Selecione Ações da política e, em seguida, Excluir.

6. Na barra de navegação, selecione Roles (Funções).

7. Selecione a função kinesis-analytics-MyApplication-us-west-2.

8. Selecione Excluir função e, em seguida, confirme a exclusão.

1. Abra o console do CloudWatch em https://console.aws.amazon.com/cloudwatch/.

2. No painel de navegação, selecione Logs.

3. Selecione o grupo de logs /aws/kinesis-analytics/MyApplication.

4. Selecione Excluir grupo de logs e, em seguida, confirme a exclusão.

Como cadastrar uma Conta da AWS

1. Abra https://portal.aws.amazon.com/billing/signup.

2. Siga as instruções online.

   Parte do procedimento de inscrição envolve receber uma chamada telefônica ou uma mensagem de texto e inserir um código de verificação pelo teclado do telefone.

   Quando você se inscreve para uma Conta da AWS, um Usuário raiz da conta da AWS é criado. O usuário-raiz tem acesso a todos os Serviços da AWS e recursos na conta. Como prática recomendada de segurança, atribua o acesso administrativo a um usuário e use somente o usuário-raiz para executar tarefas que exigem acesso de usuário-raiz.

Proteger o Usuário raiz da conta da AWS

1. Faça login no Console de gerenciamento da AWS como o proprietário da conta ao escolher a opção Usuário-raiz e inserir o endereço de e-mail da Conta da AWS. Na próxima página, insira a senha.

   Para obter ajuda ao fazer login usando o usuário-raiz, consulte Fazer login como usuário-raiz no Guia do usuário do Início de Sessão da AWS.

2. Habilite a autenticação multifator (MFA) para o usuário-raiz.

   Para obter instruções, consulte Habilitar um dispositivo MFA virtual para sua Conta da AWS de usuário-raiz (console) no Guia do usuário do IAM.

Criar um usuário com acesso administrativo

1. Habilita o Centro de Identidade do IAM.

   Para obter instruções, consulte Habilitar o AWS IAM Identity Center no Guia do usuário do AWS IAM Identity Center.

2. No Centro de Identidade do IAM, conceda o acesso administrativo a um usuário.

   Para obter um tutorial sobre como usar o Diretório do Centro de Identidade do IAM como a fonte de identidade, consulte Configurar o acesso dos usuários com o Diretório do Centro de Identidade do IAM padrão no Guia do usuário do AWS IAM Identity Center.

Iniciar sessão como o usuário com acesso administrativo

• Para fazer login com o seu usuário do Centro de Identidade do IAM, use o URL de login enviado ao seu endereço de e-mail quando o usuário do Centro de Identidade do IAM foi criado.

  Para obter ajuda para fazer login usando um usuário do Centro de Identidade do IAM, consulte Fazer login no portal de acesso da AWS, no Guia do usuário do Início de Sessão da AWS.

Atribuir acesso a usuários adicionais

1. No Centro de Identidade do IAM, crie um conjunto de permissões que siga as práticas recomendadas de aplicação de permissões com privilégio mínimo.

   Para obter instruções, consulte Criar um conjunto de permissões no Guia do usuário do AWS IAM Identity Center.

2. Atribua usuários a um grupo e, em seguida, atribua o acesso de autenticação única ao grupo.

   Para obter instruções, consulte Adicionar grupos no Guia do usuário do AWS IAM Identity Center.

Para configurar a AWS CLI

1. Faça download e configure a AWS CLI. Para obter instruções, consulte os seguintes tópicos no Guia do usuário do AWS Command Line Interface:

   • Instalar a AWS Command Line Interface

   • Configurando o AWS CLI

2. Adicione um perfil nomeado para o usuário administrador no arquivo AWS CLI config . É possível usar esse perfil ao executar os comandos da AWS CLI. Para obter mais informações sobre perfis nomeados, consulte Perfis nomeados no Guia do usuário da AWS Command Line Interface.

   [profile adminuser]
   aws_access_key_id = adminuser access key ID
   aws_secret_access_key = adminuser secret access key
   region = aws-region

   Para obter uma lista das regiões da AWS disponíveis, consulte Regiões e endpoints no Referência geral da Amazon Web Services.

   nota

   O código e os comandos de exemplo neste tutorial usam a região Oeste dos EUA (Oregon). Para usar uma região diferente, altere a região no código e nos comandos deste tutorial para a região que você deseja usar.

3. Verifique a configuração digitando o seguinte comando no prompt de comando:

   aws help

Como criar os fluxos de dados (AWS CLI)

1. Para criar o primeiro fluxo (ExampleInputStream), use o comando create-stream AWS CLI do Amazon Kinesis a seguir.

   $ aws kinesis create-stream \
   --stream-name ExampleInputStream \
   --shard-count 1 \
   --region us-west-2 \
   --profile adminuser

2. Para criar o segundo fluxo que o aplicativo usa para gravar a saída, execute o mesmo comando, alterando o nome da transmissão para ExampleOutputStream.

   $ aws kinesis create-stream \
   --stream-name ExampleOutputStream \
   --shard-count 1 \
   --region us-west-2 \
   --profile adminuser

1. Crie um arquivo denominado stock.py com o conteúdo a seguir:

    
   import datetime
   import json
   import random
   import boto3
   
   STREAM_NAME = "ExampleInputStream"
   
   
   def get_data():
       return {
           "EVENT_TIME": datetime.datetime.now().isoformat(),
           "TICKER": random.choice(["AAPL", "AMZN", "MSFT", "INTC", "TBV"]),
           "PRICE": round(random.random() * 100, 2),
       }
   
   
   def generate(stream_name, kinesis_client):
       while True:
           data = get_data()
           print(data)
           kinesis_client.put_record(
               StreamName=stream_name, Data=json.dumps(data), PartitionKey="partitionkey"
           )
   
   
   if __name__ == "__main__":
       generate(STREAM_NAME, boto3.client("kinesis"))
   

2. Mais adiante neste tutorial, será executado o script stock.py para enviar dados para o aplicativo.

   $ python stock.py

1. Duplique o repositório remoto usando o seguinte comando:

   git clone https://github.com/aws-samples/amazon-kinesis-data-analytics-examples.git

2. Navegue até o diretório amazon-kinesis-data-analytics-java-examples/GettingStarted_1_6.

Para compilar o código do aplicativo

1. Para usar o seu código de aplicativo, compile-o e empacote-o em um arquivo JAR. Há duas formas de compilar e empacotar o código:

   • Use a ferramenta de linha de comando do Maven. Crie seu arquivo JAR executando o seguinte comando no diretório que contém o arquivo pom.xml:

     mvn package

     nota

     O parâmetro -Dflink.version não é necessário para o runtime do Managed Service for Apache Flink versão 1.0.1; ele só é necessário para a versão 1.1.0 e posterior. Para obter mais informações, consulte Especifique a versão do Apache Flink do seu aplicativo.

   • Use o ambiente de desenvolvimento. Consulte a documentação de seu ambiente de desenvolvimento para obter mais detalhes.

   É possível carregar o pacote como um arquivo JAR, ou pode compactar o pacote e carregá-lo como um arquivo ZIP. Se o aplicativo for criado usando a AWS CLI, é necessário especificar o tipo de conteúdo de código (JAR ou ZIP).

2. Se houver erros durante a compilação, verifique se sua variável de ambiente JAVA_HOME está definida corretamente.

Para fazer upload do código do aplicativo

1. Abra o console do Amazon S3, em https://console.aws.amazon.com/s3/.

2. Selecione Criar bucket.

3. Insira ka-app-code-<username> no campo Nome do bucket. Adicione um sufixo para o nome do bucket, como o nome do usuário, para torná-lo globalmente exclusivo. Selecione Próximo.

4. Na etapa Configurar opções, mantenha as configurações como estão e selecione Próximo.

5. Na etapa Definir permissões, mantenha as configurações como estão e selecione Próximo.

6. Selecione Criar bucket.

7. No console do Amazon S3, selecione o bucket ka-app-code-<username> e selecione Fazer upload.

8. Na etapa Selecionar arquivos, selecione Adicionar arquivos. Navegue até o arquivo aws-kinesis-analytics-java-apps-1.0.jar, criado na etapa anterior. Selecione Próximo.

9. Na etapa Definir permissões, mantenha as configurações como estão. Selecione Próximo.

10. Na etapa Definir propriedades, mantenha as configurações como estão. Escolha Carregar.

1. Faça login no Console de gerenciamento da AWS e abra o console do Amazon MSF em https://console.aws.amazon.com/flink.

2. No painel do Managed Service for Apache Flink, selecione Criar aplicativo de analytics.

3. Na página Managed Service for Apache Flink - Criar aplicativo, forneça os detalhes do aplicativo da seguinte forma:

   • Em Nome do aplicativo, insira MyApplication.

   • Em Descrição, insira My java test app.

   • Em Runtime, selecione Apache Flink.

     nota

     O Managed Service for Apache Flink usa o Apache Flink versão 1.8.2 ou 1.6.2.

   • Altere o pulldown da versão para Apache Flink 1.6.

4. Em Permissões de acesso, selecione Criar/atualizar o perfil do IAM kinesis-analytics-MyApplication-us-west-2.

5. Selecione Create application (Criar aplicativo).

1. Abra o console do IAM em https://console.aws.amazon.com/iam/.

2. Selecione Políticas. Selecione a política kinesis-analytics-service-MyApplication-us-west-2 que o console criou na seção anterior.

3. Na página Resumo, selecione Editar política. Selecione a guia JSON.

4. Adicione a seção destacada do exemplo de política a seguir à política. Substitua os exemplos de IDs de conta (012345678901) pelo ID da conta.

   JSON

   {
       "Version":"2012-10-17",		 	 	 
       "Statement": [
           {
               "Sid": "ReadCode",
               "Effect": "Allow",
               "Action": [
                   "s3:GetObject",
                   "s3:GetObjectVersion"
               ],
               "Resource": [
                   "arn:aws:s3:::ka-app-code-username/java-getting-started-1.0.jar"
               ]
           },
           {
               "Sid": "DescribeLogGroups",
               "Effect": "Allow",
               "Action": [
                   "logs:DescribeLogGroups"
               ],
               "Resource": [
                   "arn:aws:logs:us-west-2:012345678901:log-group:*"
               ]
           },
           {
               "Sid": "DescribeLogStreams",
               "Effect": "Allow",
               "Action": [
                   "logs:DescribeLogStreams"
               ],
               "Resource": [
                   "arn:aws:logs:us-west-2:012345678901:log-group:/aws/kinesis-analytics/MyApplication:log-stream:*"
               ]
           },
           {
               "Sid": "PutLogEvents",
               "Effect": "Allow",
               "Action": [
                   "logs:PutLogEvents"
               ],
               "Resource": [
                   "arn:aws:logs:us-west-2:012345678901:log-group:/aws/kinesis-analytics/MyApplication:log-stream:kinesis-analytics-log-stream"
               ]
           },
           {
               "Sid": "ReadInputStream",
               "Effect": "Allow",
               "Action": "kinesis:*",
               "Resource": "arn:aws:kinesis:us-west-2:012345678901:stream/ExampleInputStream"
           },
           {
               "Sid": "WriteOutputStream",
               "Effect": "Allow",
               "Action": "kinesis:*",
               "Resource": "arn:aws:kinesis:us-west-2:012345678901:stream/ExampleOutputStream"
           }
       ]
   }
   

1. Na página MyApplication, selecione Configure (Configurar).

2. Na página Configurar aplicativo, forneça o Local do código:

   • Em Bucket do Amazon S3, insira ka-app-code-<username>.

   • Em Caminho do objeto do Amazon S3, insira java-getting-started-1.0.jar.

3. Na seção Acesso aos recursos do aplicativo, em Permissões de acesso, selecione Criar/atualizar o perfil do IAM kinesis-analytics-MyApplication-us-west-2.

4. Insira as seguintes propriedades e valores de aplicativo:

   ID do grupo	Chave	Valor
   ProducerConfigProperties	flink.inputstream.initpos	LATEST
   ProducerConfigProperties	aws.region	us-west-2
   ProducerConfigProperties	AggregationEnabled	false

5. Em Monitoramento, confirme se Nível de monitoramento de métricas está definido como Aplicativo.

6. Em Registro em log do CloudWatch, marque a caixa de seleção Habilitar.

7. Selecione Atualizar.

1. Na página MyApplication, selecione Executar. Confirme a ação.

2. Quando o aplicativo estiver em execução, atualize a página. O console mostra o Gráfico do aplicativo.

Para criar uma perfil do IAM

1. Abra o console do IAM em https://console.aws.amazon.com/iam/.

2. No painel de navegação, selecione Funções e Criar função.

3. Em Selecionar tipo de identidade de confiança, selecione Serviço da AWS. Em Selecionar o serviço que usará esta função, selecione Kinesis. Em Selecionar seu caso de uso, selecione Kinesis Analytics.

   Selecione Next: Permissions (Próximo: permissões).

4. Na página Attach permissions policies, selecione Next: Review. É possível anexar políticas de permissões depois de criar a função.

5. Na página Criar função, insira MF-stream-rw-role para o Nome da função. Selecione Criar função.

   Foi criado um perfil do IAM chamado MF-stream-rw-role. Em seguida, atualize as políticas de confiança e de permissões para a função.

6. Anexe a política de permissões à função.

   nota

   Para este exercício, o Managed Service for Apache Flink assume esse perfil para ler dados de um fluxo de dados do Kinesis (origem) e gravar a saída em outro fluxo de dados do Kinesis. Depois, anexe a política criada na etapa anterior, Criar uma política de permissões.

   1. Na página Resumo, selecione a guia Permissões.

   2. Selecione Attach Policies.

   3. Na caixa de pesquisa, insira AKReadSourceStreamWriteSinkStream (a política criada na seção anterior).

   4. Selecione a política AKReadSourceStreamWriteSinkStream e selecione Anexar política.

1. Salve o seguinte código JSON em um arquivo chamado create_request.json. Substitua o ARN da função de amostra pelo ARN da função criada anteriormente. Substitua o sufixo do ARN do bucket (username) pelo sufixo selecionado na seção anterior. Substitua o ID da conta de exemplo (012345678901) na função de execução do serviço pelo ID da conta.

   {
       "ApplicationName": "test",
       "ApplicationDescription": "my java test app",
       "RuntimeEnvironment": "FLINK-1_6",
       "ServiceExecutionRole": "arn:aws:iam::012345678901:role/MF-stream-rw-role",
       "ApplicationConfiguration": {
           "ApplicationCodeConfiguration": {
               "CodeContent": {
                   "S3ContentLocation": {
                       "BucketARN": "arn:aws:s3:::ka-app-code-username",
                       "FileKey": "java-getting-started-1.0.jar"
                   }
               },
               "CodeContentType": "ZIPFILE"
           },
           "EnvironmentProperties":  { 
            "PropertyGroups": [ 
               { 
                  "PropertyGroupId": "ProducerConfigProperties",
                  "PropertyMap" : {
                       "flink.stream.initpos" : "LATEST",
                       "aws.region" : "us-west-2",
                       "AggregationEnabled" : "false"
                  }
               },
               { 
                  "PropertyGroupId": "ConsumerConfigProperties",
                  "PropertyMap" : {
                       "aws.region" : "us-west-2"
                  }
               }
            ]
         }
       }
   }
   
   

2. Execute a ação CreateApplication com a solicitação anterior para criar o aplicativo:

   aws kinesisanalyticsv2 create-application --cli-input-json file://create_request.json

Para iniciar o aplicativo

1. Salve o seguinte código JSON em um arquivo chamado start_request.json.

   {
       "ApplicationName": "test",
       "RunConfiguration": {
           "ApplicationRestoreConfiguration": { 
            "ApplicationRestoreType": "RESTORE_FROM_LATEST_SNAPSHOT"
            }
       }
   }
   

2. Execute a ação StartApplication com a solicitação anterior para iniciar o aplicativo:

   aws kinesisanalyticsv2 start-application --cli-input-json file://start_request.json

Como interromper o aplicativo

1. Salve o seguinte código JSON em um arquivo chamado stop_request.json.

   {
      "ApplicationName": "test"
   }
   

2. Execute a ação StopApplication com a seguinte solicitação para interromper o aplicativo:

   aws kinesisanalyticsv2 stop-application --cli-input-json file://stop_request.json

Para atualizar propriedades de ambiente para o aplicativo

1. Salve o seguinte código JSON em um arquivo chamado update_properties_request.json.

   {"ApplicationName": "test",
      "CurrentApplicationVersionId": 1,
      "ApplicationConfigurationUpdate": { 
         "EnvironmentPropertyUpdates": { 
            "PropertyGroups": [ 
               { 
                  "PropertyGroupId": "ProducerConfigProperties",
                  "PropertyMap" : {
                       "flink.stream.initpos" : "LATEST",
                       "aws.region" : "us-west-2",
                       "AggregationEnabled" : "false"
                  }
               },
               { 
                  "PropertyGroupId": "ConsumerConfigProperties",
                  "PropertyMap" : {
                       "aws.region" : "us-west-2"
                  }
               }
            ]
         }
      }
   }
   

2. Execute a ação UpdateApplication com a solicitação anterior para atualizar as propriedades do ambiente:

   aws kinesisanalyticsv2 update-application --cli-input-json file://update_properties_request.json

1. Abra o console do Kinesis em https://console.aws.amazon.com/kinesis.

2. No painel do Managed Service for Apache Flink, selecione MyApplication.

3. Selecione Configurar.

4. Na seção Snapshots, selecione Desativar e, em seguida, selecione Atualizar.

5. Na página do aplicativo, selecione Excluir e, em seguida, confirme a exclusão.

1. Faça login no Console de gerenciamento da AWS e abra o console do Amazon MSF em https://console.aws.amazon.com/flink.

2. No painel Kinesis Data Streams, selecione ExampleInputStream.

3. Na página ExampleInputStream, Selecione Excluir Kinesis Stream e, em seguida, confirme a exclusão.

4. Na página Kinesis streams, selecione ExampleOutputStream, selecione Ações, selecione Excluir e, em seguida, confirme a exclusão.

1. Abra o console do Amazon S3, em https://console.aws.amazon.com/s3/.

2. Selecione o bucket ka-app-code-<username>.

3. Selecione Excluir e, em seguida, insira o nome do bucket para confirmar a exclusão.

1. Abra o console do IAM em https://console.aws.amazon.com/iam/.

2. Na barra de navegação, selecione Políticas.

3. No controle do filtro, insira kinesis.

4. Selecione a política kinesis-analytics-service-MyApplication-us-west-2.

5. Selecione Ações da política e, em seguida, Excluir.

6. Na barra de navegação, selecione Roles (Funções).

7. Selecione a função kinesis-analytics-MyApplication-us-west-2.

8. Selecione Excluir função e, em seguida, confirme a exclusão.

1. Abra o console do CloudWatch em https://console.aws.amazon.com/cloudwatch/.

2. No painel de navegação, selecione Logs.

3. Selecione o grupo de logs /aws/kinesis-analytics/MyApplication.

4. Selecione Excluir grupo de logs e, em seguida, confirme a exclusão.

1. Crie um arquivo denominado stock.py com o conteúdo a seguir:

   
       import datetime
       import json
       import random
       import boto3
   
       STREAM_NAME = "ExampleInputStream"
   
   
       def get_data():
           return {
               'event_time': datetime.datetime.now().isoformat(),
               'ticker': random.choice(['AAPL', 'AMZN', 'MSFT', 'INTC', 'TBV']),
               'price': round(random.random() * 100, 2)}
   
   
       def generate(stream_name, kinesis_client):
           while True:
               data = get_data()
               print(data)
               kinesis_client.put_record(
                   StreamName=stream_name,
                   Data=json.dumps(data),
                   PartitionKey="partitionkey")
   
   
       if __name__ == '__main__':
           generate(STREAM_NAME, boto3.client('kinesis', region_name='us-west-2'))

2. Execute o script stock.py:

   $ python stock.py

   Mantenha o script em execução enquanto você conclui o restante do tutorial.

1. Instale o cliente do Git, se isso ainda não foi feito. Para obter mais informações, consulte Instalando o Git.

2. Duplique o repositório remoto com o seguinte comando:

   git clone https://github.com/aws-samples/amazon-kinesis-data-analytics-examples.git

3. Navegue até o diretório amazon-kinesis-data-analytics-java-examples/TumblingWindow.

1. Instale o Java e o Maven, caso ainda não o tenha feito. Para obter mais informações, consulte Conclua os pré-requisitos exigidos no tutorial Tutorial: conceitos básicos no uso da API DataStream no Managed Service for Apache Flink.

2. Compile o aplicativo com o seguinte comando:

   mvn package -Dflink.version=1.15.3

   nota

   O código-fonte fornecido depende de bibliotecas do Java 11.

1. No console do Amazon S3, selecione o bucket ka-app-code-<username> e selecione Fazer upload.

2. Na etapa Selecionar arquivos, selecione Adicionar arquivos. Navegue até o arquivo aws-kinesis-analytics-java-apps-1.0.jar, criado na etapa anterior.

3. Você não precisa alterar nenhuma das configurações para o objeto, em seguida, selecione Upload.

1. Faça login no Console de gerenciamento da AWS e abra o console do Amazon MSF em https://console.aws.amazon.com/flink.

2. No painel do Managed Service for Apache Flink, selecione Criar aplicativo de analytics.

3. Na página Managed Service for Apache Flink - Criar aplicativo, forneça os detalhes do aplicativo da seguinte forma:

   • Em Nome do aplicativo, insira MyApplication.

   • Em Runtime, selecione Apache Flink.

     nota

     O Managed Service for Apache Flink usa o Apache Flink versão 1.15.2.

   • Deixe o menu suspenso de versão como Apache Flink versão 1.15.2 (versão recomendada).

4. Em Permissões de acesso, selecione Criar/atualizar o perfil do IAM kinesis-analytics-MyApplication-us-west-2.

5. Selecione Create application (Criar aplicativo).

1. Abra o console do IAM em https://console.aws.amazon.com/iam/.

2. Selecione Políticas. Selecione a política kinesis-analytics-service-MyApplication-us-west-2 que o console criou na seção anterior.

3. Na página Resumo, selecione Editar política. Selecione a guia JSON.

4. Adicione a seção destacada do exemplo de política a seguir à política. Substitua os exemplos de IDs de conta (012345678901) pelo ID da conta.

   JSON

   {
       "Version":"2012-10-17",		 	 	 
       "Statement": [
           {
               "Sid": "ReadCode",
               "Effect": "Allow",
               "Action": [
                   "s3:GetObject",
                   "logs:DescribeLogGroups",
                   "s3:GetObjectVersion"
               ],
               "Resource": [
                   "arn:aws:logs:us-west-2:012345678901:log-group:*",
                   "arn:aws:s3:::ka-app-code-<username>/aws-kinesis-analytics-java-apps-1.0.jar"
               ]
           },
           {
               "Sid": "DescribeLogStreams",
               "Effect": "Allow",
               "Action": "logs:DescribeLogStreams",
               "Resource": "arn:aws:logs:us-west-2:012345678901:log-group:/aws/kinesis-analytics/MyApplication:log-stream:*"
           },
           {
               "Sid": "PutLogEvents",
               "Effect": "Allow",
               "Action": "logs:PutLogEvents",
               "Resource": "arn:aws:logs:us-west-2:012345678901:log-group:/aws/kinesis-analytics/MyApplication:log-stream:kinesis-analytics-log-stream"
           },
           {
               "Sid": "ListCloudwatchLogGroups",
               "Effect": "Allow",
               "Action": [
                   "logs:DescribeLogGroups"
               ],
               "Resource": [
                   "arn:aws:logs:us-west-2:012345678901:log-group:*"
               ]
           },
           {
               "Sid": "ReadInputStream",
               "Effect": "Allow",
               "Action": "kinesis:*",
               "Resource": "arn:aws:kinesis:us-west-2:012345678901:stream/ExampleInputStream"
           },
           {
               "Sid": "WriteOutputStream",
               "Effect": "Allow",
               "Action": "kinesis:*",
               "Resource": "arn:aws:kinesis:us-west-2:012345678901:stream/ExampleOutputStream"
           }
       ]
   }
   

1. Na página MyApplication, selecione Configure (Configurar).

2. Na página Configurar aplicativo, forneça o Local do código:

   • Em Bucket do Amazon S3, insira ka-app-code-<username>.

   • Em Caminho do objeto do Amazon S3, insira aws-kinesis-analytics-java-apps-1.0.jar.

3. Na seção Acesso aos recursos do aplicativo, em Permissões de acesso, selecione Criar/atualizar o perfil do IAM kinesis-analytics-MyApplication-us-west-2.

4. Em Monitoramento, confirme se Nível de monitoramento de métricas está definido como Aplicativo.

5. Em Registro em log do CloudWatch, marque a caixa de seleção Habilitar.

6. Selecione Atualizar.

1. Na página MyApplication, selecione Executar. Deixe a opção Executar sem snapshot selecionada e confirme a ação.

2. Quando o aplicativo estiver em execução, atualize a página. O console mostra o Gráfico do aplicativo.

1. Faça login no Console de gerenciamento da AWS e abra o console do Amazon MSF em https://console.aws.amazon.com/flink.

2. No painel do Managed Service for Apache Flink, selecione MyApplication.

3. Na página do aplicativo, selecione Excluir e, em seguida, confirme a exclusão.

1. Abra o console do Kinesis em https://console.aws.amazon.com/kinesis.

2. No painel Kinesis Data Streams, selecione ExampleInputStream.

3. Na página ExampleInputStream, Selecione Excluir Kinesis Stream e, em seguida, confirme a exclusão.

4. Na página Kinesis streams, selecione ExampleOutputStream, selecione Ações, selecione Excluir e, em seguida, confirme a exclusão.

1. Abra o console do Amazon S3, em https://console.aws.amazon.com/s3/.

2. Selecione o bucket ka-app-code-<username>.

3. Selecione Excluir e, em seguida, insira o nome do bucket para confirmar a exclusão.

1. Abra o console do IAM em https://console.aws.amazon.com/iam/.

2. Na barra de navegação, selecione Políticas.

3. No controle do filtro, insira kinesis.

4. Selecione a política kinesis-analytics-service-MyApplication-us-west-2.

5. Selecione Ações da política e, em seguida, Excluir.

6. Na barra de navegação, selecione Roles (Funções).

7. Selecione a função kinesis-analytics-MyApplication-us-west-2.

8. Selecione Excluir função e, em seguida, confirme a exclusão.

1. Abra o console do CloudWatch em https://console.aws.amazon.com/cloudwatch/.

2. No painel de navegação, selecione Logs.

3. Selecione o grupo de logs /aws/kinesis-analytics/MyApplication.

4. Selecione Excluir grupo de logs e, em seguida, confirme a exclusão.

1. Crie um arquivo denominado stock.py com o conteúdo a seguir:

    
   import datetime
   import json
   import random
   import boto3
   
   STREAM_NAME = "ExampleInputStream"
   
   
   def get_data():
       return {
           "EVENT_TIME": datetime.datetime.now().isoformat(),
           "TICKER": random.choice(["AAPL", "AMZN", "MSFT", "INTC", "TBV"]),
           "PRICE": round(random.random() * 100, 2),
       }
   
   
   def generate(stream_name, kinesis_client):
       while True:
           data = get_data()
           print(data)
           kinesis_client.put_record(
               StreamName=stream_name, Data=json.dumps(data), PartitionKey="partitionkey"
           )
   
   
   if __name__ == "__main__":
       generate(STREAM_NAME, boto3.client("kinesis"))
   

2. Execute o script stock.py:

   $ python stock.py

   Mantenha o script em execução enquanto você conclui o restante do tutorial.

1. Instale o cliente do Git, se isso ainda não foi feito. Para obter mais informações, consulte Instalando o Git.

2. Duplique o repositório remoto com o seguinte comando:

   git clone https://github.com/aws-samples/amazon-kinesis-data-analytics-examples.git

3. Navegue até o diretório amazon-kinesis-data-analytics-java-examples/SlidingWindow.

1. Instale o Java e o Maven, caso ainda não o tenha feito. Para obter mais informações, consulte Conclua os pré-requisitos exigidos no tutorial Tutorial: conceitos básicos no uso da API DataStream no Managed Service for Apache Flink.

2. Compile o aplicativo com o seguinte comando:

   mvn package -Dflink.version=1.15.3

   nota

   O código-fonte fornecido depende de bibliotecas do Java 11.

1. No console do Amazon S3, selecione o bucket ka-app-code-<username> e selecione Fazer upload.

2. Na etapa Selecionar arquivos, selecione Adicionar arquivos. Navegue até o arquivo aws-kinesis-analytics-java-apps-1.0.jar, criado na etapa anterior.

3. Você não precisa alterar nenhuma das configurações para o objeto, em seguida, selecione Upload.

1. Faça login no Console de gerenciamento da AWS e abra o console do Amazon MSF em https://console.aws.amazon.com/flink.

2. No painel do Managed Service for Apache Flink, selecione Criar aplicativo de analytics.

3. Na página Managed Service for Apache Flink - Criar aplicativo, forneça os detalhes do aplicativo da seguinte forma:

   • Em Nome do aplicativo, insira MyApplication.

   • Em Runtime, selecione Apache Flink.

   • Deixe o menu suspenso de versão como Apache Flink versão 1.15.2 (versão recomendada).

4. Em Permissões de acesso, selecione Criar/atualizar o perfil do IAM kinesis-analytics-MyApplication-us-west-2.

5. Selecione Create application (Criar aplicativo).

1. Abra o console do IAM em https://console.aws.amazon.com/iam/.

2. Selecione Políticas. Selecione a política kinesis-analytics-service-MyApplication-us-west-2 que o console criou na seção anterior.

3. Na página Resumo, selecione Editar política. Selecione a guia JSON.

4. Adicione a seção destacada do exemplo de política a seguir à política. Substitua os exemplos de IDs de conta (012345678901) pelo ID da conta.

   JSON

   {
       "Version":"2012-10-17",		 	 	 
       "Statement": [
           {
               "Sid": "ReadCode",
               "Effect": "Allow",
               "Action": [
                   "s3:GetObject",
                   "logs:DescribeLogGroups",
                   "s3:GetObjectVersion"
               ],
               "Resource": [
                   "arn:aws:logs:us-west-2:012345678901:log-group:*",
                   "arn:aws:s3:::ka-app-code-<username>/aws-kinesis-analytics-java-apps-1.0.jar"
               ]
           },
           {
               "Sid": "DescribeLogStreams",
               "Effect": "Allow",
               "Action": "logs:DescribeLogStreams",
               "Resource": "arn:aws:logs:us-west-2:012345678901:log-group:/aws/kinesis-analytics/MyApplication:log-stream:*"
           },
           {
               "Sid": "PutLogEvents",
               "Effect": "Allow",
               "Action": "logs:PutLogEvents",
               "Resource": "arn:aws:logs:us-west-2:012345678901:log-group:/aws/kinesis-analytics/MyApplication:log-stream:kinesis-analytics-log-stream"
           },
           {
               "Sid": "ListCloudwatchLogGroups",
               "Effect": "Allow",
               "Action": [
                   "logs:DescribeLogGroups"
               ],
               "Resource": [
                   "arn:aws:logs:us-west-2:012345678901:log-group:*"
               ]
           },
           {
               "Sid": "ReadInputStream",
               "Effect": "Allow",
               "Action": "kinesis:*",
               "Resource": "arn:aws:kinesis:us-west-2:012345678901:stream/ExampleInputStream"
           },
           {
               "Sid": "WriteOutputStream",
               "Effect": "Allow",
               "Action": "kinesis:*",
               "Resource": "arn:aws:kinesis:us-west-2:012345678901:stream/ExampleOutputStream"
           }
       ]
   }
   

1. Na página MyApplication, selecione Configure (Configurar).

2. Na página Configurar aplicativo, forneça o Local do código:

   • Em Bucket do Amazon S3, insira ka-app-code-<username>.

   • Em Caminho do objeto do Amazon S3, insira aws-kinesis-analytics-java-apps-1.0.jar.

3. Na seção Acesso aos recursos do aplicativo, em Permissões de acesso, selecione Criar/atualizar o perfil do IAM kinesis-analytics-MyApplication-us-west-2.

4. Em Monitoramento, confirme se Nível de monitoramento de métricas está definido como Aplicativo.

5. Em Registro em log do CloudWatch, marque a caixa de seleção Habilitar.

6. Selecione Atualizar.

1. Faça login no Console de gerenciamento da AWS e abra o console do Amazon MSF em https://console.aws.amazon.com/flink.

2. No painel do Managed Service for Apache Flink, selecione MyApplication.

3. Na página do aplicativo, selecione Excluir e, em seguida, confirme a exclusão.

1. Abra o console do Kinesis em https://console.aws.amazon.com/kinesis.

2. No painel Kinesis Data Streams, selecione ExampleInputStream.

3. Na página ExampleInputStream, Selecione Excluir Kinesis Stream e, em seguida, confirme a exclusão.

4. Na página Kinesis streams, selecione ExampleOutputStream, selecione Ações, selecione Excluir e, em seguida, confirme a exclusão.

1. Abra o console do Amazon S3, em https://console.aws.amazon.com/s3/.

2. Selecione o bucket ka-app-code-<username>.

3. Selecione Excluir e, em seguida, insira o nome do bucket para confirmar a exclusão.

1. Abra o console do IAM em https://console.aws.amazon.com/iam/.

2. Na barra de navegação, selecione Políticas.

3. No controle do filtro, insira kinesis.

4. Selecione a política kinesis-analytics-service-MyApplication-us-west-2.

5. Selecione Ações da política e, em seguida, Excluir.

6. Na barra de navegação, selecione Roles (Funções).

7. Selecione a função kinesis-analytics-MyApplication-us-west-2.

8. Selecione Excluir função e, em seguida, confirme a exclusão.

1. Abra o console do CloudWatch em https://console.aws.amazon.com/cloudwatch/.

2. No painel de navegação, selecione Logs.

3. Selecione o grupo de logs /aws/kinesis-analytics/MyApplication.

4. Selecione Excluir grupo de logs e, em seguida, confirme a exclusão.

1. Crie um arquivo denominado stock.py com o conteúdo a seguir:

   
       import datetime
       import json
       import random
       import boto3
   
       STREAM_NAME = "ExampleInputStream"
   
   
       def get_data():
           return {
               'event_time': datetime.datetime.now().isoformat(),
               'ticker': random.choice(['AAPL', 'AMZN', 'MSFT', 'INTC', 'TBV']),
               'price': round(random.random() * 100, 2)}
   
   
       def generate(stream_name, kinesis_client):
           while True:
               data = get_data()
               print(data)
               kinesis_client.put_record(
                   StreamName=stream_name,
                   Data=json.dumps(data),
                   PartitionKey="partitionkey")
   
   
       if __name__ == '__main__':
           generate(STREAM_NAME, boto3.client('kinesis', region_name='us-west-2'))

2. Execute o script stock.py:

   $ python stock.py

   Mantenha o script em execução enquanto você conclui o restante do tutorial.

1. Instale o cliente do Git, se isso ainda não foi feito. Para obter mais informações, consulte Instalando o Git.

2. Duplique o repositório remoto com o seguinte comando:

   git clone https://github.com/aws-samples/amazon-kinesis-data-analytics-examples.git

3. Navegue até o diretório amazon-kinesis-data-analytics-java-examples/S3Sink.

1. Instale o Java e o Maven, caso ainda não o tenha feito. Para obter mais informações, consulte Conclua os pré-requisitos exigidos no tutorial Tutorial: conceitos básicos no uso da API DataStream no Managed Service for Apache Flink.

2. Compile o aplicativo com o seguinte comando:

   mvn package -Dflink.version=1.15.3

1. No console do Amazon S3, selecione o bucket ka-app-code-<username>, navegue até a pasta do código e selecione Upload.

2. Na etapa Selecionar arquivos, selecione Adicionar arquivos. Navegue até o arquivo aws-kinesis-analytics-java-apps-1.0.jar, criado na etapa anterior.

3. Você não precisa alterar nenhuma das configurações para o objeto, em seguida, selecione Upload.

1. Faça login no Console de gerenciamento da AWS e abra o console do Amazon MSF em https://console.aws.amazon.com/flink.

2. No painel do Managed Service for Apache Flink, selecione Criar aplicativo de analytics.

3. Na página Managed Service for Apache Flink - Criar aplicativo, forneça os detalhes do aplicativo da seguinte forma:

   • Em Nome do aplicativo, insira MyApplication.

   • Em Runtime, selecione Apache Flink.

   • Deixe o menu suspenso de versão como Apache Flink versão 1.15.2 (versão recomendada).

4. Em Permissões de acesso, selecione Criar/atualizar o perfil do IAM kinesis-analytics-MyApplication-us-west-2.

5. Selecione Create application (Criar aplicativo).

   nota

   Ao criar um aplicativo Managed Service for Apache Flink usando o console, você tem a opção de ter um perfil do IAM e uma política criada para seu aplicativo. O aplicativo usa essa função e política para acessar os recursos dependentes. Esses recursos do IAM são nomeados usando o nome do aplicativo e a região da seguinte forma:

   • Em Nome do aplicativo, insira MyApplication.

   • Em Runtime, selecione Apache Flink.

   • Deixe a versão como Apache Flink versão 1.15.2 (versão recomendada).

6. Em Permissões de acesso, selecione Criar/atualizar o perfil do IAM kinesis-analytics-MyApplication-us-west-2.

7. Selecione Create application (Criar aplicativo).

1. Abra o console do IAM em https://console.aws.amazon.com/iam/.

2. Selecione Políticas. Selecione a política kinesis-analytics-service-MyApplication-us-west-2 que o console criou na seção anterior.

3. Na página Resumo, selecione Editar política. Selecione a guia JSON.

4. Adicione a seção destacada do exemplo de política a seguir à política. Substitua os exemplos de IDs de conta (012345678901) pelo ID da conta. Substitua <username> pelo seu nome de usuário.

   {
               "Sid": "S3",
               "Effect": "Allow",
               "Action": [
                   "s3:Abort*",
                   "s3:DeleteObject*",
                   "s3:GetObject*",
                   "s3:GetBucket*",
                   "s3:List*",
                   "s3:ListBucket",
                   "s3:PutObject"
               ],
               "Resource": [
                   "arn:aws:s3:::ka-app-code-<username>",
                   "arn:aws:s3:::ka-app-code-<username>/*"
               ]
             }, 
           {
               "Sid": "ListCloudwatchLogGroups",
               "Effect": "Allow",
               "Action": [
                   "logs:DescribeLogGroups"
               ],
               "Resource": [
                   "arn:aws:logs:region:account-id:log-group:*"
               ]
           },
           {
               "Sid": "ListCloudwatchLogStreams",
               "Effect": "Allow",
               "Action": [
                   "logs:DescribeLogStreams"
               ],
               "Resource": [
                   "arn:aws:logs:region:account-id:log-group:%LOG_GROUP_PLACEHOLDER%:log-stream:*"
               ]
           },
           {
               "Sid": "PutCloudwatchLogs",
               "Effect": "Allow",
               "Action": [
                   "logs:PutLogEvents"
               ],
               "Resource": [
                   "arn:aws:logs:region:account-id:log-group:%LOG_GROUP_PLACEHOLDER%:log-stream:%LOG_STREAM_PLACEHOLDER%"
               ]
           }
           ,
           {
               "Sid": "ReadInputStream",
               "Effect": "Allow",
               "Action": "kinesis:*",
               "Resource": "arn:aws:kinesis:us-west-2:012345678901:stream/ExampleInputStream"
           },
           
       ]
   }

1. Na página MyApplication, selecione Configure (Configurar).

2. Na página Configurar aplicativo, forneça o Local do código:

   • Em Bucket do Amazon S3, insira ka-app-code-<username>.

   • Em Caminho do objeto do Amazon S3, insira code/aws-kinesis-analytics-java-apps-1.0.jar.

3. Na seção Acesso aos recursos do aplicativo, em Permissões de acesso, selecione Criar/atualizar o perfil do IAM kinesis-analytics-MyApplication-us-west-2.

4. Em Monitoramento, confirme se Nível de monitoramento de métricas está definido como Aplicativo.

5. Em Registro em log do CloudWatch, marque a caixa de seleção Habilitar.

6. Selecione Atualizar.

1. Na página MyApplication, selecione Executar. Deixe a opção Executar sem snapshot selecionada e confirme a ação.

2. Quando o aplicativo estiver em execução, atualize a página. O console mostra o Gráfico do aplicativo.

1. Adicione as seguintes declarações de importação ao início do arquivo S3StreamingSinkJob.java:

   import org.apache.flink.streaming.api.functions.sink.filesystem.rollingpolicies.DefaultRollingPolicy;
   import org.apache.flink.streaming.api.functions.sink.filesystem.bucketassigners.DateTimeBucketAssigner;

2. Atualize o método createS3SinkFromStaticConfig() no código para que fique como se segue:

   private static StreamingFileSink<String> createS3SinkFromStaticConfig() {
   
       final StreamingFileSink<String> sink = StreamingFileSink
           .forRowFormat(new Path(s3SinkPath), new SimpleStringEncoder<String>("UTF-8"))
           .withBucketAssigner(new DateTimeBucketAssigner("yyyy-MM-dd--HH"))
           .withRollingPolicy(DefaultRollingPolicy.create().build())
           .build();
       return sink;
   }
               

1. Aumente a CheckpointInterval configuração do aplicativo. A entrada a seguir para a ação UpdateApplication define o intervalo do ponto de verificação para dez minutos:

   {
      "ApplicationConfigurationUpdate": {  
         "FlinkApplicationConfigurationUpdate": { 
            "CheckpointConfigurationUpdate": {
               "ConfigurationTypeUpdate" : "CUSTOM", 
               "CheckpointIntervalUpdate": 600000
            }
         }
      },
      "ApplicationName": "MyApplication",
      "CurrentApplicationVersionId": 5
   }

   Para usar o código anterior, especifique a versão atual do aplicativo. Você pode recuperar o ID da versão atual do aplicativo usando a ação ListApplications.

2. Adicione a seguinte declaração de importação ao início do arquivo S3StreamingSinkJob.java:

   import java.util.concurrent.TimeUnit; 

3. Atualize o método createS3SinkFromStaticConfig no arquivo S3StreamingSinkJob.java para que fique como se segue:

   private static StreamingFileSink<String> createS3SinkFromStaticConfig() {
   
           final StreamingFileSink<String> sink = StreamingFileSink
                   .forRowFormat(new Path(s3SinkPath), new SimpleStringEncoder<String>("UTF-8"))
                   .withBucketAssigner(new DateTimeBucketAssigner("yyyy-MM-dd--HH"))
                   .withRollingPolicy(
                           DefaultRollingPolicy.create()
                               .withRolloverInterval(TimeUnit.MINUTES.toMillis(8))
                               .withInactivityInterval(TimeUnit.MINUTES.toMillis(5))
                               .withMaxPartSize(1024 * 1024 * 1024)
                               .build())
                   .build();
           return sink;
       }

   O exemplo de código anterior define a frequência de gravações no bucket do Amazon S3 em oito minutos.

1. Faça login no Console de gerenciamento da AWS e abra o console do Amazon MSF em https://console.aws.amazon.com/flink.

2. No painel do Managed Service for Apache Flink, selecione MyApplication.

3. Na página do aplicativo, selecione Excluir e, em seguida, confirme a exclusão.

1. Abra o console do Kinesis em https://console.aws.amazon.com/kinesis.

2. No painel Kinesis Data Streams, selecione ExampleInputStream.

3. Na página ExampleInputStream, selecione Excluir Kinesis Stream e, em seguida, confirme a exclusão.

1. Abra o console do Amazon S3, em https://console.aws.amazon.com/s3/.

2. Selecione o bucket ka-app-code-<username>.

3. Selecione Excluir e, em seguida, insira o nome do bucket para confirmar a exclusão.

1. Abra o console do IAM em https://console.aws.amazon.com/iam/.

2. Na barra de navegação, selecione Políticas.

3. No controle do filtro, insira kinesis.

4. Selecione a política kinesis-analytics-service-MyApplication-us-west-2.

5. Selecione Ações da política e, em seguida, Excluir.

6. Na barra de navegação, selecione Funções.

7. Selecione a função kinesis-analytics-MyApplication-us-west-2.

8. Selecione Excluir função e, em seguida, confirme a exclusão.

1. Abra o console do CloudWatch em https://console.aws.amazon.com/cloudwatch/.

2. Na barra de navegação, selecione Logs.

3. Selecione o grupo de logs /aws/kinesis-analytics/MyApplication.

4. Selecione Excluir grupo de logs e, em seguida, confirme a exclusão.

1. Instale o cliente do Git, se isso ainda não foi feito. Para obter mais informações, consulte Instalando o Git.

2. Duplique o repositório remoto com o seguinte comando:

   git clone https://github.com/aws-samples/amazon-kinesis-data-analytics-examples.git

3. O código do aplicativo está localizado no arquivo amazon-kinesis-data-analytics-java-examples/KafkaConnectors/KafkaGettingStartedJob.java. Você pode examinar o código para se familiarizar com a estrutura do código do aplicativo Managed Service for Apache Flink.

4. Use a ferramenta Maven de linha de comando ou seu ambiente de desenvolvimento preferido para criar o arquivo JAR. Para compilar o arquivo JAR usando a ferramenta Maven de linha de comando, digite o seguinte:

   mvn package -Dflink.version=1.15.3

   Se a compilação for feita com sucesso, o seguinte arquivo será criado:

   target/KafkaGettingStartedJob-1.0.jar

   nota

   O código-fonte fornecido depende de bibliotecas do Java 11. Se você estiver usando um ambiente de desenvolvimento,

1. No console do Amazon S3, selecione o bucket ka-app-code-<username> e selecione Fazer upload.

2. Na etapa Selecionar arquivos, selecione Adicionar arquivos. Navegue até o arquivo KafkaGettingStartedJob-1.0.jar, criado na etapa anterior.

3. Você não precisa alterar nenhuma das configurações para o objeto, em seguida, selecione Upload.

1. Faça login no Console de gerenciamento da AWS e abra o console do Amazon MSF em https://console.aws.amazon.com/flink..

2. No painel do Managed Service for Apache Flink, selecione Criar aplicativo de analytics.

3. Na página Managed Service for Apache Flink - Criar aplicativo, forneça os detalhes do aplicativo da seguinte forma:

   • Em Nome do aplicativo, insira MyApplication.

   • Em Runtime, selecione Apache Flink 1.15.2.

4. Em Permissões de acesso, selecione Criar/atualizar o perfil do IAM kinesis-analytics-MyApplication-us-west-2.

5. Selecione Create application (Criar aplicativo).

1. Na página MyApplication, selecione Configure (Configurar).

2. Na página Configurar aplicativo, forneça o Local do código:

   • Em Bucket do Amazon S3, insira ka-app-code-<username>.

   • Em Caminho do objeto do Amazon S3, insira KafkaGettingStartedJob-1.0.jar.

3. Na seção Acesso aos recursos do aplicativo, em Permissões de acesso, selecione Criar/atualizar o perfil do IAM kinesis-analytics-MyApplication-us-west-2.

   nota

   Quando você especifica recursos do aplicativo usando o console (como o CloudWatch Logs ou um Amazon VPC), o console modifica sua função de execução do aplicativo para conceder permissão para acessar esses recursos.

4. Em Propriedades, selecione Adicionar grupo. Insira as seguintes propriedades:

   ID do grupo	Chave	Valor
   KafkaSource	tópico	AWSKafkaTutorialTopic
   KafkaSource	bootstrap.servers	A lista de servidores bootstrap que você salvou anteriormente
   KafkaSource	security.protocol	SSL
   KafkaSource	ssl.truststore.location	/usr/lib/jvm/java-11-amazon-corretto/lib/security/cacerts
   KafkaSource	ssl.truststore.password	changeit

   nota

   O ssl.truststore.password para o certificado padrão é “changeit”; você não precisa alterar esse valor se estiver usando o certificado padrão.

   Selecione Adicionar grupo novamente. Insira as seguintes propriedades:

   ID do grupo	Chave	Valor
   KafkaSink	tópico	AWSKafkaTutorialTopicDestination
   KafkaSink	bootstrap.servers	A lista de servidores bootstrap que você salvou anteriormente
   KafkaSink	security.protocol	SSL
   KafkaSink	ssl.truststore.location	/usr/lib/jvm/java-11-amazon-corretto/lib/security/cacerts
   KafkaSink	ssl.truststore.password	changeit
   KafkaSink	transaction.timeout.ms	1000

   O código do aplicativo lê as propriedades do aplicativo acima para configurar a origem e o coletor usados para interagir com sua VPC e com o cluster do Amazon MSK. Para obter mais informações sobre usar as propriedades, consulte Use as propriedades de runtime.

5. Em Snapshots, selecione Desativar. Isso facilitará a atualização do aplicativo sem carregar dados inválidos do estado do aplicativo.

6. Em Monitoramento, confirme se Nível de monitoramento de métricas está definido como Aplicativo.

7. Em CloudWatch logging, marque a caixa de seleção Habilitar.

8. Na seção Nuvem privada virtual (VPC), selecione a VPC a ser associada ao aplicativo. Selecione as sub-redes e o grupo de segurança associados à sua VPC os quais você deseja que o aplicativo use para acessar os recursos da VPC.

9. Selecione Atualizar.

1. Crie um arquivo denominado stock.py com o conteúdo a seguir:

    
       import datetime
       import json
       import random
       import boto3
   
       STREAM_NAME = "ExampleInputStream"
   
   
       def get_data():
           return {
               'event_time': datetime.datetime.now().isoformat(),
               'ticker': random.choice(['AAPL', 'AMZN', 'MSFT', 'INTC', 'TBV']),
               'price': round(random.random() * 100, 2)}
   
   
       def generate(stream_name, kinesis_client):
           while True:
               data = get_data()
               print(data)
               kinesis_client.put_record(
                   StreamName=stream_name,
                   Data=json.dumps(data),
                   PartitionKey="partitionkey")
   
   
       if __name__ == '__main__':
           generate(STREAM_NAME, boto3.client('kinesis', region_name='us-west-2'))

2. Execute o script stock.py:

   $ python stock.py

   Mantenha o script em execução enquanto você conclui o restante do tutorial.

1. Instale o cliente do Git, se isso ainda não foi feito. Para obter mais informações, consulte Instalando o Git.

2. Duplique o repositório remoto com o seguinte comando:

   git clone https://github.com/aws-samples/amazon-kinesis-data-analytics-examples.git

3. Navegue até o diretório amazon-kinesis-data-analytics-java-examples/EfoConsumer.

1. Instale o Java e o Maven, caso ainda não o tenha feito. Para obter mais informações, consulte Conclua os pré-requisitos exigidos no tutorial Tutorial: conceitos básicos no uso da API DataStream no Managed Service for Apache Flink.

2. Compile o aplicativo com o seguinte comando:

   mvn package -Dflink.version=1.15.3

   nota

   O código-fonte fornecido depende de bibliotecas do Java 11.

1. No console do Amazon S3, selecione o bucket ka-app-code-<username> e selecione Fazer upload.

2. Na etapa Selecionar arquivos, selecione Adicionar arquivos. Navegue até o arquivo aws-kinesis-analytics-java-apps-1.0.jar, criado na etapa anterior.

3. Você não precisa alterar nenhuma das configurações para o objeto, em seguida, selecione Upload.

1. Faça login no Console de gerenciamento da AWS e abra o console do Amazon MSF em https://console.aws.amazon.com/flink.

2. No painel do Managed Service for Apache Flink, selecione Criar aplicativo de analytics.

3. Na página Managed Service for Apache Flink - Criar aplicativo, forneça os detalhes do aplicativo da seguinte forma:

   • Em Nome do aplicativo, insira MyApplication.

   • Em Runtime, selecione Apache Flink.

     nota

     O Managed Service for Apache Flink usa o Apache Flink versão 1.15.2.

   • Deixe o menu suspenso de versão como Apache Flink versão 1.15.2 (versão recomendada).

4. Em Permissões de acesso, selecione Criar/atualizar o perfil do IAM kinesis-analytics-MyApplication-us-west-2.

5. Selecione Create application (Criar aplicativo).

1. Abra o console do IAM em https://console.aws.amazon.com/iam/.

2. Selecione Políticas. Selecione a política kinesis-analytics-service-MyApplication-us-west-2 que o console criou na seção anterior.

3. Na página Resumo, selecione Editar política. Selecione a guia JSON.

4. Adicione a seção destacada do exemplo de política a seguir à política. Substitua os exemplos de IDs de conta (012345678901) pelo ID da conta.

   nota

   Essas permissões concedem ao aplicativo a capacidade de acessar o consumidor EFO.

   JSON

   {
       "Version":"2012-10-17",		 	 	 
       "Statement": [
           {
               "Sid": "ReadCode",
               "Effect": "Allow",
               "Action": [
                   "s3:GetObject",
                   "logs:DescribeLogGroups",
                   "s3:GetObjectVersion"
               ],
               "Resource": [
                   "arn:aws:logs:us-west-2:012345678901:log-group:*",
                   "arn:aws:s3:::ka-app-code-<username>/aws-kinesis-analytics-java-apps-1.0.jar"
               ]
           },
           {
               "Sid": "DescribeLogStreams",
               "Effect": "Allow",
               "Action": "logs:DescribeLogStreams",
               "Resource": "arn:aws:logs:us-west-2:012345678901:log-group:/aws/kinesis-analytics/MyApplication:log-stream:*"
           },
           {
               "Sid": "PutLogEvents",
               "Effect": "Allow",
               "Action": "logs:PutLogEvents",
               "Resource": "arn:aws:logs:us-west-2:012345678901:log-group:/aws/kinesis-analytics/MyApplication:log-stream:kinesis-analytics-log-stream"
           },
           {
               "Sid": "ListCloudwatchLogGroups",
               "Effect": "Allow",
               "Action": [
                   "logs:DescribeLogGroups"
               ],
               "Resource": [
                   "arn:aws:logs:us-west-2:012345678901:log-group:*"
               ]
           },
           {
               "Sid": "AllStreams",
               "Effect": "Allow",
               "Action": [
                   "kinesis:ListShards",
                   "kinesis:ListStreamConsumers",
                   "kinesis:DescribeStreamSummary"
               ],
               "Resource": "arn:aws:kinesis:us-west-2:012345678901:stream/*"
           },
           {
               "Sid": "Stream",
               "Effect": "Allow",
               "Action": [
                   "kinesis:DescribeStream",
                   "kinesis:RegisterStreamConsumer",
                   "kinesis:DeregisterStreamConsumer"
               ],
               "Resource": "arn:aws:kinesis:us-west-2:012345678901:stream/ExampleInputStream"
           },
           {
               "Sid": "WriteOutputStream",
               "Effect": "Allow",
               "Action": "kinesis:*",
               "Resource": "arn:aws:kinesis:us-west-2:012345678901:stream/ExampleOutputStream"
           },
           {
               "Sid": "Consumer",
               "Effect": "Allow",
               "Action": [
                   "kinesis:DescribeStreamConsumer",
                   "kinesis:SubscribeToShard"
               ],
               "Resource": [
                   "arn:aws:kinesis:us-west-2:012345678901:stream/ExampleInputStream/consumer/my-efo-flink-app",
                   "arn:aws:kinesis:us-west-2:012345678901:stream/ExampleInputStream/consumer/my-efo-flink-app:*"
               ]
           }
       ]
   }
   

1. Na página MyApplication, selecione Configure (Configurar).

2. Na página Configurar aplicativo, forneça o Local do código:

   • Em Bucket do Amazon S3, insira ka-app-code-<username>.

   • Em Caminho do objeto do Amazon S3, insira aws-kinesis-analytics-java-apps-1.0.jar.

3. Na seção Acesso aos recursos do aplicativo, em Permissões de acesso, selecione Criar/atualizar o perfil do IAM kinesis-analytics-MyApplication-us-west-2.

4. Em Propriedades, selecione Criar grupo.

5. Insira as seguintes propriedades e valores de aplicativo:

   ID do grupo	Chave	Valor
   ConsumerConfigProperties	flink.stream.recordpublisher	EFO
   ConsumerConfigProperties	flink.stream.efo.consumername	basic-efo-flink-app
   ConsumerConfigProperties	INPUT_STREAM	ExampleInputStream
   ConsumerConfigProperties	flink.inputstream.initpos	LATEST
   ConsumerConfigProperties	AWS_REGION	us-west-2

6. Em Propriedades, selecione Criar grupo.

7. Insira as seguintes propriedades e valores de aplicativo:

   ID do grupo	Chave	Valor
   ProducerConfigProperties	OUTPUT_STREAM	ExampleOutputStream
   ProducerConfigProperties	AWS_REGION	us-west-2
   ProducerConfigProperties	AggregationEnabled	false

8. Em Monitoramento, confirme se Nível de monitoramento de métricas está definido como Aplicativo.

9. Em Registro em log do CloudWatch, marque a caixa de seleção Habilitar.

10. Selecione Atualizar.

1. Faça login no Console de gerenciamento da AWS e abra o console do Amazon MSF em https://console.aws.amazon.com/flink.

2. No painel do Managed Service for Apache Flink, selecione MyApplication.

3. Na página do aplicativo, selecione Excluir e, em seguida, confirme a exclusão.

1. Abra o console do Kinesis em https://console.aws.amazon.com/kinesis.

2. No painel Kinesis Data Streams, selecione ExampleInputStream.

3. Na página ExampleInputStream, Selecione Excluir Kinesis Stream e, em seguida, confirme a exclusão.

4. Na página Kinesis streams, selecione ExampleOutputStream, selecione Ações, selecione Excluir e, em seguida, confirme a exclusão.

1. Abra o console do Amazon S3, em https://console.aws.amazon.com/s3/.

2. Selecione o bucket ka-app-code-<username>.

3. Selecione Excluir e, em seguida, insira o nome do bucket para confirmar a exclusão.

1. Abra o console do IAM em https://console.aws.amazon.com/iam/.

2. Na barra de navegação, selecione Políticas.

3. No controle do filtro, insira kinesis.

4. Selecione a política kinesis-analytics-service-MyApplication-us-west-2.

5. Selecione Ações da política e, em seguida, Excluir.

6. Na barra de navegação, selecione Roles (Funções).

7. Selecione a função kinesis-analytics-MyApplication-us-west-2.

8. Selecione Excluir função e, em seguida, confirme a exclusão.

1. Abra o console do CloudWatch em https://console.aws.amazon.com/cloudwatch/.

2. No painel de navegação, selecione Logs.

3. Selecione o grupo de logs /aws/kinesis-analytics/MyApplication.

4. Selecione Excluir grupo de logs e, em seguida, confirme a exclusão.

1. Crie um arquivo denominado stock.py com o conteúdo a seguir:

    import datetime
       import json
       import random
       import boto3
   
       STREAM_NAME = "ExampleInputStream"
   
   
       def get_data():
           return {
               'event_time': datetime.datetime.now().isoformat(),
               'ticker': random.choice(['AAPL', 'AMZN', 'MSFT', 'INTC', 'TBV']),
               'price': round(random.random() * 100, 2)}
   
   
       def generate(stream_name, kinesis_client):
           while True:
               data = get_data()
               print(data)
               kinesis_client.put_record(
                   StreamName=stream_name,
                   Data=json.dumps(data),
                   PartitionKey="partitionkey")
   
   
       if __name__ == '__main__':
           generate(STREAM_NAME, boto3.client('kinesis', region_name='us-west-2'))

2. Execute o script stock.py:

   $ python stock.py

   Mantenha o script em execução enquanto você conclui o restante do tutorial.

1. Duplique o repositório remoto com o seguinte comando:

   git clone https://github.com/aws-samples/amazon-kinesis-data-analytics-examples.git

2. Navegue até o diretório amazon-kinesis-data-analytics-java-examples/FirehoseSink.

1. Instale o Java e o Maven, caso ainda não o tenha feito. Para obter mais informações, consulte Conclua os pré-requisitos exigidos no tutorial Tutorial: conceitos básicos no uso da API DataStream no Managed Service for Apache Flink.

2. Para usar o conector Kinesis no aplicativo a seguir, você precisa baixar, compilar e instalar o Apache Maven. Para obter mais informações, consulte Uso do conector Kinesis Streams para o Apache Flink com versões anteriores do Apache Flink.

3. Compile o aplicativo com o seguinte comando:

   mvn package -Dflink.version=1.15.3

   nota

   O código-fonte fornecido depende de bibliotecas do Java 11.

Para fazer upload do código do aplicativo

1. Abra o console do Amazon S3, em https://console.aws.amazon.com/s3/.

2. No console, selecione o bucket ka-app-code-<username> e selecione Upload.

3. Na etapa Selecionar arquivos, selecione Adicionar arquivos. Navegue até o arquivo java-getting-started-1.0.jar, criado na etapa anterior.

4. Você não precisa alterar nenhuma das configurações para o objeto, em seguida, selecione Upload.

1. Faça login no Console de gerenciamento da AWS e abra o console do Amazon MSF em https://console.aws.amazon.com/flink.

2. No painel do Managed Service for Apache Flink, selecione Criar aplicativo de analytics.

3. Na página Managed Service for Apache Flink - Criar aplicativo, forneça os detalhes do aplicativo da seguinte forma:

   • Em Nome do aplicativo, insira MyApplication.

   • Em Descrição, insira My java test app.

   • Em Runtime, selecione Apache Flink.

     nota

     O Managed Service for Apache Flink usa o Apache Flink versão 1.15.2.

   • Deixe o menu suspenso de versão como Apache Flink versão 1.15.2 (versão recomendada).

4. Em Permissões de acesso, selecione Criar/atualizar o perfil do IAM kinesis-analytics-MyApplication-us-west-2.

5. Selecione Create application (Criar aplicativo).

1. Abra o console do IAM em https://console.aws.amazon.com/iam/.

2. Selecione Políticas. Selecione a política kinesis-analytics-service-MyApplication-us-west-2 que o console criou na seção anterior.

3. Na página Resumo, selecione Editar política. Selecione a guia JSON.

4. Adicione a seção destacada do exemplo de política a seguir à política. Substitua todas as ocorrências do exemplo de IDs de conta (012345678901) pelo ID da conta.

   JSON

   {
       "Version":"2012-10-17",		 	 	 
       "Statement": [
           {
               "Sid": "ReadCode",
               "Effect": "Allow",
               "Action": [
                   "s3:GetObject",
                   "s3:GetObjectVersion"
               ],
               "Resource": [
                   "arn:aws:s3:::ka-app-code-username/java-getting-started-1.0.jar"
               ]
           },
           {
               "Sid": "DescribeLogGroups",
               "Effect": "Allow",
               "Action": [
                   "logs:DescribeLogGroups"
               ],
               "Resource": [
                   "arn:aws:logs:us-west-2:012345678901:log-group:*"
               ]
           },
           {
               "Sid": "DescribeLogStreams",
               "Effect": "Allow",
               "Action": [
                   "logs:DescribeLogStreams"
              ],
               "Resource": [
                   "arn:aws:logs:us-west-2:012345678901:log-group:/aws/kinesis-analytics/MyApplication:log-stream:*"
               ]
           },
           {
               "Sid": "PutLogEvents",
               "Effect": "Allow",
               "Action": [
                   "logs:PutLogEvents"
               ],
               "Resource": [
                   "arn:aws:logs:us-west-2:012345678901:log-group:/aws/kinesis-analytics/MyApplication:log-stream:kinesis-analytics-log-stream"
               ]
           },
           {
               "Sid": "ReadInputStream",
               "Effect": "Allow",
               "Action": "kinesis:*",
               "Resource": "arn:aws:kinesis:us-west-2:012345678901:stream/ExampleInputStream"
           },
           {
               "Sid": "WriteDeliveryStream",
               "Effect": "Allow",
               "Action": "firehose:*",
               "Resource": "arn:aws:firehose:us-west-2:012345678901:deliverystream/ExampleDeliveryStream"
           }
       ]
   }
   

1. Na página MyApplication, selecione Configure (Configurar).

2. Na página Configurar aplicativo, forneça o Local do código:

   • Em Bucket do Amazon S3, insira ka-app-code-<username>.

   • Em Caminho do objeto do Amazon S3, insira java-getting-started-1.0.jar.

3. Na seção Acesso aos recursos do aplicativo, em Permissões de acesso, selecione Criar/atualizar o perfil do IAM kinesis-analytics-MyApplication-us-west-2.

4. Em Monitoramento, confirme se Nível de monitoramento de métricas está definido como Aplicativo.

5. Em Registro em log do CloudWatch, marque a caixa de seleção Habilitar.

6. Selecione Atualizar.

Para criar uma perfil do IAM

1. Abra o console do IAM em https://console.aws.amazon.com/iam/.

2. No painel de navegação, selecione Funções e Criar função.

3. Em Selecionar tipo de identidade de confiança, selecione Serviço da AWS. Em Selecionar o serviço que usará esta função, selecione Kinesis. Em Selecionar seu caso de uso, selecione Kinesis Analytics.

   Selecione Next: Permissions (Próximo: permissões).

4. Na página Attach permissions policies, selecione Next: Review. É possível anexar políticas de permissões depois de criar a função.

5. Na página Criar função, insira MF-stream-rw-role para o Nome da função. Selecione Criar função.

   Foi criado um perfil do IAM chamado MF-stream-rw-role. Em seguida, atualize as políticas de confiança e de permissões para a função.

6. Anexe a política de permissões à função.

   nota

   Para este exercício, o Managed Service for Apache Flink assume esse perfil para ler dados de um fluxo de dados do Kinesis (origem) e gravar a saída em outro fluxo de dados do Kinesis. Depois, anexe a política criada na etapa anterior, Criar uma política de permissões.

   1. Na página Resumo, selecione a guia Permissões.

   2. Selecione Attach Policies.

   3. Na caixa de pesquisa, insira AKReadSourceStreamWriteSinkStream (a política criada na seção anterior).

   4. Selecione a política AKReadSourceStreamWriteSinkStream e selecione Anexar política.