Amazon MSK - Amazon Timestream
Usar o serviço gerenciado para Apache FlinkUso do Kafka Connect

Para recursos semelhantes aos do Amazon Timestream para LiveAnalytics, considere o Amazon Timestream para InfluxDB. Ele oferece ingestão de dados simplificada e tempos de resposta de consulta de um dígito em milissegundos para análises em tempo real. Saiba mais aqui.

Amazon MSK

Usar o serviço gerenciado para o Apache Flink para enviar dados Amazon MSK para o Timestream para LiveAnalytics

Você pode enviar dados de Amazon MSK para Timestream criando um conector de dados semelhante ao conector de Timestream dados de amostra do serviço gerenciado para Apache Flink. Consulte Amazon Managed Service for Apache Flink para obter mais informações.

Usar o Kafka Connect para enviar dados do Amazon MSK para o Timestream para LiveAnalytics

Você pode usar o Kafka Connect para ingerir seus dados de séries temporais Amazon MSK diretamente no Timestream para LiveAnalytics.

Criamos um exemplo de conector de pia Kafka para Timestream. Também criamos um exemplo de plano de teste do Apache JMeter para publicar dados em um tópico do Kafka, para que os dados possam fluir do tópico por meio do conector Timestream Kafka Sink para uma tabela Timestream para LiveAnalytics. Todos esses artefatos estão disponíveis no GitHub.

nota

O Java 11 é a versão recomendada para usar o Timestream Kafka Sink Connector. Se você tiver várias versões do Java, certifique-se de exportar o Java 11 para sua variável de ambiente JAVA_HOME.

Como criar um aplicativo de exemplo

Para começar a usar, siga o procedimento apresentado a seguir.

  1. No Timestream for LiveAnalytics, crie um banco de dados com o nome kafkastream.

    Veja o procedimento Criar um banco de dados para obter instruções detalhadas.

  2. No Timestream para LiveAnalytics, crie uma tabela com o nome purchase_history:

    Veja o procedimento Criar uma tabela para obter instruções detalhadas.

  3. Siga as instruções compartilhadas no para criar o seguinte: , e .

    • Um cluster do Amazon MSK

    • Uma instância Amazon EC2 configurada como uma máquina cliente produtora do Kafka

    • Um tópico do Kafka

    Consulte os pré-requisitos do projeto kafka_ingestor para obter instruções detalhadas.

  4. Clone o repositório do TimestreamKafka Sink Connector.

    Consulte Clonar um repositório no GitHub para obter instruções detalhadas.

  5. Compile o código do plugin.

    Consulte o Conector - Crie a partir do código-fonte no GitHub para obter instruções detalhadas.

  6. Faça upload dos seguintes arquivos para um bucket do S3: seguindo as instruções descritas em .

    • O arquivo jar (kafka-connector-timestream->version<-jar-with-dependencies.jar) do diretório /target

    • O arquivo de amostra do esquema json, purchase_history.json.

    Consulte Carregar objetos no Guia do usuário Amazon S3 para obter instruções detalhadas.

  7. Criar endpoints da VPC Esses endpoints seriam usados pelo MSK Connector para acessar os recursos usando o AWS PrivateLink.

    • Um para acessar o bucket Amazon S3

    • Um para acessar a tabela Timestream para LiveAnalytics.

    Para obter instruções, consulte Endpoint da VPC.

  8. Crie um plug-in personalizado com o arquivo jar enviado.

    Consulte Plugins no Guia do desenvolvedor Amazon MSK para obter instruções detalhadas.

  9. Crie uma configuração de trabalho personalizada com o conteúdo JSON descrito nos parâmetros de configuração do trabalhador, seguindo as instruções descritas em

    Consulte Criação de uma configuração de trabalhador personalizada no Guia do desenvolvedorAmazon MSK para obter instruções detalhadas.

  10. Crie uma função de perfil IAM de serviço.

    Consulte o IAMPerfil de serviço para obter instruções detalhadas.

  11. Crie um conector Amazon MSK com o plug-in personalizado, a configuração personalizada do trabalhador e a IAM função de execução do serviço criada nas etapas anteriores e com o Exemplo de configuração do conector.

    Consulte Criação de um conector no Guia do desenvolvedor Amazon MSK para obter instruções detalhadas.

    Não se esqueça de atualizar os valores dos parâmetros de configuração abaixo com os respectivos valores. Consulte os parâmetros de configuração do conector para obter detalhes.

    • aws.region

    • timestream.schema.s3.bucket.name

    • timestream.ingestion.endpoint

    A criação do conector leva de 5 a 10 minutos para ser concluída. O pipeline estará pronto quando seu status mudar para Running.

  12. Publique um fluxo contínuo de mensagens para gravar dados no tópico criado pelo Kafka.

    Consulte Como usá-lo para obter instruções detalhadas.

  13. Execute uma ou mais consultas para garantir que os dados estejam sendo enviados do MSK Connect Amazon MSK para a tabela Timestream para LiveAnalytics.

    Veja o procedimento Execute uma consulta para obter instruções detalhadas.

Recursos adicionais

O blog Ingestão de dados sem servidor em tempo real de seus clusters do Kafka no Timestream para LiveAnalytics usando o Kafka Connect explica a configuração de um pipeline de ponta a ponta usando o conector Kafka Sink do Timestream para LiveAnalytics, começando com uma máquina cliente produtora do Kafka que usa o plano de teste Apache LiveMeter para publicar milhares de mensagens de amostra em um tópico do Kafka Tabela de análise.