Como criar um pipe do Amazon EventBridge - Amazon EventBridge
Como especificar uma origemComo configurar a filtragemComo definir o enriquecimentoComo configurar um destinoComo configurar definições de pipeComo validar os parâmetros de configuração

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Como criar um pipe do Amazon EventBridge

O EventBridge Pipes permite que a criação de integrações ponto a ponto entre origens e destinos, incluindo enriquecimento e transformações avançadas de eventos.

Para criar um pipe do EventBridge, execute as seguintes etapas:

  1. Como especificar uma origem

  2. Como configurar a filtragem de eventos (opcional)

  3. Como definir o enriquecimento do evento (opcional)

  4. Como configurar um destino

  5. Como configurar as definições de pipe

Para configurar rapidamente um pipe de amostra, consulte Conceitos básicos: criar um pipe do Amazon EventBridge. Este tópico usa o CloudFormation para implantar um pipe e os recursos associados, além de apresentar a você uma visão geral dos recursos de um pipe.

Para obter informações sobre como criar um pipe usando a AWS CLI, consulte create-pipe na Referência de Comandos da AWS CLI.

Como especificar uma origem

Para começar, especifique a origem da qual deseja que o pipe receba eventos.

Para especificar uma origem de pipe usando o console

  1. Abra o console do Amazon EventBridge em https://console.aws.amazon.com/events/.

  2. No painel de navegação, escolha Pipes.

  3. Escolha Criar pipe.

  4. Insira um nome para o pipe.

  5. (Opcional) Adicione uma descrição para o pipe.

  6. Na guia Criar pipe, em Origem, escolha o tipo de origem que você deseja especificar para esse pipe e configure a origem.

    As propriedades de configuração diferem com base no tipo de origem escolhida:

    Confluent
    Como configurar um fluxo do Confluent Cloud como origem usando o console

    1. Em Origem, selecione Confluent Cloud.

    2. Para Servidores bootstrap, insira os endereços de pares host:port de seus agentes.

    3. Em Nome do tópico: insira o nome do tópico do qual o pipe lerá.

    4. (Opcional) Em VPC, escolha a VPC que deseja. Em seguida, para sub-redes VPC, escolha as sub-redes desejadas. Em Grupos de segurança, escolha os grupos de segurança.

    5. Em Autenticação: opcional, ative Usar autenticação e faça o seguinte:

      1. Em Método de autenticação, escolha o tipo de autenticação.

      2. Em Chave secreta, escolha a chave secreta.

      Para obter mais informações, consulte Authenticate to Confluent Cloud resources na documentação da Confluent.

    6. (Opcional) Em Configurações adicionais, faça o seguinte:

      1. Para Posição inicial, escolha uma das seguintes opções:

        • Mais recente: comece a ler o fluxo com o registro mais recente no fragmento.

        • Horizonte de corte: comece a ler o fluxo com o registro mais recente não cortado no fragmento. Este é o registro mais antigo do fragmento.

      2. Em Tamanho do lote: opcional, insira um número máximo de registros para cada lote. O valor padrão é 100.

      3. Em Janela de lotes: opcional, insira um número máximo de segundos para coletar registros antes de continuar.

    DynamoDB

    1. Em Origem, escolha DynamoDB.

    2. Para o fluxo do DynamoDB, escolha o fluxo que você deseja usar como origem.

    3. Para Posição inicial, escolha uma das seguintes opções:

      • Mais recente: comece a ler o fluxo com o registro mais recente no fragmento.

      • Horizonte de corte: comece a ler o fluxo com o registro mais recente não cortado no fragmento. Este é o registro mais antigo do fragmento.

    4. (Opcional) Em Configurações adicionais, faça o seguinte:

      1. Em Tamanho do lote: opcional, insira um número máximo de registros para cada lote. O valor padrão é 100.

      2. Em Janela de lotes: opcional, insira um número máximo de segundos para coletar registros antes de continuar.

      3. Em Lotes simultâneos por fragmento: opcional, insira o número de lotes do mesmo fragmento que podem ser lidos ao mesmo tempo.

      4. Para Em caso de falha parcial do item do lote, escolha o seguinte:

        • AUTOMATIC_BISECT: divida cada lote na metade e faça novas tentativas com cada metade até que todos os registros sejam processados ou que reste apenas uma mensagem com falha no lote.

        nota

        Se não escolher AUTOMATIC_BISECT, poderá retornar registros específicos com falha e somente aqueles serão repetidos.

    Kinesis
    Para configurar uma origem do Kinesis usando o console

    1. Em Origem, escolha Kinesis.

    2. Para o fluxo do Kinesis, escolha o fluxo que você deseja usar como origem.

    3. Para Posição inicial, escolha uma das seguintes opções:

      • Mais recente: comece a ler o fluxo com o registro mais recente no fragmento.

      • Horizonte de corte: comece a ler o fluxo com o registro mais recente não cortado no fragmento. Este é o registro mais antigo do fragmento.

      • No timestamp: comece a ler o fluxo a partir de um horário especificado. Em Carimbo de data/hora, insira dados e hora usando os formatos AAAA/MM/DD e hh:mm:ss.

    4. (Opcional) Em Configurações adicionais, faça o seguinte:

      1. Em Tamanho do lote: opcional, insira um número máximo de registros para cada lote. O valor padrão é 100.

      2. (Opcional) Para Janela batch: opcional, insira um número máximo de segundos para coletar registros antes de continuar.

      3. Em Lotes simultâneos por fragmento: opcional, insira o número de lotes do mesmo fragmento que podem ser lidos ao mesmo tempo.

      4. Para Em caso de falha parcial do item do lote, escolha o seguinte:

        • AUTOMATIC_BISECT: divida cada lote na metade e faça novas tentativas com cada metade até que todos os registros sejam processados ou que reste apenas uma mensagem com falha no lote.

        nota

        Se não escolher AUTOMATIC_BISECT, poderá retornar registros específicos com falha e somente aqueles serão repetidos.

    Amazon MQ
    Para configurar uma origem do Amazon MQ usando o console

    1. Em Origem, selecione Amazon MQ.

    2. Para o agente do Amazon MQ, escolha o fluxo que deseja usar como origem.

    3. Em Nome da fila, insira o nome da fila da qual o pipe lerá.

    4. Em Método de autenticação, escolha BASIC_AUTH.

    5. Em Chave secreta, escolha a chave secreta.

    6. (Opcional) Em Configurações adicionais, faça o seguinte:

      1. Em Tamanho do lote: opcional, insira um número máximo de mensagens para cada lote. O valor padrão é 100.

      2. Em Janela de lotes: opcional, insira um número máximo de segundos para coletar registros antes de continuar.

    Amazon MSK
    Para configurar uma origem do Amazon MSK usando o console

    1. Em Origem, selecione Amazon MSK.

    2. Em cluster do Amazon MSK, escolha o cluster que deseja usar.

    3. Em Nome do tópico: insira o nome do tópico do qual o pipe lerá.

    4. (Opcional) Em ID do grupo de consumidores: opcional, insira o ID de um grupo de consumidores no qual deseja que o pipe entre.

    5. (Opcional) Para Autenticação: opcional, ative Usar Autenticação e faça o seguinte:

      1. Em Método de autenticação, escolha o tipo que deseja.

      2. Em Chave secreta, escolha a chave secreta.

    6. (Opcional) Em Configurações adicionais, faça o seguinte:

      1. Em Tamanho do lote: opcional, insira um número máximo de registros para cada lote. O valor padrão é 100.

      2. Em Janela de lotes: opcional, insira um número máximo de segundos para coletar registros antes de continuar.

      3. Para Posição inicial, escolha uma das seguintes opções:

        • Mais recente: comece a ler o tópico com o registro mais recente no fragmento.

        • Horizonte de corte: comece a ler o tópico com o registro mais recente não cortado no fragmento. Este é o registro mais antigo do fragmento.

          nota

          Horizonte de corte é o mesmo que Mais antigo para Apache Kafka.

    Self managed Apache Kafka
    Para configurar uma origem autogerenciada do Apache Kafka usando o console

    1. Em Origem, escolha Apache Kafka autogerenciado.

    2. Para Servidores bootstrap, insira os endereços de pares host:port de seus agentes.

    3. Em Nome do tópico: insira o nome do tópico do qual o pipe lerá.

    4. (Opcional) Em VPC, escolha a VPC que deseja. Em seguida, para sub-redes VPC, escolha as sub-redes desejadas. Em Grupos de segurança, escolha os grupos de segurança.

    5. (Opcional) Para Autenticação: opcional, ative Usar Autenticação e faça o seguinte:

      1. Em Método de autenticação, escolha o tipo de autenticação.

      2. Em Chave secreta, escolha a chave secreta.

    6. (Opcional) Em Configurações adicionais, faça o seguinte:

      1. Para Posição inicial, escolha uma das seguintes opções:

        • Mais recente: comece a ler o fluxo com o registro mais recente no fragmento.

        • Horizonte de corte: comece a ler o fluxo com o registro mais recente não cortado no fragmento. Este é o registro mais antigo do fragmento.

      2. Em Tamanho do lote: opcional, insira um número máximo de registros para cada lote. O valor padrão é 100.

      3. Em Janela de lotes: opcional, insira um número máximo de segundos para coletar registros antes de continuar.

    Amazon SQS
    Para configurar uma origem do Amazon SQS usando o console

    1. Em Origem, escolha SQS.

    2. Na fila SQS, escolha a fila que você deseja usar.

    3. (Opcional) Em Configurações adicionais, faça o seguinte:

      1. Em Tamanho do lote: opcional, insira um número máximo de registros para cada lote. O valor padrão é 100.

      2. Em Janela de lotes: opcional, insira um número máximo de segundos para coletar registros antes de continuar.

Como configurar a filtragem de eventos (opcional)

É possível adicionar filtragem ao seu pipe para enviar apenas um subconjunto de eventos da sua origem para o destino.

Para configurar a filtragem usando o console

  1. Escolha Filtragem.

  2. Em Exemplo de evento: opcional, você verá um evento de amostra que pode ser usado para criar seu padrão de evento ou pode inserir seu próprio evento escolhendo Inserir seu próprio evento.

  3. Em Padrão do evento, insira o padrão do evento que deseja usar para filtrar os eventos. Para obter mais informações sobre construção de filtros, consulte Filtragem de eventos no Amazon EventBridge Pipes.

    A seguir, um exemplo de padrão de evento que envia somente eventos com o valor Seattle no campo Cidade.

    {
  "data": {
    "City": ["Seattle"]
  }
}

Agora que os eventos estão sendo filtrados, é possível adicionar enriquecimento opcional e um destino para o pipe.

Como definir o enriquecimento do evento (opcional)

É possível enviar os dados do evento para enriquecimento em uma função do Lambda, máquina de estado do AWS Step Functions, Amazon API Gateway ou destino de API.

Para selecionar o enriquecimento

  1. Escolha Enriquecimento.

  2. Em Detalhes, em Serviço, selecione o serviço e as configurações relacionadas que deseja usar para enriquecimento.

Também é possível transformar os dados antes de enviá-los para serem aprimorados.

(Opcional) Para definir o transformador de entrada

  1. Escolha o Transformador de entrada de enriquecimento: opcional.

  2. Em Amostra de eventos/Carga útil do evento, escolha o tipo de evento de amostra.

  3. Para Transformer, insira a sintaxe do transformador, como "Event happened at <$.detail.field>." onde <$.detail.field> é uma referência a um campo do evento de amostra. Também é possível clicar duas vezes em um campo do evento de amostra para adicioná-lo ao transformador.

  4. Em Saída, verifique se a saída tem a aparência desejada.

Agora que os dados foram filtrados e aprimorados, é preciso definir um destino para o qual enviar os dados do evento.

Como configurar um destino

Para configurar um destino

  1. Selecione Target.

  2. Em Detalhes, para o Serviço de destino, escolha o destino. Os campos que são exibidos variam de acordo com o serviço escolhido. Insira as informações específicas desse tipo de destino conforme necessário.

Também é possível transformar os dados antes de enviá-los ao destino.

(Opcional) Para definir o transformador de entrada

  1. Escolha Transformador de entrada de destino: opcional.

  2. Em Amostra de eventos/Carga útil do evento, escolha o tipo de evento de amostra.

  3. Para Transformer, insira a sintaxe do transformador, como "Event happened at <$.detail.field>." onde <$.detail.field> é uma referência a um campo do evento de amostra. Também é possível clicar duas vezes em um campo do evento de amostra para adicioná-lo ao transformador.

  4. Em Saída, verifique se a saída tem a aparência desejada.

Agora que o pipe está configurado, verifique se suas configurações estão definidas corretamente.

Como configurar as definições de pipe

Um pipe está ativo por padrão, mas você pode desativá-lo. Também é possível especificar as permissões do pipe, configurar o registro em log de pipes e adicionar tags.

Configurar as definições de pipe

  1. Escolha a guia Configurações de pipe.

  2. Por padrão, os pipes recém-criados ficam ativos assim que são criados. Se quiser criar um pipe inativo, em Ativação, para Ativar pipe, desative Ativo.

  3. Em Permissões, para Perfil de execução, faça o seguinte:

    1. Para que o EventBridge crie um novo perfil de execução para você, escolha Criar um novo perfil para este recurso específico. Em Nome do perfil, você pode, opcionalmente, editar o nome do perfil.

    2. Para um perfil de execução existente, escolha Usar perfil existente. Em Nome do perfil, escolha o perfil.

  4. (Opcional) Se especificou um fluxo Kinesis ou DynamoDB como origem do pipe, poderá configurar uma política de novas tentativas e uma fila de mensagens não entregues (DLQ).

    Para Política de repetição e fila de mensagens não entregues: opcional, faça o seguinte:

    Em Revisar política, faça o seguinte:

    1. Se quiser habilitar políticas de novas tentativas, ative Novas tentativas. Por padrão, os pipes recém-criados não têm uma política de repetição ativada.

    2. Em Tempo Máximo do Evento, insira um valor entre um minuto (00:01) e 24 horas (24:00).

    3. Em Tentativas de Repetição, insira um número entre 0 e 185.

    4. Se quiser usar uma fila de mensagens não entregues (DLQ), ative a Fila de mensagens não entregues, escolha o método de sua preferência e escolha a fila ou o tópico que gostaria de usar. Por padrão, os pipes recém-criados não usam uma DLQ.

  5. Escolha a KMS key para o EventBridge usar ao criptografar dados de um pipe.

    Para obter mais informações sobre como o EventBridge usa KMS keys, consulte Criptografia em repouso.

    • Escolha Usar Chave pertencente à AWS para o EventBridge criptografar os dados usando uma Chave pertencente à AWS.

      Essa Chave pertencente à AWS é uma KMS key que o EventBridge possui e gerencia para uso em várias contas da AWS. Em geral, a menos que seja necessário auditar ou controlar a chave de criptografia que protege os recursos, uma Chave pertencente à AWS é uma boa escolha.

      Esse é o padrão.

    • Escolha Usar chave gerenciada pelo cliente para o EventBridge criptografar os dados usando a chave gerenciada pelo cliente que você especifica ou cria.

      Chaves gerenciadas pelo cliente são KMS keys na sua conta da AWS que você cria, possui e gerencia. Você tem controle total sobre essas KMS keys.

      1. Especifique uma chave gerenciada pelo cliente existente ou selecione Criar uma KMS key.

        O EventBridge exibe o status da chave e quaisquer aliases de chave que tenham sido associados à chave gerenciada pelo cliente especificada.

  6. (Opcional) Em Logs: opcional, você pode configurar como o EventBridge Pipes envia informações de registro em log para os serviços compatíveis, incluindo como configurar esses logs.

    Para obter mais informações sobre o registro em log de pipes, consulte Registrar em log o desempenho do Amazon EventBridge Pipes.

    Os logs do CloudWatch são selecionados como destino de log por padrão, assim como o nível de log de ERROR. Então, por padrão, o EventBridge Pipes cria um novo grupo de logs do CloudWatch para o qual envia registros de log contendo o nível de detalhe ERROR.

    Para que o EventBridge Pipes envie registros de log para qualquer um dos destinos de log compatíveis, faça o seguinte:

    1. Em Registros: opcional, escolha os destinos para os quais deseja que os registros de log sejam entregues.

    2. Em Nível de log, escolha o nível de informações a para que o EventBridge inclua nos registros de log. O nível de log ERROR é selecionado por padrão.

      Para obter mais informações, consulte Como especificar o nível de logs do EventBridge Pipes.

    3. Selecione Incluir dados de execução se quiser que o EventBridge incluia informações de carga útil do evento e informações de solicitação e resposta de serviço nos registros de log.

      Para obter mais informações, consulte Como incluir dados de execução nos logs do EventBridge Pipes.

    4. Configure cada destino de log selecionado por você:

      Para logs do CloudWatch Logs, em logs do CloudWatch, faça o seguinte:

      • Para grupo de logs do CloudWatch, escolha se deseja que o EventBridge crie um novo grupo de logs, ou é possível selecionar um grupo de logs existente ou especificar o ARN de um grupo de logs existente.

      • Para novos grupos de logs, edite o nome do grupo de logs conforme desejado.

      Os logs do CloudWatch são selecionados por padrão.

      Para logs de fluxo do Firehose, em Log de fluxo do Firehose, selecione o fluxo do Firehose.

      Para logs do Amazon S3, em logs do S3, faça o seguinte:

      • Insira o nome do bucket a ser usado como destino do log.

      • Insira o ID da conta da AWS do proprietário do bucket.

      • Insira qualquer texto de prefixo que você queira usar quando o EventBridge criar objetos do S3.

        Para obter informações, consulte Como organizar objetos usando prefixos no Guia do usuário do Amazon Simple Storage Service.

      • Escolha como deseja que o EventBridge formate os registros de log do S3:

  7. (Opcional) Em Tags: opcional, escolha Adicionar nova tag e insira uma ou mais tags para a regra. Para obter mais informações, consulte Marcação de recursos com tags no Amazon EventBridge.

  8. Escolha Criar pipe.

Como validar os parâmetros de configuração

Depois que um pipe é criado, o EventBridge valida os seguintes parâmetros de configuração:

  • Perfil do IAM: como a origem de um pipe não pode ser alterada após a criação do pipe, o EventBridge verifica se o perfil do IAM fornecido pode acessar a origem.

    nota

    O EventBridge não realiza a mesma validação para enriquecimentos ou destinos porque eles podem ser atualizados após a criação do pipe.

  • Processamento em lotes: o EventBridge valida que o tamanho do lote da origem não excede o tamanho máximo do lote de destino. Se isso acontecer, o EventBridge exigirá um tamanho de lote menor. Além disso, se um destino não for compatível com o processamento de lotes, não será possível configurar o processamento de lotes no EventBridge para a origem.

  • Enriquecimentos: o EventBridge valida que o tamanho do lote para enriquecimentos do API Gateway e do destino da API é 1, pois somente tamanhos de lote de 1 são compatíveis.