Configure o conector de coletor EventBridge Kafka para o MSK Connect - Amazon Managed Streaming for Apache Kafka
Pré-requisitosConfigurar os recursos necessários para o MSK ConnectCriar o conectorEnviar mensagens para o Kafka

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Configure o conector de coletor EventBridge Kafka para o MSK Connect

Este tópico mostra como configurar o conector do coletor EventBridge Kafka para o MSK Connect. Esse conector permite que você envie eventos do seu cluster MSK para barramentos de EventBridge eventos. Este tópico descreve o processo para criar os recursos necessários e configurar o conector para permitir um fluxo de dados contínuo entre Kafka e. EventBridge

Pré-requisitos

Antes de implantar o conector, verifique se você tem os seguintes recursos:

  • Cluster Amazon MSK: um cluster MSK ativo para produzir e consumir mensagens do Kafka.

  • Ônibus de EventBridge eventos da Amazon: um ônibus de EventBridge eventos para receber eventos dos tópicos de Kafka.

  • Funções do IAM: crie funções do IAM com as permissões necessárias para o MSK Connect e o EventBridge conector.

  • Acesso à Internet pública a partir do MSK Connect ou de um endpoint EventBridge de interface VPC criado na VPC e na sub-rede do seu cluster MSK. Isso ajuda a evitar a passagem pela Internet pública e evita a necessidade de gateways NAT.

  • Uma máquina cliente, como uma instância do Amazon EC2 ou AWS CloudShell, para criar tópicos e enviar logs para o Kafka.

Configurar os recursos necessários para o MSK Connect

Crie um perfil do IAM para o conector e, em seguida, crie o conector. Você também cria uma EventBridge regra para filtrar os eventos do Kafka enviados para o EventBridge ônibus de eventos.

Perfil do IAM para o conector

A função do IAM que você associa ao conector deve ter a PutEventspermissão para permitir o envio de eventos para EventBridge. O exemplo de política do IAM a seguir concede a você a permissão para enviar eventos para um barramento de eventos chamado example-event-bus. Certifique-se de substituir o ARN do recurso no exemplo a seguir pelo ARN do seu barramento de eventos.

JSON
{
  "Version":"2012-10-17",
  "Statement": [
    {
      "Effect": "Allow",
      "Action": [
        "events:PutEvents"
      ],
      "Resource": "arn:aws:events:us-east-1:123456789012:event-bus/example-event-bus"
    }
  ]
}

Você também deve garantir que o perfil do IAM para o conector contenha a política de confiança a seguir.

JSON
{
  "Version":"2012-10-17",
  "Statement": [
    {
      "Effect": "Allow",
      "Principal": {
        "Service": "kafkaconnect.amazonaws.com"
      },
      "Action": "sts:AssumeRole"
    }
  ]
}

Uma EventBridge regra para eventos recebidos

Você cria regras que combinam eventos recebidos com critérios de dados de eventos, conhecidos como padrão de eventos. Com um padrão de evento, você pode definir os critérios para filtrar os eventos recebidos e definir quais eventos devem acionar uma regra específica e, posteriormente, serem roteados para um destino designado. O exemplo a seguir de um padrão de evento corresponde aos eventos do Kafka enviados para o EventBridge barramento de eventos.

{
  "detail": {
    "topic": ["msk-eventbridge-tutorial"]
  }
}

Veja a seguir um exemplo de um evento enviado do Kafka para EventBridge usar o conector do coletor Kafka.

{
  "version": "0",
  "id": "dbc1c73a-c51d-0c0e-ca61-ab9278974c57",
  "account": "123456789012",
  "time": "2025-03-26T10:15:00Z",
  "region": "us-east-1",
  "detail-type": "msk-eventbridge-tutorial",
  "source": "kafka-connect.msk-eventbridge-tutorial",
  "resources": [],
  "detail": {
    "topic": "msk-eventbridge-tutorial",
    "partition": 0,
    "offset": 0,
    "timestamp": 1742984100000,
    "timestampType": "CreateTime",
    "headers": [],
    "key": "order-1",
    "value": {
      "orderItems": [
        "item-1",
        "item-2"
      ],
      "orderCreatedTime": "Wed Mar 26 10:15:00 UTC 2025"
    }
  }
}

No EventBridge console, crie uma regra no barramento de eventos usando esse padrão de exemplo e especifique um destino, como um grupo de CloudWatch registros. O EventBridge console configurará automaticamente a política de acesso necessária para o grupo CloudWatch Registros.

Criar o conector

Na seção a seguir, você cria e implanta o conector coletor EventBridge Kafka usando o. Console de gerenciamento da AWS

Etapa 1: Download do coletor

Baixe o coletor de EventBridge conectores JAR mais recente na página de GitHub lançamentos do conector EventBridge Kafka. Por exemplo, para baixar a versão v1.4.1, escolha o link kafka-eventbridge-sink-with-dependencies.jar do arquivo JAR para baixar o conector. Em seguida, salve o arquivo no local desejado da sua máquina.

Etapa 2: criar um bucket do Amazon S3

  1. Para armazenar o arquivo JAR no Amazon S3 para uso com o MSK Connect, abra Console de gerenciamento da AWS o e escolha Amazon S3.

  2. No console do Amazon S3, escolha Criar bucket e insira um nome de bucket exclusivo. Por exemplo, .amzn-s3-demo-bucket1-eb-connector

  3. Escolha uma região apropriada para o bucket do Amazon S3. Verifique se ele corresponde à região em que seu cluster MSK está implantado.

  4. Para as Configurações do Bucket, mantenha as seleções padrão ou ajuste conforme necessário.

  5. Selecione Create bucket (Criar bucket)

  6. Faça upload do arquivo JAR no bucket do Amazon S3.

Etapa 3: criar um plug-in no MSK Connect

  1. Abra o e Console de gerenciamento da AWS, em seguida, navegue até o MSK Connect.

  2. No painel de navegação à esquerda, escolha Plug-ins personalizados.

  3. Escolha Criar plug-in e insira o Nome do plug-in. Por exemplo, .eventbridge-sink-plugin

  4. Em Localização do plug-in personalizado, cole a URL do objeto S3.

  5. Adicione uma descrição opcional para o plug-in.

  6. Escolha Criar plug-in.

Depois que o plug-in for criado, você poderá usá-lo para configurar e implantar o conector EventBridge Kafka no MSK Connect.

Etapa 4: criar o conector

Antes de criar o conector, recomendamos criar o tópico necessário do Kafka para evitar erros no conector. Para criar o tópico, use sua máquina cliente.

  1. No painel esquerdo do console do MSK, escolha Conectores e Criar conector.

  2. Na lista de plug-ins, escolha eventbridge-sink-plugin e escolha Próximo.

  3. Insira EventBridgeSink como o nome do conector.

  4. Na lista de clusters, escolha seu cluster do MSK.

  5. Copie a configuração a seguir e cole no campo Configuração do conector.

    Substitua os espaços reservados na configuração a seguir de acordo com a necessidade.

    • Remova aws.eventbridge.endpoint.uri se seu cluster do MSK tiver acesso à Internet pública.

    • Se você costuma PrivateLink se conectar com segurança do MSK a EventBridge, substitua a parte DNS depois https:// pelo nome DNS privado correto do endpoint da interface VPC (opcional) criado anteriormente. EventBridge

    • Substitua o ARN do barramento de EventBridge eventos na configuração a seguir pelo ARN do seu barramento de eventos.

    • Atualize todos os valores específicos da região.

    {
  "connector.class": "software.amazon.event.kafkaconnector.EventBridgeSinkConnector",
  "aws.eventbridge.connector.id": "msk-eventbridge-tutorial",
  "topics": "msk-eventbridge-tutorial",
  "tasks.max": "1",
  "aws.eventbridge.endpoint.uri": "https://events.us-east-1.amazonaws.com",
  "aws.eventbridge.eventbus.arn": "arn:aws:events:us-east-1:123456789012:event-bus/example-event-bus",
  "value.converter.schemas.enable": "false",
  "value.converter": "org.apache.kafka.connect.json.JsonConverter",
  "aws.eventbridge.region": "us-east-1",
  "auto.offset.reset": "earliest",
  "key.converter": "org.apache.kafka.connect.storage.StringConverter"
}

    Para obter mais informações sobre a configuração do conector, consulte eventbridge-kafka-connector.

    Se necessário, altere as configurações dos operadores e o escalonamento automático. Também recomendamos usar a versão mais recente (recomendada) do Apache Kafka Connect disponível no menu suspenso. Em Permissões de acesso, use a função criada anteriormente. Também recomendamos ativar o registro em para fins de CloudWatch observabilidade e solução de problemas. Ajuste as outras configurações opcionais, como tags, de acordo com suas necessidades. Em seguida, implante o conector e aguarde até que o status esteja no estado Executando.

Enviar mensagens para o Kafka

Você pode configurar codificações de mensagens, como Apache Avro e JSON, especificando diferentes conversores usando value.converter e, opcionalmente, as configurações de key.converter disponíveis no Kafka Connect.

O connector example neste tópico está configurado para funcionar com mensagens codificadas em JSON, conforme indicado pelo uso de org.apache.kafka.connect.json.JsonConverter em value converter. Quando o conector estiver no estado Executando, envie logs para o tópico msk-eventbridge-tutorial do Kafka da sua máquina cliente.