Configurar os recursos necessários para o MSK Connect - Amazon Managed Streaming for Apache Kafka

Configurar os recursos necessários para o MSK Connect

Nesta etapa, você cria os seguintes recursos necessários para esse cenário inicial:

  • Um bucket do Amazon S3 para servir como destino que recebe dados do conector.

  • Um cluster do MSK para o qual você enviará dados. Em seguida, o conector lerá os dados desse cluster e os enviará para o bucket S3 de destino.

  • Uma política do IAM que contém as permissões para gravar no bucket do S3 de destino.

  • Um perfil do IAM que permite ao conector gravar no bucket do S3 de destino. Você adicionará a política do IAM criada a esse perfil.

  • Um endpoint da Amazon VPC para possibilitar o envio de dados da Amazon VPC que tem o cluster e o conector para o Amazon S3.

Para criar um bucket do S3

  1. Faça login no Console de gerenciamento da AWS e abra o console do Amazon S3 em https://console.aws.amazon.com/s3/.

  2. Escolha Criar bucket.

  3. Para o nome do bucket, insira um nome descritivo, como amzn-s3-demo-bucket-mkc-tutorial.

  4. Role para baixo e escolha Criar bucket.

  5. Na lista de buckets, escolha o bucket recém-criado.

  6. Selecione Criar pasta.

  7. Digite tutorial para o nome da pasta, depois role para baixo e escolha Criar pasta.

Para criar um cluster

  1. Abra o console do Amazon MSK em https://console.aws.amazon.com/msk/home?region=us-east-1#/home/.

  2. No painel esquerdo, em Clusters do MSK, escolha Clusters.

  3. Selecione Criar cluster.

  4. Em Método de criação, escolha Criação personalizada.

  5. Insira para o nome do cluster mkc-tutorial-cluster.

  6. Em Tipo de cluster, escolha Provisionado.

  7. Escolha Próximo.

  8. Em Rede, escolha uma Amazon VPC. Em seguida, selecione as zonas de disponibilidade e as sub-redes que deseja usar. Lembre-se dos IDs da Amazon VPC e das sub-redes que você selecionou, pois precisará deles posteriormente neste tutorial.

  9. Escolha Próximo.

  10. Em Métodos de controle de acesso, verifique se somente o Acesso não autenticado está selecionado.

  11. Em Criptografia, certifique-se de que somente Texto simples esteja selecionado.

  12. Continue com o assistente e escolha Criar cluster. Você será redirecionado para a página detalhes do cluster. Nessa página, em Grupos de segurança aplicados, encontre o ID do grupo de segurança. Lembre-se desse ID porque você precisará dele posteriormente neste tutorial.

Para criar uma política do IAM com permissões para gravar no bucket do S3.

  1. Abra o console do IAM, em https://console.aws.amazon.com/iam/.

  2. No painel de navegação, escolha Políticas.

  3. Escolha Criar política.

  4. Em Editor de política, escolha a guia JSON e substitua o JSON na janela do editor pelo JSON a seguir.

    No exemplo a seguir, substitua <amzn-s3-demo-bucket-my-tutorial> pelo nome do bucket do S3.

    JSON
    {
  "Version":"2012-10-17",		 	 	 
  "Statement": [
    {
      "Sid": "AllowListBucket",
      "Effect": "Allow",
      "Action": [
        "s3:ListBucket",
        "s3:GetBucketLocation"
      ],
      "Resource": "arn:aws:s3:::<amzn-s3-demo-bucket-my-tutorial>"
    },
    {
      "Sid": "AllowObjectActions",
      "Effect": "Allow",
      "Action": [
        "s3:PutObject",
        "s3:GetObject",
        "s3:DeleteObject",
        "s3:AbortMultipartUpload",
        "s3:ListMultipartUploadParts",
        "s3:ListBucketMultipartUploads"
      ],
      "Resource": "arn:aws:s3:::<amzn-s3-demo-bucket-my-tutorial>/*"
    }
  ]
}

    Para obter instruções sobre como gravar políticas seguras, consulte Controle de acesso do IAM.

  5. Escolha Avançar.

  6. Na página Revisar e criar, faça o seguinte:

    1. Em Nome da política, insira um nome descritivo, como mkc-tutorial-policy.

    2. Em Permissões definidas nesta política, revise e/ou edite as permissões definidas em sua política.

    3. (Opcional) Para ajudar a identificar, organizar ou pesquisar a política, escolha Adicionar nova tag para adicioná-la como pares de chave-valor. Por exemplo, adicione uma tag à sua política com o par de valores-chave Environment e Test.

      Para obter mais informações sobre o uso de tags, consulte Tags para recursos do AWS Identity and Access Management no Guia do usuário do IAM.

  7. Selecione Criar política.

Para criar o perfil do IAM capaz de gravar no bucket de destino

  1. No painel de navegação do console do IAM, escolha Perfis e, em seguida, Criar perfil.

  2. Na página Selecionar entidade confiável, faça o seguinte:

    1. Em Tipo de Entidade Confiável, escolha AWS service (Serviço da AWS).

    2. Em Serviço ou caso de uso, escolha S3.

    3. Em Caso de uso, escolha S3.

  3. Escolha Próximo.

  4. Na página Adicionar permissões, faça o seguinte:

    1. Na caixa de pesquisa sob Políticas de permissão, insira o nome da política que você criou anteriormente para este tutorial. Por exemplo, mkc-tutorial-policy. Depois, à esquerda do nome da política, marque a caixa de seleção.

    2. (Opcional) Defina um limite de permissões. Esse é um atributo avançado que está disponível para perfis de serviço, mas não para perfis vinculados ao serviço. Para obter informações sobre como definir um limite de permissões, consulte Como criar perfis e anexar políticas (console) no Guia do usuário do IAM.

  5. Escolha Próximo.

  6. Na página Nomear, revisar e criar, faça o seguinte:

    1. Em Nome do perfil, insira um nome descritivo, como mkc-tutorial-role.

      Importante

      Quando nomear um perfil, observe o seguinte:

      • Os nomes do perfil devem ser exclusivos em sua Conta da AWS e não podem ser diferenciados caso a caso.

        Por exemplo, não crie dois perfis denominados PRODROLE e prodrole. Quando usado em uma política ou como parte de um ARN, o nome de perfil diferencia maiúsculas de minúsculas. No entanto, quando exibido para os clientes no console, como durante o processo de login, o nome de perfil diferencia maiúsculas de minúsculas.

      • Não é possível editar o nome do perfil depois de criá-lo porque outras entidades podem referenciar o perfil.

    2. (Opcional) Em Descrição, insira uma descrição para o perfil.

    3. (Opcional) Para editar os casos de uso e as permissões do perfil, escolha Etapa 1: Selecionar entidades confiáveis ou Etapa 2: Adicionar permissões, depois Editar.

    4. (Opcional) Para ajudar a identificar, organizar ou pesquisar o perfil, escolha Adicionar nova tag para adicioná-las como pares de chave-valor. Por exemplo, adicione uma tag ao seu perfil com o par de valores-chave ProductManager e John.

      Para obter mais informações sobre o uso de tags, consulte Tags para recursos do AWS Identity and Access Management no Guia do usuário do IAM.

  7. Reveja a função e escolha Criar função.

Para permitir que o MSK Connect assuma o perfil

  1. No console do IAM, em Gerenciamento de acesso no painel esquerdo, escolha Perfis.

  2. Encontre e escolha o mkc-tutorial-role.

  3. Na página Resumo do perfil, escolha a guia Relações de confiança.

  4. Selecione Editar relação de confiança.

  5. Substitua a política de confiança existente pelo seguinte JSON.

    JSON
    {
  "Version":"2012-10-17",		 	 	 
  "Statement": [
    {
      "Effect": "Allow",
      "Principal": {
        "Service": "kafkaconnect.amazonaws.com"
      },
      "Action": "sts:AssumeRole"
    }
  ]
}

  6. Selecione Atualizar política de confiança.

Para criar um endpoint da Amazon VPC da VPC do cluster para o Amazon S3

  1. Abra o console da Amazon VPC, em https://console.aws.amazon.com/vpc/.

  2. No painel esquerdo, escolha Endpoints.

  3. Escolha Criar endpoint.

  4. Em Nome do serviço, escolha o serviço com.amazonaws.us-east-1.s3 e o tipo Gateway.

  5. Escolha a VPC do cluster e, em seguida, selecione a caixa à esquerda da tabela de rotas associada às sub-redes do cluster.

  6. Escolha Criar endpoint.

Próxima etapa

Criar plug-in personalizado