Configurando pipelines OpenSearch de ingestão para ingestão entre contas - OpenSearch Serviço Amazon
Antes de começarConceder às contas conectadas acesso a um pipelineCriar uma conexão de endpoint de pipeline para cada VPC conectadaRemover endpoints do pipeline

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Configurando pipelines OpenSearch de ingestão para ingestão entre contas

Para fontes baseadas em push, como HTTP e OTel, o Amazon OpenSearch Ingestion permite que você compartilhe pipelines entre Contas da AWS uma nuvem privada virtual (VPC) e um endpoint de pipeline em uma VPC separada. As equipes que compartilham analytics com outras equipes da organização usam esse atributo como um meio mais otimizado de, por exemplo, compartilhar analytics de logs.

Esta seção usa a seguinte terminologia:

  • Proprietário do pipeline — A conta que possui e gerencia o pipeline OpenSearch de ingestão. Apenas uma conta pode ser a proprietária de um pipeline.

  • Conta de conexão: uma conta que se conecta e usa um pipeline compartilhado. Várias contas podem se conectar ao mesmo pipeline.

Para configurar VPCs para compartilhar pipelines de OpenSearch ingestãoContas da AWS, conclua as seguintes tarefas, conforme descrito aqui:

Antes de começar

Antes de configurar VPCs para compartilhar pipelines de OpenSearch ingestãoContas da AWS, conclua as seguintes tarefas:

Tarefa Detalhes

Crie um ou mais pipelines OpenSearch de ingestão

Defina as unidades OpenSearch computacionais mínimas (OSUs) para 2 ou mais. Para obter mais informações, consulte Criação de pipelines OpenSearch de ingestão da Amazon. Para obter informações sobre a atualização de um pipeline, consulte Atualização dos pipelines OpenSearch de ingestão da Amazon.

Crie um ou mais VPCs para OpenSearch ingestão

Para permitir o compartilhamento de pipelines entre contas, qualquer VPC envolvida para o pipeline e os endpoints do pipeline deve ser configurada com os seguintes valores de DNS:

  • enableDnsSupport=true

  • enableDnsHostnames=true

Para acessar mais informações, consulte Atributos de DNS para sua VPC no Guia do usuário da Amazon VPC.

Conceder às contas conectadas acesso a um pipeline

Os procedimentos nesta seção descrevem como usar o console OpenSearch de serviços e configurar o acesso AWS CLI ao pipeline entre contas criando uma política de recursos. Uma política de recurso permite que o proprietário do pipeline especifique outras contas que podem acessar um pipeline. Uma vez criadas, as políticas do pipeline existirão enquanto ele existir ou até que a política seja excluída.

nota

As políticas de recursos não substituem a autorização OpenSearch de ingestão padrão usando permissões do IAM. As políticas de recursos são um mecanismo de autorização adicional para permitir o acesso ao pipeline entre contas.

Conceder às contas de conexão acesso a um pipeline (console)

Use o procedimento a seguir para conceder às contas conectadas acesso a um pipeline usando o console do Amazon OpenSearch Service.

Para criar uma conexão de endpoint do pipeline

  1. No console do Amazon OpenSearch Service, no painel de navegação, expanda Ingestão e selecione Pipelines.

  2. Na seção Pipelines, escolha o nome de um pipeline ao qual você deseja conceder acesso para uma conta de conexão.

  3. Escolha a guia Endpoints da VPC.

  4. Na seção Entidade principais autorizadas, escolha Autorizar conta.

  5. No campo ID da Conta da AWS, insira o número de 12 dígitos do ID da conta e selecione Autorizar.

Conceder às contas de conexão acesso a um pipeline (CLI)

Use o procedimento a seguir para conceder às contas de conexão acesso a um pipeline usando a AWS CLI.

Para conceder às contas de conexão acesso a um pipeline

  1. Atualize para a versão mais recente do AWS CLI (versão 2.0). Para saber mais, consulte Instalar ou atualizar para a versão mais recente da AWS CLI.

  2. Abra a CLI na conta e Região da AWS com o pipeline que você deseja compartilhar.

  3. Execute o comando a seguir para criar uma política de recurso para o pipeline. Essa política dá a permissão de osis:CreatePipelineEndpoint no pipeline. A política inclui um parâmetro no qual você pode listar Conta da AWS IDs para permitir.

    nota

    No comando a seguir, você deve usar a forma abreviada do ID da conta fornecendo apenas o ID da conta de doze dígitos. Usar um ARN não funcionará. Você também deve fornecer o nome do recurso da Amazon (ARN) do pipeline no parâmetro resource-arn da CLI e na política JSON em Resource, como mostrado.

    aws --region region osis-cross-account put-resource-policy \
  --resource-arn arn:aws:osis:region:pipeline-owner-account-ID:pipeline/pipeline-name
  --policy 'IAM-policy'

    Use uma política como a seguinte para IAM-policy

    JSON
    {
  "Version":"2012-10-17",		 	 	 
  "Statement": [
  {
  "Sid": "AllowAccess",
  "Effect": "Allow",
  "Principal": {
  "AWS": [
  "111122223333",
  "444455556666"
  ]
  },
  "Action": 
  "osis:CreatePipelineEndpoint",
  "Resource": "arn:aws:osis:us-east-1:123456789012:pipeline/pipeline-name"
  }
  ]
 }

Criar uma conexão de endpoint de pipeline para cada VPC conectada

Depois que o proprietário do pipeline concede acesso a um pipeline da VPC usando o procedimento anterior, um usuário na conta de conexão cria um endpoint do pipeline na VPC. Esta seção inclui procedimentos para criar endpoints usando o console OpenSearch de serviço e o. AWS CLI Quando você cria um endpoint, o OpenSearch Inestion executa as seguintes ações:

  • Cria a função AWSServiceRoleForAmazonOpenSearchIngestionServicevinculada ao serviço em sua conta, se ela ainda não existir. Essa função dá ao usuário na conta conectada permissão para chamar a ação CreatePipelineEndpointda API.

  • Cria o endpoint do pipeline.

  • Configura o endpoint do pipeline para ingerir dados do pipeline compartilhado na VPC do proprietário do pipeline.

Criar uma conexão de endpoint de pipeline (console)

Use o procedimento a seguir para criar uma conexão de endpoint de pipeline usando o console OpenSearch de serviço.

Para criar uma conexão de endpoint do pipeline

  1. No console do Amazon OpenSearch Service, no painel de navegação, expanda Ingestão e selecione VPC endpoints.

  2. Na página Endpoints da VPC, escolha Criar.

  3. Em Localização do pipeline, escolha uma opção. Se escolher Conta corrente, selecione o pipeline na lista. Se escolher Entre contas, especifique o ARN do pipeline no campo. O proprietário do pipeline deve ter concedido acesso ao pipeline, como descrito em Conceder às contas conectadas acesso a um pipeline.

  4. Na seção Configurações da VPC, em VPC, escolha uma VPC na lista.

  5. Para Subnets, escolha uma sub-rede.

  6. Em Grupos de segurança, escolha um grupo.

  7. Escolha Criar endpoint.

Aguarde o status do endpoint que você criou passar a ser ACTIVE. Quando o pipeline estiver ACTIVE, você verá um novo campo denominado ingestEndpointUrl. Use esse endpoint para acessar o pipeline e ingerir dados usando um cliente como. FluentBit Para obter mais informações sobre como usar FluentBit para ingerir dados, consulteUsando um pipeline de OpenSearch ingestão com o FluentBit.

nota

A ingestEndpointUrl é a mesma URL de todas as contas de conexão.

Criar uma conexão de endpoint do pipeline (CLI)

Use o procedimento a seguir para criar uma conexão de endpoint do pipeline usando a AWS CLI.

Para criar uma conexão de endpoint do pipeline

  1. Se ainda não o fez, atualize para a versão mais recente do AWS CLI (versão 2.0). Para saber mais, consulte Instalar ou atualizar para a versão mais recente da AWS CLI.

  2. Abra a CLI na conta de conexão Região da AWS com o pipeline compartilhado.

  3. Execute o comando a seguir para criar um endpoint do pipeline.

    nota

    Você deve fornecer pelo menos uma sub-rede e um grupo de segurança para a VPC da conta de conexão. O grupo de segurança deve incluir a porta 443 e ser compatível com os clientes na VPC da conta de conexão.

    aws osis --region region create-pipeline-endpoint \
  --pipeline-arn arn:aws:osis:region:connecting-account-ID:pipeline/shared-pipeline-name
  --vpc-options SecurityGroupIds={sg-security-group-ID-1,sg-security-group-ID-2},SubnetIds=subnet-subnet-ID

  4. Execute o comando a seguir para listar os endpoints na região especificada no comando anterior:

    aws osis-cross-account --region region list-pipeline-endpoints

Aguarde o status do endpoint que você criou passar a ser ACTIVE. Quando o pipeline estiver ACTIVE, você verá um novo campo denominado ingestEndpointUrl. Use esse endpoint para acessar o pipeline e ingerir dados usando um cliente como. FluentBit Para obter mais informações sobre como usar FluentBit para ingerir dados, consulteUsando um pipeline de OpenSearch ingestão com o FluentBit.

nota

A ingestEndpointUrl é a mesma URL de todas as contas de conexão.

Remover endpoints do pipeline

Se você não quiser mais fornecer acesso a um pipeline compartilhado, poderá remover um endpoint do pipeline usando um dos seguintes métodos:

  • Exclua o endpoint do pipeline (conta de conexão).

  • Revogue o endpoint do pipeline (proprietário do pipeline).

Use o procedimento a seguir para excluir um endpoint do pipeline de uma conta de conexão.

Para excluir um endpoint do pipeline (conta de conexão)

  1. Abra a CLI na conta de conexão Região da AWS com o pipeline compartilhado.

  2. Execute o seguinte comando para listar os endpoints da região:

    aws osis-cross-account --region region list-pipeline-endpoints

    Anote o ID do pipeline que você deseja excluir.

  3. Execute o seguinte comando para excluir o endpoint do pipeline:

    aws osis-cross-account --region region delete-pipeline-endpoint \
  --endpoint-id 'ID'

Como proprietário do pipeline compartilhado, use o procedimento a seguir para revogar um endpoint do pipeline.

Para revogue um endpoint do pipeline (proprietário do pipeline)

  1. Abra a CLI na conta de conexão Região da AWS com o pipeline compartilhado.

  2. Execute o comando a seguir para listar as conexões de endpoint do pipeline:

    aws osis-cross-account --region region list-pipeline-endpoint-connections

    Anote o ID do pipeline que você deseja excluir.

  3. Execute o seguinte comando para excluir o endpoint do pipeline:

    aws osis-cross-account --region region revoke-pipeline-endpoint-connections \
  --pipeline-arn pipeline-arn --endpoint-ids ID

    O comando é compatível com a especificação de apenas um ID de endpoint.