Configurando pipelines OpenSearch de ingestão para ingestão entre contas - OpenSearch Serviço Amazon
Antes de começarConceda acesso a um funil de contas conectadasCrie uma conexão de endpoint de pipeline para cada VPC conectadaRemovendo os endpoints do pipeline

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Configurando pipelines OpenSearch de ingestão para ingestão entre contas

Para fontes baseadas em push, como HTTP e OTel, o Amazon OpenSearch Ingestion permite que você compartilhe pipelines entre Contas da AWS uma nuvem privada virtual (VPC) e um endpoint de pipeline em uma VPC separada. As equipes que compartilham análises com outras equipes da organização usam esse recurso para obter um meio mais simplificado de, por exemplo, compartilhar análises de registros.

Esta seção usa a seguinte terminologia:

  • Proprietário do pipeline — A conta que possui e gerencia o pipeline OpenSearch de ingestão. Somente uma conta pode possuir um funil.

  • Conta de conexão — Uma conta que se conecta e usa um pipeline compartilhado. Várias contas podem se conectar ao mesmo funil.

Para configurar VPCs para compartilhar pipelines de OpenSearch ingestão Contas da AWS, conclua as seguintes tarefas, conforme descrito aqui:

Antes de começar

Antes de configurar VPCs para compartilhar pipelines de OpenSearch ingestão Contas da AWS, conclua as seguintes tarefas:

Tarefa Detalhes

Crie um ou mais pipelines OpenSearch de ingestão

Defina as unidades OpenSearch computacionais mínimas (OSUs) para 2 ou mais. Para obter mais informações, consulte Criação de pipelines OpenSearch de ingestão da Amazon. Para obter informações sobre como atualizar um pipeline, consulteAtualização dos pipelines OpenSearch de ingestão da Amazon.

Crie um ou mais VPCs para OpenSearch ingestão

Para permitir o compartilhamento de pipeline entre contas, qualquer VPC envolvida no pipeline e nos endpoints do pipeline deve ser configurada com os seguintes valores de DNS:

  • enableDnsSupport=true

  • enableDnsHostnames=true

Para ter mais informações, consulte Atributos de DNS para sua VPC no Guia do usuário da Amazon VPC.

Conceda acesso a um funil de contas conectadas

Os procedimentos nesta seção descrevem como usar o console OpenSearch de serviços e configurar o acesso AWS CLI ao pipeline entre contas criando uma política de recursos. Uma política de recursos permite que o proprietário do funil especifique outras contas que possam acessar um funil. Depois de criadas, as políticas de pipeline existem enquanto o pipeline existir ou até que a política seja excluída.

nota

As políticas de recursos não substituem a autorização OpenSearch de ingestão padrão usando permissões do IAM. As políticas de recursos são um mecanismo de autorização adicional para permitir o acesso ao pipeline entre contas.

Conceder acesso às contas conectadas a um pipeline (console)

Use o procedimento a seguir para conceder às contas conectadas acesso a um pipeline usando o console do Amazon OpenSearch Service.

Para criar uma conexão de endpoint de pipeline

  1. No console do Amazon OpenSearch Service, no painel de navegação, expanda Ingestão e selecione Pipelines.

  2. Na seção Pipelines, escolha o nome de um pipeline ao qual você deseja conceder acesso para uma conta conectada.

  3. Escolha a guia VPC endpoints.

  4. Na seção Diretores autorizados, escolha Autorizar conta.

  5. No campo Conta da AWS ID, insira o número de 12 dígitos ID da conta e selecione Autorizar.

Conceder acesso às contas conectadas a um pipeline (CLI)

Use o procedimento a seguir para conceder às contas conectadas acesso a um pipeline usando AWS CLI o.

Para conceder acesso ao pipeline às contas conectadas

  1. Atualize para a versão mais recente do AWS CLI (versão 2.0). Para obter mais informações, consulte Instalar ou atualizar para a versão mais recente da AWS CLI.

  2. Abra a CLI na conta e Região da AWS com o pipeline que você deseja compartilhar.

  3. Execute o comando a seguir para criar uma política de recursos para o pipeline. Essa política dá a osis:CreatePipelineEndpoint permissão no pipeline. A política inclui um parâmetro no qual você pode listar Conta da AWS IDs para permitir.

    nota

    No comando a seguir, você deve usar a forma abreviada do ID da conta fornecendo somente o ID da conta de doze dígitos. Usar um ARN não funcionará. Você também deve fornecer o Amazon Resource Name (ARN) do pipeline no parâmetro CLI para resource-arn e na política JSON abaixo, conforme mostrado. Resource

    aws --region region osis-cross-account put-resource-policy \
  --resource-arn arn:aws:osis:region:pipeline-owner-account-ID:pipeline/pipeline-name
  --policy 'IAM-policy'

    Use uma política como a seguinte para IAM-policy

    JSON
    {
  "Version":"2012-10-17",		 	 	 
  "Statement": [
  {
  "Sid": "AllowAccess",
  "Effect": "Allow",
  "Principal": {
  "AWS": [
  "111122223333",
  "444455556666"
  ]
  },
  "Action": 
  "osis:CreatePipelineEndpoint",
  "Resource": "arn:aws:osis:us-east-1:123456789012:pipeline/pipeline-name"
  }
  ]
 }

Crie uma conexão de endpoint de pipeline para cada VPC conectada

Depois que o proprietário do pipeline concede acesso a um pipeline em sua VPC usando o procedimento anterior, um usuário na conta de conexão cria um endpoint de pipeline em sua VPC. Esta seção inclui procedimentos para criar endpoints usando o console OpenSearch de serviço e o. AWS CLI Quando você cria um endpoint, o OpenSearch Inestion executa as seguintes ações:

  • Cria a função AWSServiceRoleForAmazonOpenSearchIngestionServicevinculada ao serviço em sua conta, se ela ainda não existir. Essa função dá ao usuário na conta conectada permissão para chamar a ação CreatePipelineEndpointda API.

  • Cria o endpoint do pipeline.

  • Configura o endpoint do pipeline para ingerir dados do pipeline compartilhado na VPC do proprietário do pipeline.

Criação de uma conexão de endpoint de pipeline (console)

Use o procedimento a seguir para criar uma conexão de endpoint de pipeline usando o console OpenSearch de serviço.

Para criar uma conexão de endpoint de pipeline

  1. No console do Amazon OpenSearch Service, no painel de navegação, expanda Ingestão e selecione VPC endpoints.

  2. Na página VPC endpoints, escolha Create.

  3. Para localização do pipeline, escolha uma opção. Se você escolher Conta corrente, escolha o funil na lista. Se você escolher Cross-account, especifique o ARN do pipeline no campo. O proprietário da tubulação deve ter concedido acesso à tubulação, conforme descrito emConceda acesso a um funil de contas conectadas.

  4. Na seção Configurações de VPC, para VPC, escolha uma VPC na lista.

  5. Para Subnets, escolha uma sub-rede.

  6. Em Grupos de segurança, escolha um grupo.

  7. Escolha Criar endpoint.

Aguarde o status do endpoint para o qual você criou a ACTIVE transição. Quando o pipeline estiver ACTIVE pronto, você verá um novo campo chamadoingestEndpointUrl. Use esse endpoint para acessar o pipeline e ingerir dados usando um cliente como. FluentBit Para obter mais informações sobre como usar FluentBit para ingerir dados, consulteUsando um pipeline de OpenSearch ingestão com o FluentBit.

nota

ingestEndpointUrlÉ o mesmo URL para todas as contas conectadas.

Criação de uma conexão de endpoint de pipeline (CLI)

Use o procedimento a seguir para criar uma conexão de endpoint de pipeline usando o. AWS CLI

Para criar uma conexão de endpoint de pipeline

  1. Se ainda não o fez, atualize para a versão mais recente do AWS CLI (versão 2.0). Para obter mais informações, consulte Instalar ou atualizar para a versão mais recente da AWS CLI.

  2. Abra a CLI na conta de conexão Região da AWS com o pipeline compartilhado.

  3. Execute o comando a seguir para criar um endpoint de pipeline.

    nota

    Você deve fornecer pelo menos uma sub-rede e um grupo de segurança para a conta de conexão VPC. O grupo de segurança deve incluir a porta 443 e oferecer suporte aos clientes na conexão da conta VPC.

    aws osis --region region create-pipeline-endpoint \
  --pipeline-arn arn:aws:osis:region:connecting-account-ID:pipeline/shared-pipeline-name
  --vpc-options SecurityGroupIds={sg-security-group-ID-1,sg-security-group-ID-2},SubnetIds=subnet-subnet-ID

  4. Execute o comando a seguir para listar os endpoints na região especificada no comando anterior:

    aws osis-cross-account --region region list-pipeline-endpoints

Aguarde o status do endpoint para o qual você criou a ACTIVE transição. Quando o pipeline estiver ACTIVE pronto, você verá um novo campo chamadoingestEndpointUrl. Use esse endpoint para acessar o pipeline e ingerir dados usando um cliente como. FluentBit Para obter mais informações sobre como usar FluentBit para ingerir dados, consulteUsando um pipeline de OpenSearch ingestão com o FluentBit.

nota

ingestEndpointUrlÉ o mesmo URL para todas as contas conectadas.

Removendo os endpoints do pipeline

Se você não quiser mais fornecer acesso a um pipeline compartilhado, poderá remover um endpoint do pipeline usando um dos seguintes métodos:

  • Exclua o endpoint do pipeline (conta de conexão).

  • Revogue o endpoint do pipeline (proprietário do pipeline).

Use o procedimento a seguir para excluir um endpoint de pipeline em uma conta conectada.

Para excluir um endpoint de pipeline (conta conectada)

  1. Abra a CLI na conta de conexão Região da AWS com o pipeline compartilhado.

  2. Execute o comando a seguir para listar os endpoints do pipeline na região:

    aws osis-cross-account --region region list-pipeline-endpoints

    Anote o ID do pipeline que você deseja excluir.

  3. Execute o comando a seguir para excluir o endpoint do pipeline:

    aws osis-cross-account --region region delete-pipeline-endpoint \
  --endpoint-id 'ID'

Como proprietário do pipeline compartilhado, use o procedimento a seguir para revogar um endpoint do pipeline.

Para revogar um endpoint do pipeline (proprietário do pipeline)

  1. Abra a CLI na conta de conexão Região da AWS com o pipeline compartilhado.

  2. Execute o comando a seguir para listar as conexões de endpoint do pipeline na região:

    aws osis-cross-account --region region list-pipeline-endpoint-connections

    Anote o ID do pipeline que você deseja excluir.

  3. Execute o comando a seguir para excluir o endpoint do pipeline:

    aws osis-cross-account --region region revoke-pipeline-endpoint-connections \
  --pipeline-arn pipeline-arn --endpoint-ids ID

    O comando suporta a especificação de somente um ID de endpoint.