Tutorial: Ingestão de dados em uma coleção usando o Amazon OpenSearch Ingestion

1. Navegue até o console do Amazon OpenSearch Service em https://console.aws.amazon.com/aos/casa.

2. Escolha Coleções no painel de navegação à esquerda e escolha Criar coleção.

3. Nomeie a coleção ingestion-collection.

4. Em Segurança, escolha Criação padrão.

5. Em Configurações de acesso à rede, altere o tipo de acesso para Público .

6. Mantenha todas as outras configurações em seus valores padrão e escolha Próximo.

7. Agora, configure uma política de acesso aos dados para a coleção. Desmarque a opção Combinar automaticamente as configurações da política de acesso.

8. Para Método de definição, escolha JSON e cole a seguinte política no editor. Essa política faz duas coisas:

   • Permite que o perfil de pipeline faça gravações na coleção.

   • Permite que você leia a coleção. Posteriormente, depois de ingerir alguns dados de amostra no pipeline, você consultará a coleção para garantir que os dados foram ingeridos e gravados com sucesso no índice.

     [
       {
         "Rules": [
           {
             "Resource": [
               "index/ingestion-collection/*"
             ],
             "Permission": [
               "aoss:CreateIndex",
               "aoss:UpdateIndex",
               "aoss:DescribeIndex",
               "aoss:ReadDocument",
               "aoss:WriteDocument"
             ],
             "ResourceType": "index"
           }
         ],
         "Principal": [
           "arn:aws:iam::your-account-id:role/OpenSearchIngestion-PipelineRole",
           "arn:aws:iam::your-account-id:role/Admin"
         ],
         "Description": "Rule 1"
       }
     ]

9. Modifique os Principal elementos para incluir seu Conta da AWS ID. Para o segundo principal, especifique um usuário ou função que você possa usar para consultar a coleção posteriormente.

10. Escolha Próximo. Nomeie a política de acesso pipeline-collection-accesse escolha Avançar novamente.

11. Reveja sua configuração da coleção e escolha Enviar.

Para criar um pipeline

1. No console do Amazon OpenSearch Service, escolha Pipelines no painel de navegação esquerdo.

2. Selecione Criar pipeline.

3. Selecione o pipeline em branco e, em seguida, escolha Selecionar blueprint.

4. Neste tutorial, criaremos um pipeline simples que usa o plug-in de origem HTTP. O plug-in aceita dados de log em formato de matriz JSON. Vamos especificar uma única coleção OpenSearch Serverless como coletor e ingerir todos os dados no índice. my_logs

   No menu Fonte, escolha HTTP. Para o Caminho, insira /logs.

5. Para simplificar neste tutorial, configuraremos o acesso público do pipeline. Para opções de rede de origem, escolha Acesso público. Para obter mais informações sobre como configurar VPC, consulte Como configurar o acesso à VPC para os pipelines da Amazon OpenSearch Ingestion.

6. Escolha Próximo.

7. Em Processador, insira Data e escolha Adicionar.

8. Ativar A partir do momento do recebimento. Deixe todas as outras configurações como padrão.

9. Escolha Próximo.

10. Configure os detalhes do coletor. Para tipo de OpenSearch recurso, escolha Coleção (sem servidor). Em seguida, escolha a coleção de OpenSearch serviços que você criou na seção anterior.

    Deixe o nome da política de rede como padrão. Em Nome do índice, insira my_logs. OpenSearch A ingestão cria automaticamente esse índice na coleção, caso ele ainda não exista.

11. Escolha Próximo.

12. Dê um nome ao pipeline ingestion-pipeline-serverless. Deixe as configurações de capacidade como padrão.

13. Em Função de pipeline, selecione Criar e usar uma nova função de serviço. A função de pipeline fornece as permissões necessárias para que um pipeline grave no coletor de coleta e leia de fontes baseadas em pull. Ao selecionar essa opção, você permite que o OpenSearch Inestion crie a função para você, em vez de criá-la manualmente no IAM. Para obter mais informações, consulte Configurando funções e usuários na Amazon OpenSearch Ingestion.

14. Em Sufixo do nome da função de serviço, insira PipelineRole. No IAM, a função terá o formatoarn:aws:iam::your-account-id:role/OpenSearchIngestion-PipelineRole.

15. Escolha Próximo. Revise sua configuração do pipeline e escolha Criar pipeline. O pipeline leva de 5 a 10 minutos para se tornar ativo.