Tutorial: Ingestão de dados em uma coleção usando o Amazon OpenSearch Ingestion

1. Navegue até o console do Amazon OpenSearch Service em https://console.aws.amazon.com/aos/home.

2. Escolha Coleções no painel de navegação à esquerda e escolha Criar coleção.

3. No campo Geração sem servidor, escolha Alternar para o clássico.

4. Nomeie a coleção ingestion-collection.

5. Em Segurança, escolha Criação padrão.

6. Em Configurações de acesso à rede, altere o tipo de acesso para Público .

7. Mantenha todas as outras configurações em seus valores padrão e escolha Próximo.

8. Agora, configure uma política de acesso aos dados para a coleção. Desmarque a opção Atender automaticamente às configurações da política de acesso.

9. Para Método de definição, escolha JSON e cole a seguinte política no editor. Essa política faz duas coisas:

   • Permite que o perfil de pipeline faça gravações na coleção.

   • Permite que você leia a coleção. Posteriormente, depois de ingerir alguns dados de amostra no pipeline, você consultará a coleção para garantir que os dados foram ingeridos e gravados com sucesso no índice.

     [
       {
         "Rules": [
           {
             "Resource": [
               "index/ingestion-collection/*"
             ],
             "Permission": [
               "aoss:CreateIndex",
               "aoss:UpdateIndex",
               "aoss:DescribeIndex",
               "aoss:ReadDocument",
               "aoss:WriteDocument"
             ],
             "ResourceType": "index"
           }
         ],
         "Principal": [
           "arn:aws:iam::your-account-id:role/OpenSearchIngestion-PipelineRole",
           "arn:aws:iam::your-account-id:role/Admin"
         ],
         "Description": "Rule 1"
       }
     ]

10. Modifique os Principal elementos para incluir seu Conta da AWS ID. Como segunda entidade principal, especifique um usuário ou perfil que você possa usar para consultar a coleção mais tarde.

11. Escolha Próximo. Nomeie a política de acesso pipeline-domain-access e escolha Avançar novamente.

12. Reveja sua configuração da coleção e escolha Enviar.

Para criar um pipeline

1. No console do Amazon OpenSearch Service, escolha Pipelines no painel de navegação esquerdo.

2. Selecione Criar pipeline.

3. Selecione o pipeline Em branco e escolha Selecionar esquema.

4. Neste tutorial, criaremos um subpipeline simples que usa o plug-in Origem HTTP. O plug-in aceita dados de log em formato de matriz JSON. Vamos especificar uma única coleção OpenSearch Serverless como coletor e ingerir todos os dados no índice. my_logs

   No menu Origem, escolha HTTP. Em Caminho, insira /logs.

5. Para simplificar neste tutorial, configuraremos o acesso público do pipeline. Em Opções de rede de origem, escolha Acesso público. Para saber mais sobre como configurar VPC, consulte Configurando o acesso à VPC para pipelines de ingestão da Amazon OpenSearch.

6. Escolha Próximo.

7. Em Processador, insira Data e escolha Adicionar.

8. Habilite A partir da hora do recebimento. Deixe todas as outras configurações com seus valores padrão.

9. Escolha Próximo.

10. Configure os detalhes do coletor. Para tipo de OpenSearch recurso, escolha Coleção (sem servidor). Em seguida, escolha a coleção de OpenSearch serviços que você criou na seção anterior.

    Deixe o nome padrão a política de rede. Em Nome do índice, insira my_logs. OpenSearch A ingestão cria automaticamente esse índice na coleção, caso ele ainda não exista.

11. Escolha Próximo.

12. Nomeie o pipeline de ingestion-pipeline-serverless. Deixe todas as configurações de capacidade com seus valores padrão.

13. Em Perfil do pipeline, selecione Criar e usar um novo perfil de serviço. O perfil do pipeline fornece as permissões necessárias para um pipeline gravar no coletor de coleções e ler de origens baseadas em pull. Ao selecionar essa opção, você permite que o OpenSearch Inestion crie a função para você, em vez de criá-la manualmente no IAM. Para obter mais informações, consulte Configurando funções e usuários na Amazon OpenSearch Ingestion.

14. Em Sufixo do nome da função de serviço, insira PipelineRole. No IAM, o perfil terá o formato arn:aws:iam::your-account-id:role/OpenSearchIngestion-PipelineRole.

15. Escolha Próximo. Revise sua configuração do pipeline e escolha Criar pipeline. O pipeline leva de 5 a 10 minutos para se tornar ativo.