Criação de pipelines OpenSearch de ingestão da Amazon

Um pipeline é o mecanismo que o Amazon OpenSearch Ingeston usa para mover dados da fonte (de onde vêm os dados) para o coletor (para onde vão os dados). Na OpenSearch ingestão, o coletor sempre será um único domínio do Amazon OpenSearch Service, enquanto a fonte de seus dados pode ser clientes como Amazon S3, Fluent Bit ou Collector. OpenTelemetry

Para obter mais informações, consulte Pipelines na OpenSearch documentação.

Pré-requisitos e perfil do IAM necessário

Para criar um pipeline OpenSearch de ingestão, você deve ter os seguintes recursos:

Para obter instruções sobre como criar esses recursos, consulte os tópicos a seguir:

Permissões obrigatórias do IAM

OpenSearch A ingestão usa as seguintes permissões do IAM para criar pipelines:

Por exemplo, a política a seguir concede permissão para criar um pipeline:

OpenSearch A ingestão também inclui uma permissão chamadaosis:Ingest, que é necessária para enviar solicitações assinadas ao pipeline usando o Signature Version 4. Para obter mais informações, consulte Criação de uma função de ingestão.

Para obter mais informações sobre cada permissão, consulte Ações, recursos e chaves de condição para OpenSearch ingestão na Referência de autorização de serviço.

Como especificar a versão do pipeline

Ao criar um pipeline usando o editor de configuração, você deve especificar a versão principal do Data Prepper que o pipeline executará. Para especificar a versão, inclua a opção version na configuração do pipeline:

version: "2"
log-pipeline:
  source:
    ...   

Quando você escolhe Criar, a OpenSearch ingestão determina a última versão secundária disponível da versão principal especificada e provisiona o pipeline com essa versão. Por exemplo, se você especificar version: "2" e a versão mais recente compatível do Data Prepper for 2.1.1, o OpenSearch Ingestion provisionará seu pipeline com a versão 2.1.1. Não exibimos publicamente a versão secundária que seu pipeline está executando.

Para atualizar seu pipeline quando uma nova versão principal do Data Prepper estiver disponível, edite a configuração do pipeline e especifique a nova versão. Você não pode fazer o downgrade de um pipeline para uma versão anterior.

Sempre que você fizer uma alteração no pipeline que inicia uma blue/green implantação, o OpenSearch Ingestion pode atualizá-la para a versão secundária mais recente da versão principal que está atualmente configurada para o pipeline. Para obter mais informações, consulteImplantações azul/verde para atualizações de pipeline. OpenSearch A ingestão não pode alterar a versão principal do seu pipeline, a menos que você atualize explicitamente a version opção na configuração do pipeline.

Como especificar o caminho de ingestão

Para fontes baseadas em pull, como OTel rastreamento e OTel métricas, a OpenSearch ingestão requer a path opção adicional na configuração da fonte. O caminho é uma string como /log/ingest, que representa o caminho do URI para ingestão. Esse caminho define o URI que você usa para enviar dados para o pipeline.

Por exemplo, digamos que você especifique o seguinte caminho para um pipeline com uma fonte HTTP:

Ao ingerir dados no pipeline, você deve especificar o seguinte endpoint na configuração do seu cliente:. https://pipeline-name-abc123.us-west-2.osis.amazonaws.com/my/test_path

O caminho deve começar com uma barra (/) e pode conter os caracteres especiais '-', '_', ' . 'e'/', bem como o placeholder ${pipelineName}. Se você usar ${pipelineName} (como/${pipelineName}/test_path), o OpenSearch Inestion substituirá a variável pelo nome do subpipeline associado.

Como criar pipelines

Esta seção descreve como criar pipelines OpenSearch de ingestão usando o console OpenSearch de serviço e o. AWS CLI

aws osis create-pipeline \
  --pipeline-name my-pipeline \
  --min-units 4 \
  --max-units 10 \
  --log-publishing-options  IsLoggingEnabled=true,CloudWatchLogDestination={LogGroup="MyLogGroup"} \
  --vpc-options SecurityGroupIds={sg-12345678,sg-9012345},SubnetIds=subnet-1212234567834asdf \
  --pipeline-configuration-body "file://pipeline-config.yaml" \
  --pipeline-role-arn  arn:aws:iam::1234456789012:role/pipeline-role

Depois que seu pipeline for criado com sucesso, você poderá configurar seu cliente e começar a ingerir dados em seu domínio OpenSearch de serviço. Para obter mais informações, consulte Integração dos pipelines OpenSearch de ingestão da Amazon com outros serviços e aplicativos.

Acompanhar o status da criação do pipeline

Você pode acompanhar o status de um pipeline à medida que o OpenSearch Inestion o provisiona e o prepara para ingerir dados.

aws osis get-pipeline-change-progress \
    --pipeline-name my-pipeline

{
   "ChangeProgressStatuses": {
      "ChangeProgressStages": [ 
         { 
            "Description": "Validating pipeline configuration",
            "LastUpdated": 1.671055851E9,
            "Name": "VALIDATION",
            "Status": "PENDING"
         }
      ],
      "StartTime": 1.671055851E9,
      "Status": "PROCESSING",
      "TotalNumberOfStages": 5
   }
}