Plug-ins e opções compatíveis com pipelines da Ingestão do Amazon OpenSearch - Amazon OpenSearch Service
Plug-ins compatíveisProcessadores sem estado x processadores com estadoRequisitos e restrições de configuração

Plug-ins e opções compatíveis com pipelines da Ingestão do Amazon OpenSearch

O Amazon OpenSearch Ingestion é compatível com um subconjunto de origens, processadores e coletores no OpenSearch Data Prepper de código aberto. Além disso, há algumas restrições que a Ingestão do OpenSearch impõe às opções disponíveis para cada plug-in compatível. As seções a seguir descrevem os plug-ins e as opções associadas compatíveis com a Ingestão do OpenSearch.

nota

A Ingestão do OpenSearch não oferece suporte a nenhum plug-in de buffer porque configura automaticamente um buffer padrão. Você receberá um erro de validação se incluir um buffer na configuração do pipeline.

Plug-ins compatíveis

A Ingestão do OpenSearch é compatível com os seguintes plug-ins do Data Prepper:

Sources (Origens:

Processadores:

Coletores:

  • OpenSearch (compatível com OpenSearch Service, OpenSearch de tecnologia sem servidor e Elasticsearch 6.8 ou posterior)

  • S3

Codecs Sink:

Processadores sem estado x processadores com estado

Os processadores sem estado realizam operações como transformações e filtragem, enquanto os processadores com estado realizam operações como agregações que lembram o resultado da execução anterior. A Ingestão do OpenSearch é compatível com os processadores com estado Aggregate e Service-MAP. Todos os outros processadores compatíveis são sem estado.

Para pipelines que contêm apenas processadores sem estado, o limite máximo de capacidade são 96 OCUs de ingestão. Se um pipeline contiver algum processador sem estado, o limite máximo de capacidade são 48 OCUs de ingestão. No entanto, se um pipeline tiver o buffer persistente habilitado, ele poderá ter, no máximo, 384 OCUs de ingestão com apenas processadores sem estado ou 192 OCUs de ingestão se contiver algum processador com estado. Para obter mais informações, consulte Escalar pipelines no Amazon OpenSearch Ingestion.

A confirmação de ponta a ponta é compatível somente com processadores sem estado. Para obter mais informações, consulte Confirmação de ponta a ponta.

Requisitos e restrições de configuração

A menos que especificado de outra forma abaixo, todas as opções descritas na referência de configuração do Data Prepper para os plug-ins compatíveis listados acima são permitidas nos pipelines da Ingestão do OpenSearch. As seções a seguir explicam as restrições que a Ingestão do OpenSearch impõe a determinadas opções de plug-in.

nota

A Ingestão do OpenSearch não oferece suporte a nenhum plug-in de buffer porque configura automaticamente um buffer padrão. Você receberá um erro de validação se incluir um buffer na configuração do pipeline.

Muitas opções são configuradas e gerenciadas internamente pela Ingestão do OpenSearch, como authentication e acm_certificate_arn. Outras opções, como thread_count e request_timeout, sofrem impactos no desempenho se alteradas manualmente. Portanto, esses valores são definidos internamente para garantir o desempenho ideal de seus pipelines.

Por fim, algumas opções não podem ser passadas para a Ingestão do OpenSearch, como ism_policy_file esink_template, porque são arquivos locais quando executados no Data Prepper de código aberto. Não oferece suporte a esses valores.

Opções gerais de pipeline

As seguintes opções gerais de pipeline são definidas pela Ingestão do OpenSearch e não são compatíveis com as configurações de pipeline:

  • workers

  • delay

Processador Grok

As seguintes opções do processador Grok não são compatíveis:

  • patterns_directories

  • patterns_files_glob

Origem HTTP

O plug-in de origem HTTP tem os seguintes requisitos e restrições:

  • A opção path é obrigatória. O caminho é uma string como /log/ingest, que representa o caminho do URI para ingestão de logs. Esse caminho define o URI que você usa para enviar dados para o pipeline. Por exemplo, https://log-pipeline.us-west-2.osis.amazonaws.com/log/ingest. O caminho deve começar com uma barra (/) e pode conter os caracteres especiais '-', '_', ' . 'e'/', bem como o placeholder ${pipelineName}.

  • As seguintes opções de origem HTTP são definidas pela Ingestão do OpenSearch e não são compatíveis com as configurações de pipeline:

    • port

    • ssl

    • ssl_key_file

    • ssl_certificate_file

    • aws_region

    • authentication

    • unauthenticated_health_check

    • use_acm_certificate_for_ssl

    • thread_count

    • request_timeout

    • max_connection_count

    • max_pending_requests

    • health_check_service

    • acm_private_key_password

    • acm_certificate_timeout_millis

    • acm_certificate_arn

OpenSearch SQL

O plug-in do coletor do OpenSearch tem os seguintes requisitos e limitações.

  • A opção aws é obrigatória e deve conter as opções a seguir.

    • sts_role_arn

    • region

    • hosts

    • serverless (se o coletor for uma coleção OpenSearch de tecnologia sem servidor)

  • A opção sts_role_arn deve apontar para a mesma função para cada coletor em um arquivo de definição YAML.

  • A hosts opção deve especificar um endpoint de domínio do OpenSearch Service ou um endpoint de coleta do OpenSearch de tecnologia sem servidor. Você não pode especificar um endpoint personalizado para um domínio; ele deve ser o endpoint padrão.

  • Se a opção hosts for um endpoint de coleta de tecnologia sem servidor, você deverá definir a opção serverless como true. Além disso, se o arquivo de definição YAML contiver a opção index_type, ela deverá ser definida como management_disabled, caso contrário, a validação falhará.

  • As seguintes opções não são compatíveis:

    • username

    • password

    • cert

    • proxy

    • dlq_file: se quiser transferir eventos com falha para uma fila de mensagens não entregues (DLQ), você deve usar a opção dlq e especificar um bucket do S3.

    • ism_policy_file

    • socket_timeout

    • template_file

    • insecure

Fonte de métricas do OTel, fonte de rastreamento do OTel e fonte de logs do OTel

Os plug-ins OTel metrics source, OTel trace source e OTel logs source têm os seguintes requisitos e limitações:

  • A opção path é obrigatória. O caminho é uma string como /log/ingest, que representa o caminho do URI para ingestão de logs. Esse caminho define o URI que você usa para enviar dados para o pipeline. Por exemplo, https://log-pipeline.us-west-2.osis.amazonaws.com/log/ingest. O caminho deve começar com uma barra (/) e pode conter os caracteres especiais '-', '_', ' . 'e'/', bem como o placeholder ${pipelineName}.

  • As opções a seguir são definidas pela Ingestão do OpenSearch e não são compatíveis com as configurações de pipeline:

    • port

    • ssl

    • sslKeyFile

    • sslKeyCertChainFile

    • authentication

    • unauthenticated_health_check

    • useAcmCertForSSL

    • unframed_requests

    • proto_reflection_service

    • thread_count

    • request_timeout

    • max_connection_count

    • acmPrivateKeyPassword

    • acmCertIssueTimeOutMillis

    • health_check_service

    • acmCertificateArn

    • awsRegion

Processador de grupos de rastreamento OTel

O processador OTel trace group (Grupo de rastreamento OTel) apresenta os seguintes requisitos e limitações:

  • A opção aws é obrigatória e deve conter as opções a seguir.

    • sts_role_arn

    • region

    • hosts

  • A opção sts_role_arn especifica a mesma função que a função do pipeline que você especifica na configuração do coletor do OpenSearch.

  • As opções username, password, cert e insecure não são compatíveis.

  • A opção aws_sigv4 é obrigatória e deve ser definida como verdadeira.

  • Não há suporte para a opção serverless do plug-in de coletor do OpenSearch. Atualmente, o processador OTel trace group não funciona com coleções OpenSearch de tecnologia sem servidor.

  • O número de processadores otel_trace_group dentro do corpo de configuração do pipeline não pode exceder 8.

Processador OTel trace

O processador OTel trace (Rastreamento OTel) apresenta os seguintes requisitos e limitações:

  • O valor da opção trace_flush_interval não pode exceder 300 segundos.

Processador de mapas de serviços

O processador Service-map (Mapa de serviços) apresenta os seguintes requisitos e limitações:

  • O valor da opção window_duration não pode exceder 300 segundos.

Origem do S3

O plug-in de origem do S3 tem os seguintes requisitos e limitações:

  • A opção aws é obrigatória e deve conter as opções region e sts_role_arn.

  • O valor da opção records_to_accumulate não pode exceder 200.

  • O valor da opção maximum_messages não pode exceder 10.

  • Se especificada, a opção disable_bucket_ownership_validation deve ser definida como falsa.

  • Se especificada, a opção input_serialization deve ser definida como parquet.