Plugins y opciones compatibles para las canalizaciones de Amazon OpenSearch Ingestion - OpenSearch Servicio Amazon
Complementos compatiblesProcesadores sin estado frente a procesadores con estadoRequisitos y restricciones de configuración

Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.

Plugins y opciones compatibles para las canalizaciones de Amazon OpenSearch Ingestion

Amazon OpenSearch Ingestion admite un subconjunto de fuentes, procesadores y receptores en Data Prepper de código OpenSearch abierto. Además, OpenSearch Ingestion impone algunas restricciones a las opciones disponibles para cada complemento compatible. En las siguientes secciones se describen los complementos y las opciones asociadas que admite OpenSearch Ingestion.

nota

OpenSearch Ingestion no admite ningún complemento de búfer porque configura automáticamente un búfer predeterminado. Si incluye un búfer en la configuración de la canalización, recibirá un error de validación.

Complementos compatibles

OpenSearch Ingestion es compatible con los siguientes complementos de Data Prepper:

Fuentes:

Procesadores:

Receptores:

  • OpenSearch(es compatible con OpenSearch Service, OpenSearch Serverless y Elasticsearch 6.8 o versiones posteriores)

  • S3

Códecs de receptor:

Procesadores sin estado frente a procesadores con estado

Los procesadores sin estado realizan operaciones como las transformaciones y el filtrado, mientras que los procesadores con estado realizan operaciones como las agregaciones, que recuerdan el resultado de la ejecución anterior. OpenSearch Ingestion es compatible con los procesadores con estado Aggregate y Service-map. Todos los demás procesadores compatibles no tienen estado.

En el caso de las canalizaciones que contienen únicamente procesadores sin estado, el límite máximo de capacidad es de 96 ingestion. OCUs Si una canalización contiene procesadores con estado, el límite máximo de capacidad es de 48 tomas. OCUs Sin embargo, si una canalización tiene habilitado el almacenamiento en búfer persistente, puede tener un máximo de 384 ingestas solo OCUs con procesadores sin estado, o 192 ingestas si contiene procesadores con estado. OCUs Para obtener más información, consulte Escalar las canalizaciones en Amazon OpenSearch Ingestion.

End-to-end El reconocimiento solo se admite en procesadores sin estado. Para obtener más información, consulte End-to-end reconocimiento.

Requisitos y restricciones de configuración

A menos que se especifique lo contrario a continuación, todas las opciones descritas en la referencia de configuración de Data Prepper para los complementos compatibles enumerados anteriormente están permitidas en OpenSearch los procesos de ingestión. En las siguientes secciones, se explican las restricciones que OpenSearch Ingestion impone a determinadas opciones de los complementos.

nota

OpenSearch Ingestion no admite ningún complemento de búfer porque configura automáticamente un búfer predeterminado. Si incluye un búfer en la configuración de la canalización, recibirá un error de validación.

OpenSearch Ingestion configura y administra internamente muchas opciones, como y. authentication acm_certificate_arn Otras opciones, como thread_count yrequest_timeout, tienen un impacto en el rendimiento si se modifican manualmente. Por lo tanto, estos valores se establecen internamente para garantizar un rendimiento óptimo de sus canalizaciones.

Por último, algunas opciones no se pueden pasar a OpenSearch Ingestion, como ism_policy_file ysink_template, porque son archivos locales cuando se ejecutan en Data Prepper de código abierto. No se admiten estos valores.

Opciones generales de canalización

OpenSearch Ingestion establece las siguientes opciones generales de canalización y no se admiten en las configuraciones de canalización:

  • workers

  • delay

Procesador Grok

No se admiten las siguientes opciones de procesador Grok:

  • patterns_directories

  • patterns_files_glob

Origen de HTTP

El complemento fuente HTTP tiene los siguientes requisitos y restricciones:

  • La opción path es obligatoria. La ruta es una cadena, por ejemplo /log/ingest, que representa la ruta del URI para la ingesta de registros. Esta ruta define el URI que usa para enviar datos a la canalización. Por ejemplo, https://log-pipeline.us-west-2.osis.amazonaws.com/log/ingest. La ruta debe empezar con una barra (/) y puede contener los caracteres especiales '-', '_', '.' y '/', así como el marcador de posición ${pipelineName}.

  • OpenSearch Ingestion establece las siguientes opciones de fuente HTTP y no se admiten en las configuraciones de canalización:

    • port

    • ssl

    • ssl_key_file

    • ssl_certificate_file

    • aws_region

    • authentication

    • unauthenticated_health_check

    • use_acm_certificate_for_ssl

    • thread_count

    • request_timeout

    • max_connection_count

    • max_pending_requests

    • health_check_service

    • acm_private_key_password

    • acm_certificate_timeout_millis

    • acm_certificate_arn

OpenSearch sumidero

El complemento OpenSearchsink tiene los siguientes requisitos y limitaciones.

  • La opción aws es obligatoria y debe contener las siguientes opciones:

    • sts_role_arn

    • region

    • hosts

    • serverless(si el sumidero es una colección OpenSearch sin servidor)

  • La opción sts_role_arn debe apuntar al mismo rol para cada receptor de un archivo de definición YAML.

  • La hosts opción debe especificar un punto final de dominio OpenSearch de servicio o un punto final de colección OpenSearch sin servidor. No se puede especificar un punto de conexión personalizado para un dominio; este debe ser el punto de conexión estándar.

  • Si la opción de hosts es un punto de conexión de la colección sin servidor, debe configurar la opción serverless en true. Además, si su archivo de definición YAML contiene la opción index_type, debe estar configurada en management_disabled, de lo contrario, la validación fallará.

  • Las siguientes opciones no son compatibles:

    • username

    • password

    • cert

    • proxy

    • dlq_file: si quiere descargar los eventos fallidos a una cola de mensajes fallidos (DLQ), debe usar la opción dlq y especificar un bucket de S3.

    • ism_policy_file

    • socket_timeout

    • template_file

    • insecure

OTel fuente de métricas, fuente de OTel rastreo y fuente de OTel registros

Los complementos fuente de OTel métricas, fuente de OTel rastreo y fuente de OTel registros tienen los siguientes requisitos y limitaciones:

  • La opción path es obligatoria. La ruta es una cadena, por ejemplo /log/ingest, que representa la ruta del URI para la ingesta de registros. Esta ruta define el URI que usa para enviar datos a la canalización. Por ejemplo, https://log-pipeline.us-west-2.osis.amazonaws.com/log/ingest. La ruta debe empezar con una barra (/) y puede contener los caracteres especiales '-', '_', '.' y '/', así como el marcador de posición ${pipelineName}.

  • OpenSearch Ingestion establece las siguientes opciones y no se admiten en las configuraciones de canalización:

    • port

    • ssl

    • sslKeyFile

    • sslKeyCertChainFile

    • authentication

    • unauthenticated_health_check

    • useAcmCertForSSL

    • unframed_requests

    • proto_reflection_service

    • thread_count

    • request_timeout

    • max_connection_count

    • acmPrivateKeyPassword

    • acmCertIssueTimeOutMillis

    • health_check_service

    • acmCertificateArn

    • awsRegion

OTel procesador de grupos de rastreo

El procesador de grupos de OTel rastreo tiene los siguientes requisitos y limitaciones:

  • La opción aws es obligatoria y debe contener las siguientes opciones:

    • sts_role_arn

    • region

    • hosts

  • La sts_role_arn opción especifica la misma función que la función de canalización que se especifica en la configuración OpenSearch del receptor.

  • No se admiten las opciones username, password, cert, y insecure.

  • La opción aws_sigv4 es obligatoria y se debe establecer en verdadero.

  • No se admite la serverless opción incluida en el complemento de OpenSearch sumidero. El procesador Otel Trace Group no funciona actualmente con las colecciones OpenSearch Serverless.

  • El número de procesadores otel_trace_group en el cuerpo de configuración de la canalización no puede ser superior a 8.

OTel procesador de trazas

El procesador de OTel trazas tiene los siguientes requisitos y limitaciones:

  • El valor de la opción trace_flush_interval no puede superar los 300 segundos.

Procesador de mapas de servicio

El procesador de Service-map tiene los siguientes requisitos y limitaciones:

  • El valor de la opción window_duration no puede superar los 300 segundos.

Fuente de S3

El complemento fuente de S3 tiene los siguientes requisitos y limitaciones:

  • La opción aws es obligatoria y debe contener las opciones region y sts_role_arn.

  • El valor de la opción records_to_accumulate no puede ser superior a 200.

  • El valor de la opción maximum_messages no puede ser superior a 10.

  • Si se especifica, la opción disable_bucket_ownership_validation se debe establecer en falso.

  • Si se especifica, la opción input_serialization se debe establecer en parquet.