Complementos y opciones compatibles para las canalizaciones de Amazon OpenSearch Ingestion - Amazon OpenSearch Service
Complementos compatiblesProcesadores sin estado frente a procesadores con estadoRequisitos y restricciones de configuración

Complementos y opciones compatibles para las canalizaciones de Amazon OpenSearch Ingestion

Amazon OpenSearch Ingestion admite un subconjunto de fuentes, procesadores y destinos dentro de OpenSearch Data Prepper de código abierto. Además, OpenSearch Ingestion impone algunas restricciones a las opciones disponibles para cada complemento compatible. En las siguientes secciones se describen los complementos y las opciones asociadas que admite OpenSearch Ingestion.

nota

OpenSearch Ingestion no admite ningún complemento de búfer porque configura automáticamente un búfer predeterminado. Si incluye un búfer en la configuración de la canalización, recibirá un error de validación.

Complementos compatibles

OpenSearch Ingestion es compatible con los siguientes complementos de Data Prepper:

Fuentes:

Procesadores:

Receptores:

  • OpenSearch (compatible con OpenSearch Service, OpenSearch sin servidor y Elasticsearch 6.8 o versiones posteriores)

  • S3

Códecs de receptor:

Procesadores sin estado frente a procesadores con estado

Los procesadores sin estado llevan a cabo operaciones como las transformaciones y el filtrado, mientras que los procesadores con estado llevan a cabo operaciones como las agregaciones que recuerdan el resultado de la ejecución anterior. OpenSearch Ingestion es compatible con los procesadores con estado Aggregate y Service-Map. Todos los demás procesadores compatibles no tienen estado.

En el caso de las canalizaciones que solo contienen procesadores sin estado, el límite máximo de capacidad es de 96 OCU de ingesta. Si la canalización contiene algún procesador con estado, el límite máximo de capacidad es de 48 OCU de ingesta. Sin embargo, si una canalización tiene habilitado el almacenamiento en búfer persistente, puede tener un máximo de 384 OCU de ingesta solo con procesadores sin estado, o 192 OCU de ingesta si contiene algún procesador con estado. Para obtener más información, consulte Escalado de canalizaciones en Amazon OpenSearch Ingestion.

El reconocimiento de extremo a extremo solo es compatible con procesadores sin estado. Para más información, consulte Reconocimiento integral.

Requisitos y restricciones de configuración

A menos que se especifique lo contrario a continuación, todas las opciones descritas en la referencia de configuración de Data Prepper para los complementos compatibles enumerados anteriormente están permitidas en las canalizaciones de OpenSearch Ingestion. En las siguientes secciones se explican las restricciones que OpenSearch Ingestion impone a determinadas opciones de los complementos.

nota

OpenSearch Ingestion no admite ningún complemento de búfer porque configura automáticamente un búfer predeterminado. Si incluye un búfer en la configuración de la canalización, recibirá un error de validación.

OpenSearch Ingestion configura y administra internamente muchas opciones, como authentication y acm_certificate_arn. Otras opciones, como thread_count yrequest_timeout, tienen un impacto en el rendimiento si se modifican manualmente. Por lo tanto, estos valores se establecen internamente para garantizar un rendimiento óptimo de sus canalizaciones.

Por último, algunas opciones no se pueden pasar a OpenSearch Ingestion, como ism_policy_file y sink_template, porque son archivos locales cuando se ejecutan en Data Prepper de código abierto. No se admiten estos valores.

Opciones generales de canalización

OpenSearch Ingestion establece las siguientes opciones generales de canalización que no se admiten en las configuraciones de canalización:

  • workers

  • delay

Procesador Grok

No se admiten las siguientes opciones de procesador Grok:

  • patterns_directories

  • patterns_files_glob

Origen de HTTP

El complemento fuente HTTP tiene los siguientes requisitos y restricciones:

  • La opción path es obligatoria. La ruta es una cadena, por ejemplo /log/ingest, que representa la ruta del URI para la ingesta de registros. Esta ruta define el URI que usa para enviar datos a la canalización. Por ejemplo, https://log-pipeline.us-west-2.osis.amazonaws.com/log/ingest. La ruta debe empezar con una barra (/) y puede contener los caracteres especiales '-', '_', '.' y '/', así como el marcador de posición ${pipelineName}.

  • OpenSearch Ingestion establece las siguientes opciones de origen de HTTP que no se admiten en las configuraciones de canalización:

    • port

    • ssl

    • ssl_key_file

    • ssl_certificate_file

    • aws_region

    • authentication

    • unauthenticated_health_check

    • use_acm_certificate_for_ssl

    • thread_count

    • request_timeout

    • max_connection_count

    • max_pending_requests

    • health_check_service

    • acm_private_key_password

    • acm_certificate_timeout_millis

    • acm_certificate_arn

Receptor de OpenSearch

El complemento del receptor de OpenSearch tiene los siguientes requisitos y limitaciones.

  • La opción aws es obligatoria y debe contener las siguientes opciones:

    • sts_role_arn

    • region

    • hosts

    • serverless (si el receptor es una colección OpenSearch sin servidor)

  • La opción sts_role_arn debe apuntar al mismo rol para cada receptor de un archivo de definición YAML.

  • La opción hosts debe especificar un punto de conexión del dominio de OpenSearch Service o un punto de conexión de la colección de OpenSearch sin servidor. No se puede especificar un punto de conexión personalizado para un dominio; este debe ser el punto de conexión estándar.

  • Si la opción de hosts es un punto de conexión de la colección sin servidor, debe configurar la opción serverless en true. Además, si su archivo de definición YAML contiene la opción index_type, debe estar configurada en management_disabled, de lo contrario, la validación fallará.

  • Las siguientes opciones no son compatibles:

    • username

    • password

    • cert

    • proxy

    • dlq_file: si quiere descargar los eventos fallidos a una cola de mensajes fallidos (DLQ), debe usar la opción dlq y especificar un bucket de S3.

    • ism_policy_file

    • socket_timeout

    • template_file

    • insecure

Fuente de métricas de OTel, fuente de rastreo de OTel y fuente de registros de OTel

Los complementos de la fuente de métricas de OTel, la fuente de rastreo de OTel y los registros de OTel tienen los siguientes requisitos y limitaciones:

  • La opción path es obligatoria. La ruta es una cadena, por ejemplo /log/ingest, que representa la ruta del URI para la ingesta de registros. Esta ruta define el URI que usa para enviar datos a la canalización. Por ejemplo, https://log-pipeline.us-west-2.osis.amazonaws.com/log/ingest. La ruta debe empezar con una barra (/) y puede contener los caracteres especiales '-', '_', '.' y '/', así como el marcador de posición ${pipelineName}.

  • OpenSearch Ingestion establece las siguientes opciones que no se admiten en las configuraciones de canalización:

    • port

    • ssl

    • sslKeyFile

    • sslKeyCertChainFile

    • authentication

    • unauthenticated_health_check

    • useAcmCertForSSL

    • unframed_requests

    • proto_reflection_service

    • thread_count

    • request_timeout

    • max_connection_count

    • acmPrivateKeyPassword

    • acmCertIssueTimeOutMillis

    • health_check_service

    • acmCertificateArn

    • awsRegion

Procesador de grupos de rastreo de OTel

El procesador de grupos de rastreo de OTel tiene los siguientes requisitos y limitaciones:

  • La opción aws es obligatoria y debe contener las siguientes opciones:

    • sts_role_arn

    • region

    • hosts

  • La sts_role_arn opción especifica el mismo rol que el rol de canalización que se especifica en la configuración del receptor de OpenSearch.

  • No se admiten las opciones username, password, cert, y insecure.

  • La opción aws_sigv4 es obligatoria y se debe establecer en verdadero.

  • La opción serverless del complemento del receptor de OpenSearch no es compatible. El procesador del grupo de rastreo de OTel no funciona actualmente con los receptores de las colecciones de OpenSearch sin servidor.

  • El número de procesadores otel_trace_group en el cuerpo de configuración de la canalización no puede ser superior a 8.

Procesador de rastreo de OTel

El procesador de rastreo de OTel tiene los siguientes requisitos y limitaciones:

  • El valor de la opción trace_flush_interval no puede superar los 300 segundos.

Procesador de mapas de servicio

El procesador de Service-map tiene los siguientes requisitos y limitaciones:

  • El valor de la opción window_duration no puede superar los 300 segundos.

Fuente de S3

El complemento fuente de S3 tiene los siguientes requisitos y limitaciones:

  • La opción aws es obligatoria y debe contener las opciones region y sts_role_arn.

  • El valor de la opción records_to_accumulate no puede ser superior a 200.

  • El valor de la opción maximum_messages no puede ser superior a 10.

  • Si se especifica, la opción disable_bucket_ownership_validation se debe establecer en falso.

  • Si se especifica, la opción input_serialization se debe establecer en parquet.