As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

# Plugins e opções compatíveis para pipelines OpenSearch de ingestão da Amazon
<a name="pipeline-config-reference"></a>

[O Amazon OpenSearch Ingestion oferece suporte a um subconjunto de fontes, processadores e coletores dentro do Data Prepper de código OpenSearch aberto.](https://opensearch.org/docs/latest/data-prepper/) Além disso, há algumas restrições que o OpenSearch Inestion impõe às opções disponíveis para cada plug-in compatível. As seções a seguir descrevem os plug-ins e as opções associadas compatíveis com o OpenSearch Inestion.

**nota**  
OpenSearch A ingestão não oferece suporte a nenhum plug-in de buffer porque configura automaticamente um buffer padrão. Você receberá um erro de validação se incluir um buffer na configuração do pipeline.

**Topics**
+ [Plug-ins compatíveis](#ingestion-plugins)
+ [Processadores sem estado x processadores com estado](#processor-stateful-stateless)
+ [Requisitos e restrições de configuração](#ingestion-parameters)

## Plug-ins compatíveis
<a name="ingestion-plugins"></a>

OpenSearch O Inestion é compatível com os seguintes plug-ins do Data Prepper:

**Sources (Origens)**:
+ [DocumentDB](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/sources/documentdb/)
+ [DynamoDB](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/sources/dynamo-db/)
+ [HTTP](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/sources/http-source/)
+ [Kafka](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/sources/kafka/)
+ [Kinesis](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/sources/kinesis/)
+ [OpenSearch](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/sources/opensearch/)
+ [OTel logs](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/sources/otel-logs-source/)
+ [OTel métricas](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/sources/otel-metrics-source/)
+ [OTel traço](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/sources/otel-trace/)
+ [S3](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/sources/s3/)

**Processadores**:
+ [Adicionar entradas](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/processors/add-entries/)
+ [Aggregate](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/processors/aggregate/)
+ [Detector de anomalias](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/processors/anomaly-detector/)
+ [AWS Lambda](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/processors/aws-lambda/)
+ [Converter tipo de entrada](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/processors/convert-entry-type/)
+ [Copiar valores](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/processors/copy-values/)
+ [CSV](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/processors/csv/)
+ [Data](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/processors/date/)
+ [Atraso](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/processors/delay/)
+ [Descomprimir](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/processors/decompress/)
+ [Excluir entradas](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/processors/delete-entries/)
+ [Dissecar](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/processors/dissect/)
+ [Descarte eventos](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/processors/drop-events/)
+ [Achatar](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/processors/flatten/)
+ [IP geográfico](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/processors/geoip/)
+ [Grok](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/processors/grok/)
+ [Valor da chave](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/processors/key-value/)
+ [Lista para mapa](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/processors/list-to-map/)
+ [String em minúsculas](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/processors/lowercase-string/)
+ [Mapear para a lista](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/processors/map-to-list/)
+ [Mudar evento](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/processors/mutate-event/) (série de processadores)
+ [Mudar string](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/processors/mutate-string/) (série de processadores)
+ [Obfuscate (Ofuscar)](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/processors/obfuscate/)
+ [OTel métricas](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/processors/otel-metrics/)
+ [OTel grupo de rastreamento](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/processors/otel-trace-group/)
+ [OTel traço](https://docs.opensearch.org/latest/data-prepper/common-use-cases/trace-analytics/)
+ [Analisar Ion](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/processors/parse-ion/)
+ [Parse JSON (Analisar JSON)](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/processors/parse-json/)
+ [Analisar XML](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/processors/parse-xml/)
+ [Renomear chaves](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/processors/rename-keys/)
+ [Selecionar entradas](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/processors/select-entries/)
+ [Mapa de serviço](https://docs.opensearch.org/latest/data-prepper/common-use-cases/trace-analytics/)
+ [Dividir evento](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/processors/split-event/)
+ [Dividir string](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/processors/split-string/)
+ [Conversor de strings](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/processors/string-converter/)
+ [Substituir string](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/processors/substitute-string/)
+ [Rastrear o remetente entre os pares](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/processors/trace-peer-forwarder/)
+ [Translate](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/processors/translate/)
+ [Cortar string](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/processors/trim-string/)
+ [Truncar](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/processors/truncate/)
+ [String em maiúsculas](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/processors/uppercase-string/)
+ [Agente de usuário](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/processors/user-agent/)
+ [Gravar JSON](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/processors/write-json/)

**Coletores**:
+ [OpenSearch](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/sinks/opensearch/)(compatível com OpenSearch Service, OpenSearch Serverless e Elasticsearch 6.8 ou posterior)
+ [S3](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/sinks/s3/)

**Codecs Sink**:
+ [Avro](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/sinks/s3/#avro-codec)
+ [NDJSON](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/sinks/s3/#ndjson-codec)
+ [JSON](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/sinks/s3/#json-codec)
+ [Parquet](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/sinks/s3/#parquet-codec)

## Processadores sem estado x processadores com estado
<a name="processor-stateful-stateless"></a>

Os processadores *sem estado* realizam operações como transformações e filtragem, enquanto os processadores com *estado realizam* operações como agregações, que lembram o resultado da execução anterior. OpenSearch [A ingestão suporta os processadores com estado [Aggregate e Service-MAP.](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/processors/aggregate/)](https://docs.opensearch.org/latest/data-prepper/pipelines/configuration/processors/service-map/) Todos os outros processadores compatíveis são sem estado.

Para pipelines que contêm somente processadores sem estado, o limite máximo de capacidade é 96 de ingestão. OCUs Se um pipeline contiver algum processador com estado, o limite máximo de capacidade será 48 de ingestão OCUs. No entanto, se um pipeline tiver o [buffer persistente](osis-features-overview.md#persistent-buffering) ativado, ele poderá ter no máximo 384 Ingestão OCUs com apenas processadores sem estado ou 192 Ingestão OCUs se contiver algum processador com estado. Para obter mais informações, consulte [Escalando pipelines na Amazon Ingestion OpenSearch](ingestion-scaling.md).

End-to-end o reconhecimento só é suportado para processadores sem estado. Para obter mais informações, consulte [End-to-end reconhecimento](osis-features-overview.md#osis-features-e2e).

## Requisitos e restrições de configuração
<a name="ingestion-parameters"></a>

A menos que especificado de outra forma abaixo, todas as opções descritas na referência de configuração do Data Prepper para os plug-ins compatíveis listados acima são permitidas nos pipelines OpenSearch de ingestão. As seções a seguir explicam as restrições que o OpenSearch Inestion impõe a determinadas opções de plug-in.

**nota**  
OpenSearch A ingestão não oferece suporte a nenhum plug-in de buffer porque configura automaticamente um buffer padrão. Você receberá um erro de validação se incluir um buffer na configuração do pipeline.

Muitas opções são configuradas e gerenciadas internamente pelo OpenSearch Inestion, como e. `authentication` `acm_certificate_arn` Outras opções, como `thread_count` e `request_timeout`, sofrem impactos no desempenho se alteradas manualmente. Portanto, esses valores são definidos internamente para garantir o desempenho ideal de seus pipelines.

Por fim, algumas opções não podem ser passadas para a OpenSearch Ingestão, como `ism_policy_file` e`sink_template`, porque são arquivos locais quando executados no Data Prepper de código aberto. Não oferece suporte a esses valores.

**Topics**
+ [Opções gerais de pipeline](#ingestion-params-general)
+ [Processador Grok](#ingestion-params-grok)
+ [Origem HTTP](#ingestion-params-http)
+ [OpenSearch pia](#ingestion-params-opensearch)
+ [OTel fonte de métricas, fonte de OTel rastreamento e origem OTel de registros](#ingestion-params-otel-source)
+ [OTel processador de grupos de rastreamento](#ingestion-params-otel-trace)
+ [OTel processador de rastreamento](#ingestion-params-otel-raw)
+ [Processador de mapas de serviços](#ingestion-params-servicemap)
+ [Origem do S3](#ingestion-params-s3)

### Opções gerais de pipeline
<a name="ingestion-params-general"></a>

As seguintes [opções gerais de pipeline](https://docs.opensearch.org/latest/data-prepper/pipelines/pipelines/) são definidas pela OpenSearch Ingestão e não são suportadas nas configurações de pipeline:
+ `workers`
+ `delay`

### Processador Grok
<a name="ingestion-params-grok"></a>

As seguintes opções do processador [Grok](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/processors/grok/) não são compatíveis:
+ `patterns_directories`
+ `patterns_files_glob`

### Origem HTTP
<a name="ingestion-params-http"></a>

O plug-in de origem [HTTP](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/sources/http-source/) tem os seguintes requisitos e restrições:
+ A opção `path` é *obrigatória*. O caminho é uma string como `/log/ingest`, que representa o caminho do URI para ingestão de logs. Esse caminho define o URI que você usa para enviar dados para o pipeline. Por exemplo, .`https://log-pipeline.us-west-2.osis.amazonaws.com{{/log/ingest}}` O caminho deve começar com uma barra (/) e pode conter os caracteres especiais '-', '\_', ' . 'e'/', bem como o placeholder `${pipelineName}`.
+ As seguintes opções de origem HTTP são definidas pelo OpenSearch Inestion e não são compatíveis com as configurações de pipeline:
  + `port`
  + `ssl`
  + `ssl_key_file`
  + `ssl_certificate_file`
  + `aws_region`
  + `authentication`
  + `unauthenticated_health_check`
  + `use_acm_certificate_for_ssl`
  + `thread_count`
  + `request_timeout`
  + `max_connection_count`
  + `max_pending_requests`
  + `health_check_service`
  + `acm_private_key_password`
  + `acm_certificate_timeout_millis`
  + `acm_certificate_arn`

### OpenSearch pia
<a name="ingestion-params-opensearch"></a>

O plug-in [OpenSearch](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/sinks/opensearch/)sink tem os seguintes requisitos e limitações.
+ A opção `aws` é *obrigatória* e deve conter as opções a seguir.
  + `sts_role_arn`
  + `region`
  + `hosts`
  + `serverless`(se o coletor for uma OpenSearch coleção sem servidor)
+ A opção `sts_role_arn` deve apontar para a mesma função para cada coletor em um arquivo de definição YAML.
+ A `hosts` opção deve especificar um endpoint OpenSearch de domínio de serviço ou um endpoint de coleta OpenSearch sem servidor. Você não pode especificar um [endpoint personalizado](https://docs.aws.amazon.com/opensearch-service/latest/developerguide/customendpoint.html) para um domínio; ele deve ser o endpoint padrão.
+ Se a opção `hosts` for um endpoint de coleta de tecnologia sem servidor, você deverá definir a opção `serverless` como `true`. Além disso, se o arquivo de definição YAML contiver a opção `index_type`, ela deverá ser definida como `management_disabled`, caso contrário, a validação falhará.
+ As seguintes opções não são compatíveis:
  + `username`
  + `password`
  + `cert`
  + `proxy`
  + `dlq_file`: se quiser transferir eventos com falha para uma fila de mensagens não entregues (DLQ), você deve usar a opção `dlq` e especificar um bucket do S3.
  + `ism_policy_file`
  + `socket_timeout`
  + `template_file`
  + `insecure`

### OTel fonte de métricas, fonte de OTel rastreamento e origem OTel de registros
<a name="ingestion-params-otel-source"></a>

Os plug-ins de origem de [OTel métricas](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/sources/otel-metrics-source/), origem de [OTel rastreamento](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/sources/otel-trace/) e origem de [OTel registros](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/sources/otel-logs-source/) têm os seguintes requisitos e limitações:
+ A opção `path` é *obrigatória*. O caminho é uma string como `/log/ingest`, que representa o caminho do URI para ingestão de logs. Esse caminho define o URI que você usa para enviar dados para o pipeline. Por exemplo, .`https://log-pipeline.us-west-2.osis.amazonaws.com{{/log/ingest}}` O caminho deve começar com uma barra (/) e pode conter os caracteres especiais '-', '\_', ' . 'e'/', bem como o placeholder `${pipelineName}`.
+ As opções a seguir são definidas pelo OpenSearch Ingestion e não são compatíveis com as configurações de pipeline:
  + `port`
  + `ssl`
  + `sslKeyFile`
  + `sslKeyCertChainFile`
  + `authentication`
  + `unauthenticated_health_check`
  + `useAcmCertForSSL`
  + `unframed_requests`
  + `proto_reflection_service`
  + `thread_count`
  + `request_timeout`
  + `max_connection_count`
  + `acmPrivateKeyPassword`
  + `acmCertIssueTimeOutMillis`
  + `health_check_service`
  + `acmCertificateArn`
  + `awsRegion`

### OTel processador de grupos de rastreamento
<a name="ingestion-params-otel-trace"></a>

O processador do [grupo de OTel rastreamento](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/processors/otel-trace-group/) tem os seguintes requisitos e limitações:
+ A opção `aws` é *obrigatória* e deve conter as opções a seguir.
  + `sts_role_arn`
  + `region`
  + `hosts`
+ A `sts_role_arn` opção especifica a mesma função do pipeline que você especifica na configuração do OpenSearch coletor.
+ As opções `username`, `password`, `cert` e `insecure` não são compatíveis.
+ A opção `aws_sigv4` é obrigatória e deve ser definida como verdadeira.
+ A `serverless` opção dentro do plug-in do OpenSearch coletor não é suportada. Atualmente, o processador de grupos de rastreamento da Otel não funciona com coleções sem OpenSearch servidor.
+ O número de processadores `otel_trace_group` dentro do corpo de configuração do pipeline não pode exceder 8.

### OTel processador de rastreamento
<a name="ingestion-params-otel-raw"></a>

O processador de [OTel rastreamento](https://docs.opensearch.org/latest/data-prepper/pipelines/configuration/processors/otel-traces/) tem os seguintes requisitos e limitações:
+ O valor da opção `trace_flush_interval` não pode exceder 300 segundos.

### Processador de mapas de serviços
<a name="ingestion-params-servicemap"></a>

O processador [Service-map](https://docs.opensearch.org/latest/data-prepper/pipelines/configuration/processors/service-map/) (Mapa de serviços) apresenta os seguintes requisitos e limitações:
+ O valor da opção `window_duration` não pode exceder 300 segundos.

### Origem do S3
<a name="ingestion-params-s3"></a>

O plug-in de origem do [S3](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/sources/s3/) tem os seguintes requisitos e limitações:
+ A opção `aws` é *obrigatória* e deve conter as opções `region` e `sts_role_arn`.
+ O valor da opção `records_to_accumulate` não pode exceder 200.
+ O valor da opção `maximum_messages` não pode exceder 10.
+ Se especificada, a opção `disable_bucket_ownership_validation` deve ser definida como falsa.
+ Se especificada, a opção `input_serialization` deve ser definida como `parquet`.