Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

# Plugin dan opsi yang didukung untuk saluran Amazon OpenSearch Ingestion
<a name="pipeline-config-reference"></a>

[Amazon OpenSearch Ingestion mendukung subset sumber, prosesor, dan sink dalam Prepper Data open source. OpenSearch ](https://opensearch.org/docs/latest/data-prepper/) Selain itu, ada beberapa kendala yang Ditempatkan oleh OpenSearch Ingestion pada opsi yang tersedia untuk setiap plugin yang didukung. Bagian berikut menjelaskan plugin dan opsi terkait yang didukung oleh OpenSearch Ingestion.

**catatan**  
OpenSearch Ingestion tidak mendukung plugin buffer apa pun karena secara otomatis mengkonfigurasi buffer default. Anda menerima kesalahan validasi jika menyertakan buffer dalam konfigurasi pipeline Anda.

**Topics**
+ [Plugin yang didukung](#ingestion-plugins)
+ [Prosesor stateless versus stateful](#processor-stateful-stateless)
+ [Persyaratan dan kendala konfigurasi](#ingestion-parameters)

## Plugin yang didukung
<a name="ingestion-plugins"></a>

OpenSearch Ingestion mendukung plugin Data Prepper berikut:

**Sumber**:
+ [DocumentDB](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/sources/documentdb/)
+ [DynamoDB](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/sources/dynamo-db/)
+ [HTTP](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/sources/http-source/)
+ [Kafka](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/sources/kafka/)
+ [Kinesis](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/sources/kinesis/)
+ [OpenSearch](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/sources/opensearch/)
+ [OTel log](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/sources/otel-logs-source/)
+ [OTel metrik](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/sources/otel-metrics-source/)
+ [OTel jejak](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/sources/otel-trace/)
+ [S3](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/sources/s3/)

**Prosesor**:
+ [Tambahkan entri](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/processors/add-entries/)
+ [Agregat](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/processors/aggregate/)
+ [Detektor anomali](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/processors/anomaly-detector/)
+ [AWS Lambda](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/processors/aws-lambda/)
+ [Mengkonversi jenis entri](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/processors/convert-entry-type/)
+ [Salin nilai](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/processors/copy-values/)
+ [CSV](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/processors/csv/)
+ [Tanggal](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/processors/date/)
+ [Keterlambatan](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/processors/delay/)
+ [Dekompresi](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/processors/decompress/)
+ [Hapus entri](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/processors/delete-entries/)
+ [Membedah](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/processors/dissect/)
+ [Jatuhkan acara](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/processors/drop-events/)
+ [Ratakan](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/processors/flatten/)
+ [Geo IP](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/processors/geoip/)
+ [Grok](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/processors/grok/)
+ [Nilai kunci](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/processors/key-value/)
+ [Daftar ke peta](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/processors/list-to-map/)
+ [String huruf kecil](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/processors/lowercase-string/)
+ [Peta ke daftar](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/processors/map-to-list/)
+ [Mutate event](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/processors/mutate-event/) (rangkaian prosesor)
+ [Mutasi string](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/processors/mutate-string/) (serangkaian prosesor)
+ [Mengaburkan](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/processors/obfuscate/)
+ [OTel metrik](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/processors/otel-metrics/)
+ [OTel kelompok jejak](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/processors/otel-trace-group/)
+ [OTel jejak](https://docs.opensearch.org/latest/data-prepper/common-use-cases/trace-analytics/)
+ [Parse Ion](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/processors/parse-ion/)
+ [Mengurai JSON](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/processors/parse-json/)
+ [Mengurai XML](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/processors/parse-xml/)
+ [Ganti nama kunci](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/processors/rename-keys/)
+ [Pilih entri](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/processors/select-entries/)
+ [Peta layanan](https://docs.opensearch.org/latest/data-prepper/common-use-cases/trace-analytics/)
+ [Acara split](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/processors/split-event/)
+ [Split string](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/processors/split-string/)
+ [Konverter string](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/processors/string-converter/)
+ [String pengganti](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/processors/substitute-string/)
+ [Lacak peer forwarder](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/processors/trace-peer-forwarder/)
+ [Terjemahkan](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/processors/translate/)
+ [Potong tali](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/processors/trim-string/)
+ [Memotong](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/processors/truncate/)
+ [String huruf besar](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/processors/uppercase-string/)
+ [Agen pengguna](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/processors/user-agent/)
+ [Tulis JSON](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/processors/write-json/)

**Wastafel**:
+ [OpenSearch](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/sinks/opensearch/)(mendukung OpenSearch Layanan, OpenSearch Tanpa Server, dan Elasticsearch 6.8 atau yang lebih baru)
+ [S3](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/sinks/s3/)

**Codec wastafel**:
+ [Avro](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/sinks/s3/#avro-codec)
+ [NDJSON](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/sinks/s3/#ndjson-codec)
+ [JSON](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/sinks/s3/#json-codec)
+ [Parket](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/sinks/s3/#parquet-codec)

## Prosesor stateless versus stateful
<a name="processor-stateful-stateless"></a>

Prosesor *stateless* melakukan operasi seperti transformasi dan penyaringan, sementara prosesor *stateful* melakukan operasi seperti agregasi, yang mengingat hasil dari proses sebelumnya. OpenSearch [https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/processors/aggregate/](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/processors/aggregate/) Semua prosesor lain yang didukung adalah stateless.

Untuk jaringan pipa yang hanya berisi prosesor stateless, batas kapasitas maksimum adalah 96 Ingestion. OCUs Jika pipa berisi prosesor stateful, batas kapasitas maksimum adalah 48 Ingestion. OCUs Namun, jika pipeline memiliki [buffering persisten](osis-features-overview.md#persistent-buffering) yang diaktifkan, ia dapat memiliki maksimum 384 Ingestion OCUs dengan hanya prosesor stateless, atau 192 OCUs Ingestion jika berisi prosesor stateful. Untuk informasi selengkapnya, lihat [Menskalakan jaringan pipa di Amazon Ingestion OpenSearch](ingestion-scaling.md).

End-to-end pengakuan hanya didukung untuk prosesor stateless. Untuk informasi selengkapnya, lihat [End-to-end pengakuan](osis-features-overview.md#osis-features-e2e).

## Persyaratan dan kendala konfigurasi
<a name="ingestion-parameters"></a>

Kecuali ditentukan lain di bawah ini, semua opsi yang dijelaskan dalam referensi konfigurasi Persiapan Data untuk plugin yang didukung yang tercantum di atas diizinkan dalam pipeline OpenSearch Ingestion. Bagian berikut menjelaskan kendala yang Ditempatkan oleh OpenSearch Ingestion pada opsi plugin tertentu.

**catatan**  
OpenSearch Ingestion tidak mendukung plugin buffer apa pun karena secara otomatis mengkonfigurasi buffer default. Anda menerima kesalahan validasi jika menyertakan buffer dalam konfigurasi pipeline Anda.

Banyak opsi dikonfigurasi dan dikelola secara internal oleh OpenSearch Ingestion, seperti dan. `authentication` `acm_certificate_arn` Opsi lain, seperti `thread_count` dan`request_timeout`, memiliki dampak kinerja jika diubah secara manual. Oleh karena itu, nilai-nilai ini ditetapkan secara internal untuk memastikan kinerja saluran pipa Anda yang optimal.

Terakhir, beberapa opsi tidak dapat diteruskan ke OpenSearch Ingestion, seperti `ism_policy_file` dan`sink_template`, karena mereka adalah file lokal ketika dijalankan di Prepper Data sumber terbuka. Nilai-nilai ini tidak didukung.

**Topics**
+ [Opsi pipa umum](#ingestion-params-general)
+ [Prosesor Grok](#ingestion-params-grok)
+ [Sumber HTTP](#ingestion-params-http)
+ [OpenSearch wastafel](#ingestion-params-opensearch)
+ [OTel sumber metrik, sumber OTel jejak, dan sumber OTel log](#ingestion-params-otel-source)
+ [OTel prosesor kelompok jejak](#ingestion-params-otel-trace)
+ [OTel prosesor jejak](#ingestion-params-otel-raw)
+ [Prosesor peta layanan](#ingestion-params-servicemap)
+ [Sumber S3](#ingestion-params-s3)

### Opsi pipa umum
<a name="ingestion-params-general"></a>

[Opsi pipeline umum](https://docs.opensearch.org/latest/data-prepper/pipelines/pipelines/) berikut disetel oleh OpenSearch Ingestion dan tidak didukung dalam konfigurasi pipeline:
+ `workers`
+ `delay`

### Prosesor Grok
<a name="ingestion-params-grok"></a>

Opsi prosesor [Grok](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/processors/grok/) berikut tidak didukung:
+ `patterns_directories`
+ `patterns_files_glob`

### Sumber HTTP
<a name="ingestion-params-http"></a>

Plugin sumber [HTTP](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/sources/http-source/) memiliki persyaratan dan kendala berikut:
+ `path`Opsi ini *diperlukan*. Path adalah string seperti`/log/ingest`, yang mewakili jalur URI untuk log ingestion. Path ini mendefinisikan URI yang Anda gunakan untuk mengirim data ke pipeline. Misalnya, `https://log-pipeline.us-west-2.osis.amazonaws.com{{/log/ingest}}`. Jalur harus dimulai dengan garis miring (/), dan dapat berisi karakter khusus '-', '\_', ' . ', dan'/', serta `${pipelineName}` placeholder.
+ Opsi sumber HTTP berikut disetel oleh OpenSearch Ingestion dan tidak didukung dalam konfigurasi pipeline:
  + `port`
  + `ssl`
  + `ssl_key_file`
  + `ssl_certificate_file`
  + `aws_region`
  + `authentication`
  + `unauthenticated_health_check`
  + `use_acm_certificate_for_ssl`
  + `thread_count`
  + `request_timeout`
  + `max_connection_count`
  + `max_pending_requests`
  + `health_check_service`
  + `acm_private_key_password`
  + `acm_certificate_timeout_millis`
  + `acm_certificate_arn`

### OpenSearch wastafel
<a name="ingestion-params-opensearch"></a>

Plugin [OpenSearch](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/sinks/opensearch/)wastafel memiliki persyaratan dan batasan berikut.
+ `aws`Opsi ini *diperlukan*, dan harus berisi opsi berikut:
  + `sts_role_arn`
  + `region`
  + `hosts`
  + `serverless`(jika wastafel adalah koleksi OpenSearch Tanpa Server)
+ `sts_role_arn`Opsi harus menunjuk ke peran yang sama untuk setiap wastafel dalam file definisi YAMAL.
+ `hosts`Opsi harus menentukan titik akhir domain OpenSearch Layanan atau titik akhir koleksi OpenSearch Tanpa Server. Anda tidak dapat menentukan [titik akhir kustom](https://docs.aws.amazon.com/opensearch-service/latest/developerguide/customendpoint.html) untuk domain; itu harus menjadi titik akhir standar.
+ Jika `hosts` opsi adalah titik akhir koleksi tanpa server, Anda harus mengatur opsi ke. `serverless` `true` Selain itu, jika file definisi YAMAL Anda berisi `index_type` opsi, itu harus disetel ke`management_disabled`, jika tidak validasi gagal.
+ Opsi berikut tidak didukung:
  + `username`
  + `password`
  + `cert`
  + `proxy`
  + `dlq_file`- Jika Anda ingin membongkar peristiwa yang gagal ke antrian huruf mati (DLQ), Anda harus menggunakan `dlq` opsi dan menentukan ember S3.
  + `ism_policy_file`
  + `socket_timeout`
  + `template_file`
  + `insecure`

### OTel sumber metrik, sumber OTel jejak, dan sumber OTel log
<a name="ingestion-params-otel-source"></a>

Sumber [OTel metrik](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/sources/otel-metrics-source/), sumber [OTel jejak](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/sources/otel-trace/), dan plugin sumber [OTel log](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/sources/otel-logs-source/) memiliki persyaratan dan batasan berikut:
+ `path`Opsi ini *diperlukan*. Path adalah string seperti`/log/ingest`, yang mewakili jalur URI untuk log ingestion. Path ini mendefinisikan URI yang Anda gunakan untuk mengirim data ke pipeline. Misalnya, `https://log-pipeline.us-west-2.osis.amazonaws.com{{/log/ingest}}`. Jalur harus dimulai dengan garis miring (/), dan dapat berisi karakter khusus '-', '\_', ' . ', dan'/', serta `${pipelineName}` placeholder.
+ Opsi berikut disetel oleh OpenSearch Ingestion dan tidak didukung dalam konfigurasi pipeline:
  + `port`
  + `ssl`
  + `sslKeyFile`
  + `sslKeyCertChainFile`
  + `authentication`
  + `unauthenticated_health_check`
  + `useAcmCertForSSL`
  + `unframed_requests`
  + `proto_reflection_service`
  + `thread_count`
  + `request_timeout`
  + `max_connection_count`
  + `acmPrivateKeyPassword`
  + `acmCertIssueTimeOutMillis`
  + `health_check_service`
  + `acmCertificateArn`
  + `awsRegion`

### OTel prosesor kelompok jejak
<a name="ingestion-params-otel-trace"></a>

Prosesor [OTel trace group](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/processors/otel-trace-group/) memiliki persyaratan dan batasan berikut:
+ `aws`Opsi ini *diperlukan*, dan harus berisi opsi berikut:
  + `sts_role_arn`
  + `region`
  + `hosts`
+ `sts_role_arn`Opsi menentukan peran yang sama dengan peran pipeline yang Anda tentukan dalam konfigurasi OpenSearch wastafel.
+ `insecure`Opsi `username``password`,`cert`, dan tidak didukung.
+ `aws_sigv4`Opsi ini diperlukan dan harus disetel ke true.
+ `serverless`Opsi dalam plugin OpenSearch wastafel tidak didukung. Prosesor grup jejak Otel saat ini tidak berfungsi dengan koleksi Tanpa OpenSearch Server.
+ Jumlah `otel_trace_group` prosesor dalam badan konfigurasi pipa tidak boleh melebihi 8.

### OTel prosesor jejak
<a name="ingestion-params-otel-raw"></a>

Prosesor [OTel jejak](https://docs.opensearch.org/latest/data-prepper/pipelines/configuration/processors/otel-traces/) memiliki persyaratan dan batasan berikut:
+ Nilai `trace_flush_interval` opsi tidak boleh melebihi 300 detik.

### Prosesor peta layanan
<a name="ingestion-params-servicemap"></a>

Prosesor [peta layanan](https://docs.opensearch.org/latest/data-prepper/pipelines/configuration/processors/service-map/) memiliki persyaratan dan batasan berikut:
+ Nilai `window_duration` opsi tidak boleh melebihi 300 detik.

### Sumber S3
<a name="ingestion-params-s3"></a>

Plugin sumber [S3](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/sources/s3/) memiliki persyaratan dan batasan berikut:
+ `aws`Opsi ini *diperlukan*, dan harus berisi `region` dan `sts_role_arn` opsi.
+ Nilai `records_to_accumulate` opsi tidak boleh melebihi 200.
+ Nilai `maximum_messages` opsi tidak boleh melebihi 10.
+ Jika ditentukan, `disable_bucket_ownership_validation` opsi harus disetel ke false.
+ Jika ditentukan, `input_serialization` opsi harus diatur ke`parquet`.