Plugin dan opsi yang didukung untuk saluran Amazon OpenSearch Ingestion - OpenSearch Layanan Amazon
Plugin yang didukungProsesor stateless versus statefulPersyaratan dan kendala konfigurasi

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Plugin dan opsi yang didukung untuk saluran Amazon OpenSearch Ingestion

Amazon OpenSearch Ingestion mendukung subset sumber, prosesor, dan sink dalam Prepper Data open source. OpenSearch Selain itu, ada beberapa kendala yang Ditempatkan oleh OpenSearch Ingestion pada opsi yang tersedia untuk setiap plugin yang didukung. Bagian berikut menjelaskan plugin dan opsi terkait yang didukung oleh OpenSearch Ingestion.

catatan

OpenSearch Ingestion tidak mendukung plugin buffer apa pun karena secara otomatis mengkonfigurasi buffer default. Anda menerima kesalahan validasi jika menyertakan buffer dalam konfigurasi pipeline Anda.

Plugin yang didukung

OpenSearch Ingestion mendukung plugin Data Prepper berikut:

Sumber:

Prosesor:

Wastafel:

  • OpenSearch(mendukung OpenSearch Layanan, OpenSearch Tanpa Server, dan Elasticsearch 6.8 atau yang lebih baru)

  • S3

Codec wastafel:

Prosesor stateless versus stateful

Prosesor stateless melakukan operasi seperti transformasi dan penyaringan, sementara prosesor stateful melakukan operasi seperti agregasi, yang mengingat hasil dari proses sebelumnya. OpenSearch Ingestion mendukung prosesor stateful Agregate dan Service-map. Semua prosesor lain yang didukung adalah stateless.

Untuk jaringan pipa yang hanya berisi prosesor stateless, batas kapasitas maksimum adalah 96 Ingestion. OCUs Jika pipa berisi prosesor stateful, batas kapasitas maksimum adalah 48 Ingestion. OCUs Namun, jika pipeline memiliki buffering persisten yang diaktifkan, ia dapat memiliki maksimum 384 Ingestion OCUs dengan hanya prosesor stateless, atau 192 OCUs Ingestion jika berisi prosesor stateful. Untuk informasi selengkapnya, lihat Menskalakan jaringan pipa di Amazon Ingestion OpenSearch .

End-to-end pengakuan hanya didukung untuk prosesor stateless. Untuk informasi selengkapnya, lihat End-to-end pengakuan.

Persyaratan dan kendala konfigurasi

Kecuali ditentukan lain di bawah ini, semua opsi yang dijelaskan dalam referensi konfigurasi Persiapan Data untuk plugin yang didukung yang tercantum di atas diizinkan dalam pipeline OpenSearch Ingestion. Bagian berikut menjelaskan kendala yang Ditempatkan oleh OpenSearch Ingestion pada opsi plugin tertentu.

catatan

OpenSearch Ingestion tidak mendukung plugin buffer apa pun karena secara otomatis mengkonfigurasi buffer default. Anda menerima kesalahan validasi jika menyertakan buffer dalam konfigurasi pipeline Anda.

Banyak opsi dikonfigurasi dan dikelola secara internal oleh OpenSearch Ingestion, seperti dan. authentication acm_certificate_arn Opsi lain, seperti thread_count danrequest_timeout, memiliki dampak kinerja jika diubah secara manual. Oleh karena itu, nilai-nilai ini ditetapkan secara internal untuk memastikan kinerja saluran pipa Anda yang optimal.

Terakhir, beberapa opsi tidak dapat diteruskan ke OpenSearch Ingestion, seperti ism_policy_file dansink_template, karena mereka adalah file lokal ketika dijalankan di Prepper Data sumber terbuka. Nilai-nilai ini tidak didukung.

Opsi pipa umum

Opsi pipeline umum berikut disetel oleh OpenSearch Ingestion dan tidak didukung dalam konfigurasi pipeline:

  • workers

  • delay

Prosesor Grok

Opsi prosesor Grok berikut tidak didukung:

  • patterns_directories

  • patterns_files_glob

Sumber HTTP

Plugin sumber HTTP memiliki persyaratan dan kendala berikut:

  • pathOpsi ini diperlukan. Path adalah string seperti/log/ingest, yang mewakili jalur URI untuk log ingestion. Path ini mendefinisikan URI yang Anda gunakan untuk mengirim data ke pipeline. Misalnya, https://log-pipeline.us-west-2.osis.amazonaws.com/log/ingest. Jalur harus dimulai dengan garis miring (/), dan dapat berisi karakter khusus '-', '_', ' . ', dan'/', serta ${pipelineName} placeholder.

  • Opsi sumber HTTP berikut disetel oleh OpenSearch Ingestion dan tidak didukung dalam konfigurasi pipeline:

    • port

    • ssl

    • ssl_key_file

    • ssl_certificate_file

    • aws_region

    • authentication

    • unauthenticated_health_check

    • use_acm_certificate_for_ssl

    • thread_count

    • request_timeout

    • max_connection_count

    • max_pending_requests

    • health_check_service

    • acm_private_key_password

    • acm_certificate_timeout_millis

    • acm_certificate_arn

OpenSearch wastafel

Plugin OpenSearchwastafel memiliki persyaratan dan batasan berikut.

  • awsOpsi ini diperlukan, dan harus berisi opsi berikut:

    • sts_role_arn

    • region

    • hosts

    • serverless(jika wastafel adalah koleksi OpenSearch Tanpa Server)

  • sts_role_arnOpsi harus menunjuk ke peran yang sama untuk setiap wastafel dalam file definisi YAMAL.

  • hostsOpsi harus menentukan titik akhir domain OpenSearch Layanan atau titik akhir koleksi OpenSearch Tanpa Server. Anda tidak dapat menentukan titik akhir kustom untuk domain; itu harus menjadi titik akhir standar.

  • Jika hosts opsi adalah titik akhir koleksi tanpa server, Anda harus mengatur opsi ke. serverless true Selain itu, jika file definisi YAMAL Anda berisi index_type opsi, itu harus disetel kemanagement_disabled, jika tidak validasi gagal.

  • Opsi berikut tidak didukung:

    • username

    • password

    • cert

    • proxy

    • dlq_file- Jika Anda ingin membongkar peristiwa yang gagal ke antrian huruf mati (DLQ), Anda harus menggunakan dlq opsi dan menentukan ember S3.

    • ism_policy_file

    • socket_timeout

    • template_file

    • insecure

OTel sumber metrik, sumber OTel jejak, dan sumber OTel log

Sumber OTel metrik, sumber OTel jejak, dan plugin sumber OTel log memiliki persyaratan dan batasan berikut:

  • pathOpsi ini diperlukan. Path adalah string seperti/log/ingest, yang mewakili jalur URI untuk log ingestion. Path ini mendefinisikan URI yang Anda gunakan untuk mengirim data ke pipeline. Misalnya, https://log-pipeline.us-west-2.osis.amazonaws.com/log/ingest. Jalur harus dimulai dengan garis miring (/), dan dapat berisi karakter khusus '-', '_', ' . ', dan'/', serta ${pipelineName} placeholder.

  • Opsi berikut disetel oleh OpenSearch Ingestion dan tidak didukung dalam konfigurasi pipeline:

    • port

    • ssl

    • sslKeyFile

    • sslKeyCertChainFile

    • authentication

    • unauthenticated_health_check

    • useAcmCertForSSL

    • unframed_requests

    • proto_reflection_service

    • thread_count

    • request_timeout

    • max_connection_count

    • acmPrivateKeyPassword

    • acmCertIssueTimeOutMillis

    • health_check_service

    • acmCertificateArn

    • awsRegion

OTel prosesor kelompok jejak

Prosesor OTel trace group memiliki persyaratan dan batasan berikut:

  • awsOpsi ini diperlukan, dan harus berisi opsi berikut:

    • sts_role_arn

    • region

    • hosts

  • sts_role_arnOpsi menentukan peran yang sama dengan peran pipeline yang Anda tentukan dalam konfigurasi OpenSearch wastafel.

  • insecureOpsi usernamepassword,cert, dan tidak didukung.

  • aws_sigv4Opsi ini diperlukan dan harus disetel ke true.

  • serverlessOpsi dalam plugin OpenSearch wastafel tidak didukung. Prosesor grup jejak Otel saat ini tidak berfungsi dengan koleksi Tanpa OpenSearch Server.

  • Jumlah otel_trace_group prosesor dalam badan konfigurasi pipa tidak boleh melebihi 8.

OTel prosesor jejak

Prosesor OTel jejak memiliki persyaratan dan batasan berikut:

  • Nilai trace_flush_interval opsi tidak boleh melebihi 300 detik.

Prosesor peta layanan

Prosesor peta layanan memiliki persyaratan dan batasan berikut:

  • Nilai window_duration opsi tidak boleh melebihi 300 detik.

Sumber S3

Plugin sumber S3 memiliki persyaratan dan batasan berikut:

  • awsOpsi ini diperlukan, dan harus berisi region dan sts_role_arn opsi.

  • Nilai records_to_accumulate opsi tidak boleh melebihi 200.

  • Nilai maximum_messages opsi tidak boleh melebihi 10.

  • Jika ditentukan, disable_bucket_ownership_validation opsi harus disetel ke false.

  • Jika ditentukan, input_serialization opsi harus diatur keparquet.