Konsep kunci dalam Amazon Inges OpenSearch tion

Dari perspek OpenSearch tif Ingestion, pipeline mengacu pada pengumpul data tunggal yang disediakan yang Anda buat dalam OpenSearch Layanan. Anda dapat menganggapnya sebagai seluruh file konfigurasi YAML, yang mencakup satu atau lebih sub-pipeline. Untuk langkah-langkah membuat pipeline konsumsi, lihatMembuat jaringan pipa.

Anda menentukan sub-pipeline dalam file konfigurasi YAML. Setiap sub-pipeline adalah kombinasi dari sumber, buffer, nol atau lebih prosesor, dan satu atau lebih sink. Anda dapat menentukan beberapa sub-pipeline dalam satu file YAML, masing-masing dengan sumber, prosesor, dan sink yang unik. Untuk membantu pemantauan dengan CloudWatch dan layanan lainnya, sebaiknya tentukan nama pipeline yang berbeda dari semua sub-pipeline.

Anda dapat merangkai beberapa sub-pipeline bersama-sama dalam satu file YAML, sehingga sumber untuk satu sub-pipeline adalah sub-pipeline lain, dan sinknya adalah sub-pipeline ketiga. Sebagai contoh, lihat Menggunakan pipa OpenSearch Ingestion dengan Collector OpenTelemetry.

Komponen input dari sub-pipeline. Ini mendefinisikan mekanisme melalui mana pipa mengkonsumsi catatan. Sumber dapat menggunakan peristiwa baik dengan menerimanya melalui HTTPS, atau dengan membaca dari titik akhir eksternal seperti Amazon S3. Ada dua jenis sumber: berbasis push dan berbasis tarik. Push-based sumber, seperti log HTTP dan OT el, mengalirkan catatan ke titik akhir penyerapan. Pull-basedsumber, seperti pelac akan o Tel dan S3, menarik data dari sumbernya.

Unit pemrosesan menengah yang dapat menyaring, mengubah, dan memperkaya catatan ke dalam format yang diinginkan sebelum menerbitkannya ke wastafel. Prosesor adalah komponen opsional dari pipa. Jika Anda tidak menentukan prosesor, catatan dipublikasikan dalam format yang ditentukan dalam sumber. Anda dapat memiliki lebih dari satu prosesor. Pipeline menjalankan prosesor dalam urutan yang Anda tentukan.

Komponen keluaran dari sub-pipeline. Ini mendefinisikan satu atau lebih tujuan yang sub-pipeline menerbitkan catatan ke. OpenSearch Penyerapan mendukung domain OpenSearch Layanan sebagai sink. Ini juga mendukung sub-pipa sebagai wastafel. Ini berarti Anda dapat merangkai beberapa sub-pipeline dalam satu pipeline Inges OpenSearch tion (file YAML). Self-managed OpenSearch cluster tidak didukung sebagai wastafel.

Bagian dari prosesor yang bertindak sebagai lapisan antara sumber dan wastafel. Anda tidak dapat mengonfigurasi buffer secara manual di dalam pipeline Anda. OpenSearch Penyerapan menggunakan konfigurasi buffer default.

Bagian dari prosesor yang memungkinkan penulis pipeline untuk hanya mengirim peristiwa yang sesuai dengan kondisi tertentu ke sink yang berbeda.