Menggunakan pipa OpenSearch Ingestion dengan Collector OpenTelemetry - OpenSearch Layanan Amazon

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Menggunakan pipa OpenSearch Ingestion dengan Collector OpenTelemetry

Anda dapat menggunakan OpenTelemetry Collector untuk menyerap log, jejak, dan metrik ke dalam pipeline OpenSearch Ingestion. Pipeline tunggal dapat digunakan untuk menyerap semua log, jejak, dan metrik ke indeks yang berbeda pada domain atau koleksi. Anda juga dapat menggunakan pipeline untuk hanya menelan log, jejak, atau metrik satu per satu.

Prasyarat

Saat menyiapkan file OpenTelemetry konfigurasi, Anda harus mengonfigurasi yang berikut agar terjadi konsumsi:

  • Peran konsumsi membutuhkan osis:Ingest izin untuk berinteraksi dengan pipa. Untuk informasi lebih lanjut, lihat Peran konsumsi.

  • Nilai titik akhir harus menyertakan titik akhir pipeline Anda. Sebagai contoh, https://pipeline-endpoint.us-east-1.osis.amazonaws.com..

  • Nilai layanan harusosis.

  • Opsi kompresi untuk OTLP/HTTP Eksportir harus sesuai dengan opsi kompresi pada sumber pipa yang dipilih.

extensions: sigv4auth: region: "region" service: "osis" exporters: otlphttp: logs_endpoint: "https://pipeline-endpoint.us-east-1.osis.amazonaws.com/v1/logs" metrics_endpoint: "https://pipeline-endpoint.us-east-1.osis.amazonaws.com/v1/metrics" traces_endpoint: "https://pipeline-endpoint.us-east-1.osis.amazonaws.com/v1/traces" auth: authenticator: sigv4auth compression: none service: extensions: [sigv4auth] pipelines: traces: receivers: [jaeger] exporters: [otlphttp]

Langkah 1: Konfigurasikan peran pipeline

Setelah menyiapkan konfigurasi OpenTelemetry kolektor, atur peran pipeline yang ingin Anda gunakan dalam konfigurasi pipeline Anda. Tidak ada izin khusus yang diperlukan peran pipeline untuk sumber OTLP, hanya izin untuk memberikan akses pipeline ke domain atau koleksi. OpenSearch

Langkah 2: Buat pipa

Anda kemudian dapat mengonfigurasi pipeline OpenSearch Ingestion seperti berikut ini, yang menentukan OTLP sebagai sumbernya. Anda juga dapat mengonfigurasi OpenTelemetry log, metrik, dan jejak sebagai sumber individual.

Konfigurasi pipa sumber OTLP:

version: 2 otlp-pipeline: source: otlp: logs_path: /otlp-pipeline/v1/logs traces_path: /otlp-pipeline/v1/traces metrics_path: /otlp-pipeline/v1/metrics sink: - opensearch: hosts: ["https://search-mydomain.region.es.amazonaws.com"] index: "ss4o_metrics-otel-%{yyyy.MM.dd}" index_type: custom aws: region: "region"

OpenTelemetry Konfigurasi pipa log:

version: 2 otel-logs-pipeline: source: otel_logs_source: path: /otel-logs-pipeline/v1/logs sink: - opensearch: hosts: ["https://search-mydomain.region.es.amazonaws.com"] index: "ss4o_metrics-otel-%{yyyy.MM.dd}" index_type: custom aws: region: "region"

OpenTelemetry Konfigurasi pipa metrik:

version: 2 otel-metrics-pipeline: source: otel_metrics_source: path: /otel-metrics-pipeline/v1/metrics sink: - opensearch: hosts: ["https://search-mydomain.region.es.amazonaws.com"] index: "ss4o_metrics-otel-%{yyyy.MM.dd}" index_type: custom aws: region: "region"

OpenTelemetry Menelusuri konfigurasi pipa:

version: 2 otel-trace-pipeline: source: otel_trace_source: path: /otel-traces-pipeline/v1/traces sink: - opensearch: hosts: ["https://search-mydomain.region.es.amazonaws.com"] index: "ss4o_metrics-otel-%{yyyy.MM.dd}" index_type: custom aws: region: "region"

Anda dapat menggunakan cetak biru yang telah dikonfigurasi sebelumnya untuk membuat pipeline ini. Untuk informasi selengkapnya, lihat Bekerja dengan cetak biru.

Konektivitas lintas akun

OpenSearch Saluran pipa konsumsi dengan OpenTelemetry sumber memiliki kemampuan konsumsi lintas akun. Amazon OpenSearch Ingestion memungkinkan Anda berbagi pipeline Akun AWS dari virtual private cloud (VPC) ke titik akhir pipeline di VPC terpisah. Untuk informasi selengkapnya, lihat Mengkonfigurasi pipeline OpenSearch Ingestion untuk konsumsi lintas akun.

Batasan

Pipeline OpenSearch Ingestion tidak dapat menerima permintaan apa pun yang lebih besar dari 20mb. Nilai ini dikonfigurasi oleh pengguna dalam max_request_length opsi. Opsi ini default ke 10mb.

CloudWatch Alarm yang Direkomendasikan untuk sumber OpenTelemetry

CloudWatch Metrik berikut direkomendasikan untuk memantau kinerja saluran konsumsi Anda. Metrik ini dapat membantu Anda mengidentifikasi jumlah data yang diproses dari ekspor, jumlah peristiwa yang diproses dari aliran, kesalahan dalam memproses ekspor dan peristiwa streaming, dan jumlah dokumen yang ditulis ke tujuan. Anda dapat mengatur CloudWatch alarm untuk melakukan tindakan ketika salah satu metrik ini melebihi nilai yang ditentukan untuk jangka waktu tertentu.

CloudWatch Metrik untuk sumber OTLP diformat sebagai. {pipeline-name}.otlp.{logs | traces | metrics}.{metric-name} Misalnya, otel-pipeline.otlp.metrics.requestTimeouts.count.

Dalam hal menggunakan OpenTelemetry sumber individual, metrik akan diformat sebagai. {pipeline-name}.{source-name}.{metric-name} Misalnya, trace-pipeline.otel_trace_source.requestTimeouts.count.

Ketiga tipe OpenTelemetry data akan memiliki metrik yang sama, tetapi untuk singkatnya metrik hanya akan tercantum dalam tabel di bawah ini untuk data tipe log sumber OTLP.

Metrik Deskripsi
otel-pipeline.BlockingBuffer.bufferUsage.value

Menunjukkan berapa banyak buffer yang digunakan.

otel-pipeline.otlp.logs.requestTimeouts.count

Jumlah permintaan yang telah habis waktunya.

otel-pipeline.otlp.logs.requestsReceived.count

Jumlah permintaan yang diterima oleh OpenTelemetry Kolektor.

otel-pipeline.otlp.logs.badRequests.count

Jumlah permintaan cacat yang diterima oleh OpenTelemetry Kolektor.

otel-pipeline.otlp.logs.requestsTooLarge.count

Jumlah permintaan lebih besar dari maksimum 20mb yang diterima oleh OpenTelemetry Kolektor.

otel-pipeline.otlp.logs.internalServerError.count Jumlah kesalahan HTTP 500 yang diterima dari OpenTelemetry Kolektor.
otel-pipeline.opensearch.bulkBadRequestErrors.count Hitungan kesalahan selama permintaan massal karena permintaan yang salah.
otel-pipeline.opensearch.bulkRequestLatency.avg Latensi rata-rata untuk permintaan penulisan massal yang dibuat ke OpenSearch.
otel-pipeline.opensearch.bulkRequestNotFoundErrors.count Jumlah permintaan massal yang gagal karena data target tidak dapat ditemukan.
otel-pipeline.opensearch.bulkRequestNumberOfRetries.count Jumlah percobaan ulang oleh pipa OpenSearch Ingestion untuk menulis cluster. OpenSearch
otel-pipeline.opensearch.bulkRequestSizeBytes.sum Ukuran total dalam byte dari semua permintaan massal yang dibuat untuk OpenSearch.
otel-pipeline.opensearch.documentErrors.count Jumlah kesalahan saat mengirim dokumen ke OpenSearch. Dokumen yang menyebabkan kesalahan akan dikirim ke DLQ.
otel-pipeline.opensearch.documentsSuccess.count Jumlah dokumen yang berhasil ditulis ke OpenSearch cluster atau koleksi.
otel-pipeline.opensearch.documentsSuccessFirstAttempt.count Jumlah dokumen yang berhasil diindeks OpenSearch pada upaya pertama.

otel-pipeline.opensearch.documentsVersionConflictErrors.count

Hitungan kesalahan karena konflik versi dalam dokumen selama pemrosesan.

otel-pipeline.opensearch.PipelineLatency.avg

Latensi rata-rata pipa OpenSearch Ingestion untuk memproses data dengan membaca dari sumber hingga menulis ke tujuan.
otel-pipeline.opensearch.PipelineLatency.max Latensi maksimum pipa OpenSearch Ingestion untuk memproses data dengan membaca dari sumber hingga menulis tujuan.
otel-pipeline.opensearch.recordsIn.count Hitungan catatan yang berhasil dicerna OpenSearch. Metrik ini penting untuk melacak volume data yang sedang diproses dan disimpan.
otel-pipeline.opensearch.s3.dlqS3RecordsFailed.count Jumlah catatan yang gagal untuk menulis ke DLQ.
otel-pipeline.opensearch.s3.dlqS3RecordsSuccess.count Jumlah catatan yang ditulis ke DLQ.
otel-pipeline.opensearch.s3.dlqS3RequestLatency.count Hitungan pengukuran latensi untuk permintaan ke antrean huruf mati Amazon S3.
otel-pipeline.opensearch.s3.dlqS3RequestLatency.sum Latensi total untuk semua permintaan ke antrian surat mati Amazon S3
otel-pipeline.opensearch.s3.dlqS3RequestSizeBytes.sum Ukuran total dalam byte dari semua permintaan yang dibuat ke antrean surat mati Amazon S3.
otel-pipeline.recordsProcessed.count Jumlah total catatan yang diproses dalam pipeline, metrik kunci untuk throughput keseluruhan.

otel-pipeline.opensearch.bulkRequestInvalidInputErrors.count

Jumlah kesalahan permintaan massal OpenSearch karena input yang tidak valid, penting untuk memantau kualitas data dan masalah operasional.