Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.
Menggunakan pipa OpenSearch Ingestion dengan Collector OpenTelemetry
Anda dapat menggunakan OpenTelemetry Collector
Topik
Prasyarat
Saat menyiapkan file OpenTelemetry konfigurasi
-
Peran konsumsi membutuhkan
osis:Ingestizin untuk berinteraksi dengan pipa. Untuk informasi lebih lanjut, lihat Peran konsumsi. -
Nilai titik akhir harus menyertakan titik akhir pipeline Anda. Sebagai contoh,
https://pipeline-endpoint.us-east-1.osis.amazonaws.com.. -
Nilai layanan harus
osis. -
Opsi kompresi untuk OTLP/HTTP Eksportir harus sesuai dengan opsi kompresi pada sumber pipa yang dipilih.
extensions: sigv4auth: region: "region" service: "osis" exporters: otlphttp: logs_endpoint: "https://pipeline-endpoint.us-east-1.osis.amazonaws.com/v1/logs" metrics_endpoint: "https://pipeline-endpoint.us-east-1.osis.amazonaws.com/v1/metrics" traces_endpoint: "https://pipeline-endpoint.us-east-1.osis.amazonaws.com/v1/traces" auth: authenticator: sigv4auth compression: none service: extensions: [sigv4auth] pipelines: traces: receivers: [jaeger] exporters: [otlphttp]
Langkah 1: Konfigurasikan peran pipeline
Setelah menyiapkan konfigurasi OpenTelemetry kolektor, atur peran pipeline yang ingin Anda gunakan dalam konfigurasi pipeline Anda. Tidak ada izin khusus yang diperlukan peran pipeline untuk sumber OTLP, hanya izin untuk memberikan akses pipeline ke domain atau koleksi. OpenSearch
Langkah 2: Buat pipa
Anda kemudian dapat mengonfigurasi pipeline OpenSearch Ingestion seperti berikut ini, yang menentukan OTLP sebagai sumbernya. Anda juga dapat mengonfigurasi OpenTelemetry log, metrik, dan jejak sebagai sumber individual.
Konfigurasi pipa sumber OTLP:
version: 2 otlp-pipeline: source: otlp: logs_path: /otlp-pipeline/v1/logs traces_path: /otlp-pipeline/v1/traces metrics_path: /otlp-pipeline/v1/metrics sink: - opensearch: hosts: ["https://search-mydomain.region.es.amazonaws.com"] index: "ss4o_metrics-otel-%{yyyy.MM.dd}" index_type: custom aws: region: "region"
OpenTelemetry Konfigurasi pipa log:
version: 2 otel-logs-pipeline: source: otel_logs_source: path: /otel-logs-pipeline/v1/logs sink: - opensearch: hosts: ["https://search-mydomain.region.es.amazonaws.com"] index: "ss4o_metrics-otel-%{yyyy.MM.dd}" index_type: custom aws: region: "region"
OpenTelemetry Konfigurasi pipa metrik:
version: 2 otel-metrics-pipeline: source: otel_metrics_source: path: /otel-metrics-pipeline/v1/metrics sink: - opensearch: hosts: ["https://search-mydomain.region.es.amazonaws.com"] index: "ss4o_metrics-otel-%{yyyy.MM.dd}" index_type: custom aws: region: "region"
OpenTelemetry Menelusuri konfigurasi pipa:
version: 2 otel-trace-pipeline: source: otel_trace_source: path: /otel-traces-pipeline/v1/traces sink: - opensearch: hosts: ["https://search-mydomain.region.es.amazonaws.com"] index: "ss4o_metrics-otel-%{yyyy.MM.dd}" index_type: custom aws: region: "region"
Anda dapat menggunakan cetak biru yang telah dikonfigurasi sebelumnya untuk membuat pipeline ini. Untuk informasi selengkapnya, lihat Bekerja dengan cetak biru.
Konektivitas lintas akun
OpenSearch Saluran pipa konsumsi dengan OpenTelemetry sumber memiliki kemampuan konsumsi lintas akun. Amazon OpenSearch Ingestion memungkinkan Anda berbagi pipeline Akun AWS dari virtual private cloud (VPC) ke titik akhir pipeline di VPC terpisah. Untuk informasi selengkapnya, lihat Mengkonfigurasi pipeline OpenSearch Ingestion untuk konsumsi lintas akun.
Batasan
Pipeline OpenSearch Ingestion tidak dapat menerima permintaan apa pun yang lebih besar dari 20mb. Nilai ini dikonfigurasi oleh pengguna dalam max_request_length opsi. Opsi ini default ke 10mb.
CloudWatch Alarm yang Direkomendasikan untuk sumber OpenTelemetry
CloudWatch Metrik berikut direkomendasikan untuk memantau kinerja saluran konsumsi Anda. Metrik ini dapat membantu Anda mengidentifikasi jumlah data yang diproses dari ekspor, jumlah peristiwa yang diproses dari aliran, kesalahan dalam memproses ekspor dan peristiwa streaming, dan jumlah dokumen yang ditulis ke tujuan. Anda dapat mengatur CloudWatch alarm untuk melakukan tindakan ketika salah satu metrik ini melebihi nilai yang ditentukan untuk jangka waktu tertentu.
CloudWatch Metrik untuk sumber OTLP diformat sebagai. {pipeline-name}.otlp.{logs | traces | metrics}.{metric-name} Misalnya, otel-pipeline.otlp.metrics.requestTimeouts.count.
Dalam hal menggunakan OpenTelemetry sumber individual, metrik akan diformat sebagai. {pipeline-name}.{source-name}.{metric-name} Misalnya, trace-pipeline.otel_trace_source.requestTimeouts.count.
Ketiga tipe OpenTelemetry data akan memiliki metrik yang sama, tetapi untuk singkatnya metrik hanya akan tercantum dalam tabel di bawah ini untuk data tipe log sumber OTLP.
| Metrik | Deskripsi |
|---|---|
otel-pipeline.BlockingBuffer.bufferUsage.value |
Menunjukkan berapa banyak buffer yang digunakan. |
otel-pipeline.otlp.logs.requestTimeouts.count
|
Jumlah permintaan yang telah habis waktunya. |
otel-pipeline.otlp.logs.requestsReceived.count
|
Jumlah permintaan yang diterima oleh OpenTelemetry Kolektor. |
otel-pipeline.otlp.logs.badRequests.count
|
Jumlah permintaan cacat yang diterima oleh OpenTelemetry Kolektor. |
otel-pipeline.otlp.logs.requestsTooLarge.count
|
Jumlah permintaan lebih besar dari maksimum 20mb yang diterima oleh OpenTelemetry Kolektor. |
otel-pipeline.otlp.logs.internalServerError.count
|
Jumlah kesalahan HTTP 500 yang diterima dari OpenTelemetry Kolektor. |
otel-pipeline.opensearch.bulkBadRequestErrors.count
|
Hitungan kesalahan selama permintaan massal karena permintaan yang salah. |
otel-pipeline.opensearch.bulkRequestLatency.avg
|
Latensi rata-rata untuk permintaan penulisan massal yang dibuat ke OpenSearch. |
otel-pipeline.opensearch.bulkRequestNotFoundErrors.count
|
Jumlah permintaan massal yang gagal karena data target tidak dapat ditemukan. |
otel-pipeline.opensearch.bulkRequestNumberOfRetries.count
|
Jumlah percobaan ulang oleh pipa OpenSearch Ingestion untuk menulis cluster. OpenSearch |
otel-pipeline.opensearch.bulkRequestSizeBytes.sum
|
Ukuran total dalam byte dari semua permintaan massal yang dibuat untuk OpenSearch. |
otel-pipeline.opensearch.documentErrors.count
|
Jumlah kesalahan saat mengirim dokumen ke OpenSearch. Dokumen yang menyebabkan kesalahan akan dikirim ke DLQ. |
otel-pipeline.opensearch.documentsSuccess.count
|
Jumlah dokumen yang berhasil ditulis ke OpenSearch cluster atau koleksi. |
otel-pipeline.opensearch.documentsSuccessFirstAttempt.count
|
Jumlah dokumen yang berhasil diindeks OpenSearch pada upaya pertama. |
|
|
Hitungan kesalahan karena konflik versi dalam dokumen selama pemrosesan. |
|
|
Latensi rata-rata pipa OpenSearch Ingestion untuk memproses data dengan membaca dari sumber hingga menulis ke tujuan. |
otel-pipeline.opensearch.PipelineLatency.max
|
Latensi maksimum pipa OpenSearch Ingestion untuk memproses data dengan membaca dari sumber hingga menulis tujuan. |
otel-pipeline.opensearch.recordsIn.count
|
Hitungan catatan yang berhasil dicerna OpenSearch. Metrik ini penting untuk melacak volume data yang sedang diproses dan disimpan. |
otel-pipeline.opensearch.s3.dlqS3RecordsFailed.count
|
Jumlah catatan yang gagal untuk menulis ke DLQ. |
otel-pipeline.opensearch.s3.dlqS3RecordsSuccess.count
|
Jumlah catatan yang ditulis ke DLQ. |
otel-pipeline.opensearch.s3.dlqS3RequestLatency.count
|
Hitungan pengukuran latensi untuk permintaan ke antrean huruf mati Amazon S3. |
otel-pipeline.opensearch.s3.dlqS3RequestLatency.sum
|
Latensi total untuk semua permintaan ke antrian surat mati Amazon S3 |
otel-pipeline.opensearch.s3.dlqS3RequestSizeBytes.sum
|
Ukuran total dalam byte dari semua permintaan yang dibuat ke antrean surat mati Amazon S3. |
otel-pipeline.recordsProcessed.count
|
Jumlah total catatan yang diproses dalam pipeline, metrik kunci untuk throughput keseluruhan. |
|
|
Jumlah kesalahan permintaan massal OpenSearch karena input yang tidak valid, penting untuk memantau kualitas data dan masalah operasional. |