Membuat saluran pipa Amazon OpenSearch Ingestion

Pipeline adalah mekanisme yang digunakan Amazon OpenSearch Ingestion untuk memindahkan data dari sumbernya (dari mana data berasal) ke wastafelnya (ke mana data pergi). Dalam OpenSearch Ingestion, wastafel akan selalu menjadi domain OpenSearch Layanan Amazon tunggal, sedangkan sumber data Anda bisa berupa klien seperti Amazon S3, Fluent Bit, atau Collector. OpenTelemetry

Untuk informasi selengkapnya, lihat Pipelines dalam OpenSearch dokumentasi.

Prasyarat dan peran IAM yang diperlukan

Untuk membuat pipeline OpenSearch Ingestion, Anda harus memiliki sumber daya berikut:

Untuk petunjuk untuk membuat sumber daya ini, lihat topik berikut:

Izin IAM yang diperlukan

OpenSearch Ingestion menggunakan izin IAM berikut untuk membuat pipeline:

Misalnya, kebijakan berikut memberikan izin untuk membuat pipeline:

OpenSearch Ingestion juga mencakup izin yang dipanggilosis:Ingest, yang diperlukan untuk mengirim permintaan yang ditandatangani ke pipeline menggunakan Signature Version 4. Untuk informasi selengkapnya, lihat Membuat peran konsumsi.

Untuk informasi selengkapnya tentang setiap izin, lihat Tindakan, sumber daya, dan kunci kondisi untuk OpenSearch Tertelan di Referensi Otorisasi Layanan.

Menentukan versi pipeline

Saat Anda membuat pipeline menggunakan editor konfigurasi, Anda harus menentukan versi utama Data Prepper yang akan dijalankan pipeline. Untuk menentukan versi, sertakan version opsi dalam konfigurasi pipeline Anda:

version: "2"
log-pipeline:
  source:
    ...   

Saat Anda memilih Buat, OpenSearch Ingestion menentukan versi minor terbaru yang tersedia dari versi utama yang Anda tentukan, dan menyediakan pipeline dengan versi tersebut. Misalnya, jika Anda menentukanversion: "2", dan versi terbaru yang didukung dari Data Prepper adalah 2.1.1, OpenSearch Ingestion menyediakan pipeline Anda dengan versi 2.1.1. Kami tidak menampilkan versi minor yang sedang dijalankan pipeline Anda secara publik.

Untuk meningkatkan pipeline Anda saat versi utama baru dari Data Prepper tersedia, edit konfigurasi pipeline dan tentukan versi baru. Anda tidak dapat menurunkan versi pipeline ke versi sebelumnya.

Setiap kali Anda membuat perubahan pada pipeline yang memulai blue/green penerapan, OpenSearch Ingestion dapat memutakhirkannya ke versi minor terbaru dari versi utama yang saat ini dikonfigurasi untuk pipeline. Untuk informasi lebih lanjut, lihatPenerapan biru/hijau untuk pembaruan saluran pipa. OpenSearch Ingestion tidak dapat mengubah versi utama pipeline Anda kecuali Anda secara eksplisit memperbarui version opsi dalam konfigurasi pipeline.

Menentukan jalur konsumsi

Untuk sumber berbasis tarik seperti OTel jejak dan OTel metrik, OpenSearch Ingestion memerlukan path opsi tambahan dalam konfigurasi sumber Anda. Path adalah string seperti/log/ingest, yang mewakili jalur URI untuk konsumsi. Path ini mendefinisikan URI yang Anda gunakan untuk mengirim data ke pipeline.

Misalnya, Anda menentukan jalur berikut untuk pipeline dengan sumber HTTP:

Saat Anda memasukkan data ke dalam pipeline, Anda harus menentukan titik akhir berikut dalam konfigurasi klien Anda:. https://pipeline-name-abc123.us-west-2.osis.amazonaws.com/my/test_path

Jalur harus dimulai dengan garis miring (/) dan dapat berisi karakter khusus '-', '_', ' . ', dan'/', serta ${pipelineName} placeholder. Jika Anda menggunakan ${pipelineName} (seperti/${pipelineName}/test_path), OpenSearch Ingestion menggantikan variabel dengan nama sub-pipeline terkait.

Membuat jaringan pipa

Bagian ini menjelaskan cara membuat pipeline OpenSearch Ingestion menggunakan konsol OpenSearch Layanan dan. AWS CLI

aws osis create-pipeline \
  --pipeline-name my-pipeline \
  --min-units 4 \
  --max-units 10 \
  --log-publishing-options  IsLoggingEnabled=true,CloudWatchLogDestination={LogGroup="MyLogGroup"} \
  --vpc-options SecurityGroupIds={sg-12345678,sg-9012345},SubnetIds=subnet-1212234567834asdf \
  --pipeline-configuration-body "file://pipeline-config.yaml" \
  --pipeline-role-arn  arn:aws:iam::1234456789012:role/pipeline-role

Setelah pipeline berhasil dibuat, Anda dapat mengonfigurasi klien dan mulai memasukkan data ke dalam domain OpenSearch Layanan. Untuk informasi selengkapnya, lihat Mengintegrasikan saluran Amazon OpenSearch Ingestion dengan layanan dan aplikasi lain.

Melacak status pembuatan pipa

Anda dapat melacak status pipa saat OpenSearch Ingestion menyediakannya dan menyiapkannya untuk menyerap data.

aws osis get-pipeline-change-progress \
    --pipeline-name my-pipeline

{
   "ChangeProgressStatuses": {
      "ChangeProgressStages": [ 
         { 
            "Description": "Validating pipeline configuration",
            "LastUpdated": 1.671055851E9,
            "Name": "VALIDATION",
            "Status": "PENDING"
         }
      ],
      "StartTime": 1.671055851E9,
      "Status": "PROCESSING",
      "TotalNumberOfStages": 5
   }
}