Concetti chiave di Amazon Ingestion OpenSearch

Dal punto di vista OpenSearch dell'ingestione, una pipeline si riferisce a un singolo raccoglitore di dati fornito creato all'interno del Servizio. OpenSearch Puoi considerarlo come l'intero file di configurazione YAML, che include una o più sottopipeline. Per i passaggi per creare una pipeline di ingestion, consulta. Creazione di pipeline

Definite le pipeline secondarie all'interno di un file di configurazione YAML. Ogni subpipeline è una combinazione di una sorgente, un buffer, zero o più processori e uno o più sink. È possibile definire più sottopipeline in un singolo file YAML, ognuna con sorgenti, processori e sink univoci. Per facilitare il monitoraggio con CloudWatch e altri servizi, ti consigliamo di specificare un nome di pipeline distinto da tutte le relative sottopipeline.

È possibile mettere insieme più sottopipeline all'interno di un singolo file YAML, in modo che l'origine di una sottopipeline sia un'altra sub-pipeline e il relativo sink sia una terza sottopipeline. Per vedere un esempio, consulta Utilizzo di una pipeline di OpenSearch ingestione con Collector OpenTelemetry.

Il componente di input di una sottopipeline. Definisce il meccanismo attraverso il quale una pipeline consuma i record. La fonte può consumare eventi ricevendoli tramite HTTPS o leggendo da endpoint esterni come Amazon S3. Esistono due tipi di sorgenti: basate su push e su pull. Push-based fonti, come i log HTTP e OtEL, trasmettono i record agli endpoint di inserimento. Pull-basedfonti, come Otel trace e S3, estraggono i dati dalla fonte.

Unità di elaborazione intermedie in grado di filtrare, trasformare e arricchire i record nel formato desiderato prima di pubblicarli nel sink. Il processore è un componente opzionale di una pipeline. Se non si definisce un processore, i record vengono pubblicati nel formato definito nell'origine. È possibile avere più di un processore. Una pipeline esegue i processori nell'ordine in cui li definisci.

Il componente di output di una subpipeline. Definisce una o più destinazioni in cui una subpipeline pubblica i record. OpenSearch Ingestion supporta OpenSearch i domini di servizio come sink. Supporta anche le subpipeline come pozzi. Ciò significa che è possibile mettere insieme più sottopipeline all'interno di una singola pipeline di OpenSearch Ingestion (file YAML). Self-managed OpenSearch i cluster non sono supportati come sink.

La parte di un processore che funge da livello tra l'origine e il sink. Non puoi configurare manualmente un buffer all'interno della pipeline. OpenSearch L'ingestione utilizza una configurazione del buffer predefinita.

Parte di un processore che consente agli autori di pipeline di inviare solo eventi che soddisfano determinate condizioni a diversi sink.