Creazione di pipeline Amazon OpenSearch Ingestion

Una pipeline è il meccanismo utilizzato da Amazon OpenSearch Ingestion per spostare i dati dalla fonte (da cui provengono i dati) al relativo sink (dove vanno i dati). In OpenSearch Ingestion, il sink sarà sempre un singolo dominio Amazon OpenSearch Service, mentre la fonte dei dati potrebbe essere costituita da client come Amazon S3, Fluent Bit o Collector. OpenTelemetry

Per ulteriori informazioni, consulta Pipelines nella documentazione. OpenSearch

Prerequisiti e ruolo IAM richiesto

Per creare una pipeline OpenSearch di ingestione, è necessario disporre delle seguenti risorse:

Per istruzioni su come creare queste risorse, consulta i seguenti argomenti:

Autorizzazioni IAM richieste

OpenSearch Ingestion utilizza le seguenti autorizzazioni IAM per creare pipeline:

Ad esempio, la seguente politica concede l'autorizzazione a creare una pipeline:

OpenSearch Ingestion include anche un'autorizzazione chiamataosis:Ingest, necessaria per inviare richieste firmate alla pipeline utilizzando Signature Version 4. Per ulteriori informazioni, consulta Creazione di un ruolo di importazione.

Per ulteriori informazioni su ciascuna autorizzazione, vedere Azioni, risorse e chiavi di condizione per l' OpenSearch ingestione nel Service Authorization Reference.

Specificare la versione della pipeline

Quando crei una pipeline utilizzando l'editor di configurazione, devi specificare la versione principale di Data Prepper che verrà eseguita dalla pipeline. Per specificare la versione, includete l'versionopzione nella configurazione della pipeline:

version: "2"
log-pipeline:
  source:
    ...   

Quando scegliete Create, OpenSearch Ingestion determina l'ultima versione secondaria disponibile della versione principale specificata e fornisce la pipeline con quella versione. Ad esempio, se si specifica e l'ultima versione supportata di Data Prepper è la 2.1.1version: "2", OpenSearch Ingestion esegue il provisioning della pipeline con la versione 2.1.1. Non mostriamo pubblicamente la versione secondaria in esecuzione nella tua pipeline.

Per aggiornare la pipeline quando è disponibile una nuova versione principale di Data Prepper, modifica la configurazione della pipeline e specifica la nuova versione. Non puoi effettuare il downgrade di una pipeline a una versione precedente.

Ogni volta che apporti una modifica alla pipeline che avvia una blue/green distribuzione, OpenSearch Ingestion può aggiornarla all'ultima versione secondaria della versione principale attualmente configurata per la pipeline. Per ulteriori informazioni, vedere. Implementazioni blu/verdi per gli aggiornamenti della pipeline OpenSearch L'ingestione non può modificare la versione principale della pipeline a meno che non aggiorni esplicitamente l'versionopzione all'interno della configurazione della pipeline.

Specificare il percorso di ingestione

Per le fonti basate su pull come OTel trace e OTel metrics, OpenSearch Ingestion richiede l'opzione aggiuntiva nella configurazione del codice sorgente. path Il percorso è una stringa come/log/ingest, che rappresenta il percorso URI per l'ingestione. Questo percorso definisce l'URI utilizzato per inviare dati alla pipeline.

Ad esempio, supponiamo di specificare il seguente percorso per una pipeline con un'origine HTTP:

Quando si inseriscono dati nella pipeline, è necessario specificare il seguente endpoint nella configurazione del client:. https://pipeline-name-abc123.us-west-2.osis.amazonaws.com/my/test_path

Il percorso deve iniziare con una barra (/) e può contenere i caratteri speciali '-', '_', ' . 'e'/', oltre al ${pipelineName} segnaposto. Se si utilizza ${pipelineName} (ad esempio/${pipelineName}/test_path), OpenSearch Ingestion sostituisce la variabile con il nome della sottopipeline associata.

Creazione di pipeline

Questa sezione descrive come creare pipeline di OpenSearch ingestione utilizzando la console di OpenSearch servizio e il. AWS CLI

aws osis create-pipeline \
  --pipeline-name my-pipeline \
  --min-units 4 \
  --max-units 10 \
  --log-publishing-options  IsLoggingEnabled=true,CloudWatchLogDestination={LogGroup="MyLogGroup"} \
  --vpc-options SecurityGroupIds={sg-12345678,sg-9012345},SubnetIds=subnet-1212234567834asdf \
  --pipeline-configuration-body "file://pipeline-config.yaml" \
  --pipeline-role-arn  arn:aws:iam::1234456789012:role/pipeline-role

Dopo aver creato correttamente la pipeline, puoi configurare il client e iniziare a importare dati nel tuo dominio di servizio. OpenSearch Per ulteriori informazioni, consulta Integrazione delle pipeline OpenSearch di Amazon Ingestion con altri servizi e applicazioni.

Monitoraggio dello stato della creazione della pipeline

È possibile tenere traccia dello stato di una pipeline man mano che OpenSearch Ingestion la rifornisce e la prepara per l'importazione dei dati.

aws osis get-pipeline-change-progress \
    --pipeline-name my-pipeline

{
   "ChangeProgressStatuses": {
      "ChangeProgressStages": [ 
         { 
            "Description": "Validating pipeline configuration",
            "LastUpdated": 1.671055851E9,
            "Name": "VALIDATION",
            "Status": "PENDING"
         }
      ],
      "StartTime": 1.671055851E9,
      "Status": "PROCESSING",
      "TotalNumberOfStages": 5
   }
}