建立 Amazon OpenSearch 擷取管道

若要建立管道，請登入位於 https：//https://console.aws.amazon.com/aos/home 的 Amazon OpenSearch Service 主控台，然後選擇建立管道。

選擇空白管道，或選擇組態藍圖。藍圖包含適用於各種常見使用案例的預先設定管道。如需詳細資訊，請參閱使用藍圖。

選擇選取藍圖。

設定來源

設定處理器

將一或多個處理器新增至您的管道。處理器是子管道中的元件，可讓您在將記錄發佈至網域或集合目的地之前篩選、轉換和豐富事件。如需支援的處理器清單及其文件的連結，請參閱 Amazon OpenSearch Ingestion 管道支援的外掛程式和選項。

您可以選擇動作並新增下列項目：

選擇下一步。

設定接收器

選取管道發佈記錄的目的地。每個子管道必須至少包含一個接收器。您最多可以將 10 個接收器新增至管道。

對於 OpenSearch 接收器，請設定下列欄位：

若要新增 Amazon S3 接收器，請選擇新增接收器和 Amazon S3。如需詳細資訊，請參閱Amazon S3 做為目的地。

選擇下一步。

設定管道

設定下列其他管道設定：

選擇下一步，然後檢閱管道組態，然後選擇建立管道。

OpenSearch Ingestion 會執行非同步程序來建置管道。一旦管道狀態為 Active，您就可以開始擷取資料。

create-pipeline 命令接受管道組態做為字串或在 .yaml 或 .json 檔案中。如果您提供組態做為字串，則必須使用 逸出每行新行\n。例如 "log-pipeline:\n source:\n http:\n processor:\n - grok:\n ...

下列範例命令會使用下列組態建立管道：

aws osis create-pipeline \
  --pipeline-name my-pipeline \
  --min-units 4 \
  --max-units 10 \
  --log-publishing-options  IsLoggingEnabled=true,CloudWatchLogDestination={LogGroup="MyLogGroup"} \
  --vpc-options SecurityGroupIds={sg-12345678,sg-9012345},SubnetIds=subnet-1212234567834asdf \
  --pipeline-configuration-body "file://pipeline-config.yaml" \
  --pipeline-role-arn  arn:aws:iam::1234456789012:role/pipeline-role

OpenSearch Ingestion 會執行非同步程序來建置管道。一旦管道狀態為 Active，您就可以開始擷取資料。若要檢查管道的狀態，請使用 GetPipeline 命令。

若要使用 OpenSearch Ingestion API 建立 OpenSearch Ingestion 管道，請呼叫 CreatePipeline 操作。

最初建立管道之後，它會經歷多個階段，因為 OpenSearch Ingestion 會準備擷取資料。若要檢視管道建立的各個階段，請選擇管道名稱以查看其管道設定頁面。在狀態下，選擇檢視詳細資訊。

管道在可用於擷取資料之前會經歷下列階段：

使用 get-pipeline-change-progress 命令來檢查管道的狀態。下列 AWS CLI 請求會檢查名為 之管道的狀態my-pipeline：

aws osis get-pipeline-change-progress \
    --pipeline-name my-pipeline

回應：

{
   "ChangeProgressStatuses": {
      "ChangeProgressStages": [ 
         { 
            "Description": "Validating pipeline configuration",
            "LastUpdated": 1.671055851E9,
            "Name": "VALIDATION",
            "Status": "PENDING"
         }
      ],
      "StartTime": 1.671055851E9,
      "Status": "PROCESSING",
      "TotalNumberOfStages": 5
   }
}

若要使用 OpenSearch Ingestion API 追蹤管道建立的狀態，請呼叫 GetPipelineChangeProgress 操作。