创建 Amazon OpenSearch Ingestion 管道

要创建管道，请登录 Amazon OpenSearch Service 控制台（网址为 https://console.aws.amazon.com/aos/home），然后选择创建管道。

您可以选择空白管道，也可以选择配置蓝图。蓝图包含针对多种常见使用案例预先配置的管道。有关更多信息，请参阅 使用蓝图。

选择选择蓝图。

配置源

配置处理器

向管道添加一个或多个处理器。处理器是子管道中的组件，可在将记录发布到域或集合接收器之前对事件进行筛选、转换和增强。有关支持的处理器列表及其文档链接，请参阅 Amazon OpenSearch Ingestion 管道支持的插件和选项。

您可以选择操作，并添加以下内容：

选择下一步。

配置接收器

选择管道发布记录的目标位置。每个子管道必须至少包含一个接收器。最多可向管道添加 10 个接收器。

对于 OpenSearch 接收器，配置以下字段：

要添加 Amazon S3 接收器，请选择添加接收器和 Amazon S3。有关更多信息，请参阅 Amazon S3 作为目标。

选择下一步。

配置管道

配置以下其他管道设置：

选择下一步，然后检查您的管道配置，并选择创建管道。

OpenSearch Ingestion 运行一个异步流程来构建管道。当管道状态为 Active 时，您可以开始将数据提取到管道。

create-pipeline 命令接受以字符串形式或者在 .yaml 或 .json 文件中的管道配置。如果您以字符串形式提供配置，则必须使用 \n 转义每一个新行。例如，"log-pipeline:\n source:\n http:\n processor:\n - grok:\n ...

以下示例命令采用以下配置创建管道：

aws osis create-pipeline \
  --pipeline-name my-pipeline \
  --min-units 4 \
  --max-units 10 \
  --log-publishing-options  IsLoggingEnabled=true,CloudWatchLogDestination={LogGroup="MyLogGroup"} \
  --vpc-options SecurityGroupIds={sg-12345678,sg-9012345},SubnetIds=subnet-1212234567834asdf \
  --pipeline-configuration-body "file://pipeline-config.yaml" \
  --pipeline-role-arn  arn:aws:iam::1234456789012:role/pipeline-role

OpenSearch Ingestion 运行一个异步流程来构建管道。当管道状态为 Active 时，您可以开始将数据提取到管道。要查看管道的状态，请使用 GetPipeline 命令。

要使用 OpenSearch Ingestion API 创建 OpenSearch Ingestion 管道，请调用 CreatePipeline 操作。

最初创建管道后，OpenSearch Ingestion 要经历多个阶段才可以准备摄取数据。要查看管道创建的各个阶段，请选择管道名称以查看其管道设置页面。在状态下，选择查看详细信息。

管道要经过以下几个阶段才可以摄取数据：

使用 get-pipeline-change-progress 命令查看管道的状态。以下 AWS CLI 请求检查名为 my-pipeline 的管道的状态：

aws osis get-pipeline-change-progress \
    --pipeline-name my-pipeline

响应：

{
   "ChangeProgressStatuses": {
      "ChangeProgressStages": [ 
         { 
            "Description": "Validating pipeline configuration",
            "LastUpdated": 1.671055851E9,
            "Name": "VALIDATION",
            "Status": "PENDING"
         }
      ],
      "StartTime": 1.671055851E9,
      "Status": "PROCESSING",
      "TotalNumberOfStages": 5
   }
}

要使用 OpenSearch Ingestion API 跟踪管道创建的状态，请调用 GetPipelineChangeProgress 操作。