Amazon OpenSearch Ingestion 管道支援的外掛程式和選項 - Amazon OpenSearch Service
支援的外掛程式無狀態處理器與具狀態處理器組態需求和限制條件

本文為英文版的機器翻譯版本，如內容有任何歧義或不一致之處，概以英文版為準。

Amazon OpenSearch Ingestion 管道支援的外掛程式和選項

Amazon OpenSearch Ingestion 支援開放原始碼 OpenSearch Data Prepper 中的來源、處理器和接收器子集。此外，OpenSearch Ingestion 對每個支援的外掛程式的可用選項有一些限制。下列各節說明 OpenSearch Ingestion 支援的外掛程式和相關選項。

注意

OpenSearch Ingestion 不支援任何緩衝外掛程式，因為它會自動設定預設緩衝區。如果您在管道組態中包含緩衝區，則會收到驗證錯誤。

支援的外掛程式

OpenSearch Ingestion 支援下列 Data Prepper 外掛程式：

來源：

處理器：

接收器：

  • OpenSearch （支援 OpenSearch Service、OpenSearch Serverless 和 Elasticsearch 6.8 或更新版本）

  • S3

接收器轉碼器：

無狀態處理器與具狀態處理器

無狀態處理器會執行轉換和篩選等操作，而有狀態處理器則會執行彙總等操作，以記住先前執行的結果。OpenSearch Ingestion 支援具狀態處理器彙總和服務映射。所有其他支援的處理器都是無狀態處理器。

對於僅包含無狀態處理器的管道，最大容量限制為 96 個擷取 OCUs。如果管道包含任何具狀態處理器，則最大容量限制為 48 個擷取 OCUs。不過，如果管道已啟用持久性緩衝，則最多可以有 384 個僅具有無狀態處理器的擷取 OCUs，如果包含任何有狀態處理器，則可以有 192 個擷取 OCUs。如需詳細資訊，請參閱在 Amazon OpenSearch Ingestion 中擴展管道。

只有無狀態處理器才支援End-to-end確認。如需詳細資訊，請參閱End-to-end確認。

組態需求和限制條件

除非以下另有說明，否則 OpenSearch Ingestion 管道中允許上述支援外掛程式的 Data Prepper 組態參考中所述的所有選項。以下各節說明 OpenSearch Ingestion 對特定外掛程式選項的限制。

注意

OpenSearch Ingestion 不支援任何緩衝外掛程式，因為它會自動設定預設緩衝區。如果您在管道組態中包含緩衝區，則會收到驗證錯誤。

許多選項是由 OpenSearch Ingestion 在內部設定和管理，例如 authentication和 acm_certificate_arn。如果手動變更request_timeout， thread_count和 等其他選項會影響效能。因此，這些值會在內部設定，以確保管道的最佳效能。

最後，某些選項無法傳遞至 OpenSearch Ingestion，例如 ism_policy_file和 sink_template，因為它們是在開放原始碼 Data Prepper 中執行時的本機檔案。不支援這些值。

一般管道選項

下列一般管道選項由 OpenSearch Ingestion 設定，管道組態不支援：

  • workers

  • delay

Grok 處理器

不支援下列 Grok 處理器選項：

  • patterns_directories

  • patterns_files_glob

HTTP 來源

HTTP 來源外掛程式有下列需求和限制：

  • path 選項為必要項目。路徑是字串，例如 /log/ingest，代表日誌擷取的 URI 路徑。此路徑會定義您用來將資料傳送至管道的 URI。例如 https://log-pipeline.us-west-2.osis.amazonaws.com/log/ingest。路徑必須以斜線 (/) 開頭，可包含特殊字元 '-'、'_'、'.' 和 '/'，以及${pipelineName}預留位置。

  • 下列 HTTP 來源選項是由 OpenSearch Ingestion 設定，管道組態不支援：

    • port

    • ssl

    • ssl_key_file

    • ssl_certificate_file

    • aws_region

    • authentication

    • unauthenticated_health_check

    • use_acm_certificate_for_ssl

    • thread_count

    • request_timeout

    • max_connection_count

    • max_pending_requests

    • health_check_service

    • acm_private_key_password

    • acm_certificate_timeout_millis

    • acm_certificate_arn

OpenSearch 接收器

OpenSearch 接收器外掛程式有下列需求和限制。

  • aws 選項為必要，且必須包含下列選項：

    • sts_role_arn

    • region

    • hosts

    • serverless （如果接收器是 OpenSearch Serverless 集合）

  • sts_role_arn 選項必須指向 YAML 定義檔案中每個接收的相同角色。

  • hosts 選項必須指定 OpenSearch Service 網域端點或 OpenSearch Serverless 集合端點。您無法指定網域的自訂端點；它必須是標準端點。

  • 如果 hosts選項是無伺服器集合端點，您必須將 serverless選項設定為 true。此外，如果您的 YAML 定義檔案包含 index_type選項，則必須將其設定為 management_disabled，否則驗證會失敗。

  • 不支援下列選項：

    • username

    • password

    • cert

    • proxy

    • dlq_file - 如果您想要將失敗的事件卸載至無效字母佇列 (DLQ)，您必須使用 dlq選項並指定 S3 儲存貯體。

    • ism_policy_file

    • socket_timeout

    • template_file

    • insecure

OTel 指標來源、OTel 追蹤來源和 OTel 日誌來源

OTel 指標來源、OTel 追蹤來源和 OTel 日誌來源外掛程式具有下列需求和限制：

  • path 選項為必要項目。路徑是字串，例如 /log/ingest，代表日誌擷取的 URI 路徑。此路徑會定義您用來將資料傳送至管道的 URI。例如 https://log-pipeline.us-west-2.osis.amazonaws.com/log/ingest。路徑必須以斜線 (/) 開頭，可包含特殊字元 '-'、'_'、'.' 和 '/'，以及${pipelineName}預留位置。

  • 下列選項是由 OpenSearch Ingestion 設定，管道組態不支援：

    • port

    • ssl

    • sslKeyFile

    • sslKeyCertChainFile

    • authentication

    • unauthenticated_health_check

    • useAcmCertForSSL

    • unframed_requests

    • proto_reflection_service

    • thread_count

    • request_timeout

    • max_connection_count

    • acmPrivateKeyPassword

    • acmCertIssueTimeOutMillis

    • health_check_service

    • acmCertificateArn

    • awsRegion

OTel 追蹤群組處理器

OTel 追蹤群組處理器有下列需求和限制：

  • aws 選項為必要，且必須包含下列選項：

    • sts_role_arn

    • region

    • hosts

  • sts_role_arn 選項指定與您在 OpenSearch 接收器組態中指定的管道角色相同的角色。

  • 不支援 username、cert、 password和 insecure選項。

  • aws_sigv4 選項為必要項目，且必須設定為 true。

  • 不支援 OpenSearch 接收器外掛程式中的 serverless選項。Otel 追蹤群組處理器目前不適用於 OpenSearch Serverless 集合。

  • 管道組態內文中的otel_trace_group處理器數量不能超過 8。

OTel 追蹤處理器

OTel 追蹤處理器有下列需求和限制：

  • trace_flush_interval 選項的值不能超過 300 秒。

服務映射處理器

Service-map 處理器有下列需求和限制：

  • window_duration 選項的值不能超過 300 秒。

S3 來源

S3 來源外掛程式有下列需求和限制：

  • aws 選項為必要，且必須包含 region 和 sts_role_arn選項。

  • records_to_accumulate 選項的值不能超過 200。

  • maximum_messages 選項的值不能超過 10。

  • 如果指定，則 disable_bucket_ownership_validation選項必須設定為 false。

  • 如果指定，則必須將 input_serialization選項設定為 parquet。