將 Amazon OpenSearch Ingestion 管道與其他 服務和應用程式整合 - Amazon OpenSearch Service

本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。

將 Amazon OpenSearch Ingestion 管道與其他 服務和應用程式整合

若要成功將資料擷取至 Amazon OpenSearch Ingestion 管道,您必須設定用戶端應用程式 (來源) 將資料傳送至管道端點。您的來源可能是 Fluent Bit 日誌、OpenTelemetry Collector 或簡單 S3 儲存貯體等用戶端。每個用戶端的確切組態會有所不同。

來源組態期間的重要差異 (相較於直接將資料傳送至 OpenSearch Service 網域或 OpenSearch Serverless 集合) 是AWS服務名稱 (osis) 和主機端點,其必須是管道端點。

建構擷取端點

若要將資料擷取至管道,請將其傳送至擷取端點。若要尋找擷取 URL,請導覽至管道設定頁面並複製擷取 URL

Pipeline settings page showing details like status, capacity, and ingestion URL for data input.

若要建構提取型來源的完整擷取端點,例如 OTel 追蹤OTel 指標,請將管道組態的擷取路徑新增至擷取 URL。

例如,假設您的管道組態具有下列擷取路徑:

Input field for HTTP source path with example "/my/test_path" entered.

您在用戶端組態中指定的完整擷取端點將採用下列格式:https://ingestion-pipeline-abcdefg.us-east-1.osis.amazonaws.com/my/test_path

建立擷取角色

對 OpenSearch Ingestion 的所有請求都必須使用 Signature 第 4 版簽署。至少,必須授予簽署請求的角色 osis:Ingest動作的許可,以允許它將資料傳送至 OpenSearch Ingestion 管道。

例如,下列 AWS Identity and Access Management(IAM) 政策允許對應的角色將資料傳送至單一管道:

JSON
{ "Version":"2012-10-17", "Statement": [ { "Effect": "Allow", "Action": "osis:Ingest", "Resource": "arn:aws:osis:us-east-1:111122223333:pipeline/pipeline-name" } ] }
注意

若要將 角色用於所有管道,請以萬用字元 (*) 取代 Resource 元素中的 ARN。

提供跨帳戶擷取存取權

注意

您只能為公有管道提供跨帳戶擷取存取,而不是 VPC 管道。

您可能需要從不同的管道擷取資料AWS 帳戶,例如存放來源應用程式的 帳戶。如果寫入管道的委託人位於與管道本身不同的帳戶中,您需要設定委託人信任另一個 IAM 角色將資料擷取至管道。

設定跨帳戶擷取許可
  1. 在AWS 帳戶與管道相同的 內建立具有osis:Ingest許可 (如上一節所述) 的擷取角色。如需說明,請參閱建立 IAM 角色

  2. 信任政策連接至 擷取角色,允許另一個帳戶中的委託人擔任該角色:

    JSON
    { "Version":"2012-10-17", "Statement": [{ "Effect": "Allow", "Principal": { "AWS": "arn:aws:iam::111122223333:root" }, "Action": "sts:AssumeRole" }] }
  3. 在另一個帳戶中,設定您的用戶端應用程式 (例如 Fluent Bit) 以擔任擷取角色。為了讓此項目正常運作,應用程式帳戶必須將許可授予應用程式使用者或角色,以擔任擷取角色。

    下列以身分為基礎的政策範例允許連接的委託人ingestion-role從管道帳戶擔任:

    JSON
    { "Version":"2012-10-17", "Statement": [ { "Effect": "Allow", "Action": "sts:AssumeRole", "Resource": "arn:aws:iam::111122223333:role/ingestion-role" } ] }

然後,用戶端應用程式可以使用 AssumeRole 操作來假設ingestion-role並將資料擷取至相關聯的管道。

後續步驟

將資料匯出至管道後,您可以從設定為管道接收器的 OpenSearch Service 網域進行查詢。下列資源可協助您開始使用: