本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。
Amazon OpenSearch Service 中的可觀測性
可觀測性是透過檢查輸出,深入了解複雜系統的內部狀態和效能。傳統監控可以告訴您系統已停機,可觀測性可協助您了解為何停機,方法是允許您詢問有關資料的新問題。
Amazon OpenSearch Service 透過收集和關聯遙測資料的金鑰類型,提供統一的解決方案。
-
日誌提供事件的時間戳記記錄,例如應用程式錯誤、使用者請求或系統狀態訊息。
-
追蹤代表請求在分散式系統中通過不同服務時的end-to-end旅程。
透過將這些資料類型結合在一起,Amazon OpenSearch Service 可協助營運團隊、網站可靠性工程師和開發人員更快地偵測、診斷和解決營運問題。
OpenSearch Service 中的可觀測性工作流程
從應用程式取得資料到 OpenSearch Service 進行分析會使用多階段管道:
-
集合
程序從來源開始,使用輕量型代理程式或收集器,從您的訊號生產者收集遙測資料,例如應用程式和基礎設施。兩個常見的開放原始碼代理程式為:
-
OpenTelemetry (OTel) 收集器 – 收集日誌和追蹤的業界標準和偏好方法。
-
Fluent Bit – 輕量、高效能的日誌處理器和轉送器,支援日誌和追蹤的 OTel 結構描述。
-
-
擷取 (Amazon OpenSearch 擷取)
收集遙測資料後,資料會傳送至 OpenSearch Ingestion,這是全受管、無伺服器的資料管道。您可以建立自訂管道以:
-
篩選條件 – 移除不必要的資料以降低儲存成本。
-
Enrich – 新增寶貴的中繼資料,例如來自 IP 地址的地理資訊。
-
轉換和標準化 – 將非結構化日誌建構為一致的格式。
-
Route – 將不同類型的資料傳送至不同的 OpenSearch Service 索引或 Amazon S3。
-
-
分析和視覺化
處理後,資料會載入 OpenSearch Service 網域或集合。您可以近乎即時地儲存、編製索引和分析大量資料。您可以透過視覺化界面與此資料互動,例如 OpenSearch UI 的可觀測性工作區,以執行查詢、建置儀表板和設定提醒。
OpenSearch UI 和 OpenSearch Dashboards
OpenSearch Service 為可觀測性提供了兩個不同的使用者介面。我們建議您使用 OpenSearch UI,並為新安裝設定可觀測性工作區,並從現有的 OpenSearch Dashboards 遷移。以下是概述 OpenSearch UI v. 傳統 OpenSearch Dashboards 優點的表格。
| 功能 | OpenSearch UI | OpenSearch Dashboards |
|---|---|---|
| 資料來源 | 多來源 – 可以連接到多個 OpenSearch Service 網域、OpenSearch Serverless 集合和其他資料來源。 | 單一來源 – 與單一 OpenSearch Service 網域共置。 |
| 更新 | 新功能會先送達這裡,因為它未繫結至特定的 OpenSearch 版本。 | 新功能繫結至 OpenSearch 版本。未來可能會棄用更新。 |
| 可用性 | 託管在 中,AWS 雲端可確保叢集升級期間零停機時間。 | 可在網域維護和升級期間暫時無法使用 |
| 協作 | 具有在特定工作流程上策劃團隊協作的工作區。 | 協同合作是以在單一網域中共用已儲存的物件為基礎。 |
注意:為了方便開始使用,我們已在 Amazon OpenSearch Service 主控台中為日誌建立新的入門工作流程,該工作流程將設定新的 OTel 自訂擷取管道,允許您選取現有的 OpenSearch 叢集,並使用建立的可觀測性工作區建立新的 OpenSearch UI 應用程式。您只需要將 OTel 代理器指向新的擷取端點,您就可以解鎖對 OTel 格式資料的洞察。
由於在日誌和追蹤中擷取和分析的處理方式不同,因此我們建立了不同的區段來深入探討。