本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。
資料來源探索和管理
CloudWatch Logs 會根據資料來源和類型自動探索和分類您的日誌資料,讓您更輕鬆地大規模了解和管理日誌。此功能為 AWS Amazon VPC Flow Logs、CloudTrail 和 Route 53 等付費來源,以及第三方安全工具提供結構描述探索。
Logs Management 主控台提供依資料來源和類型整理之日誌的高階檢視,而不只是日誌群組。此組織可協助您:
-
檢視依 AWS 服務、第三方來源 (例如 Okta 或 CrowdStrike) 和自訂來源分類的日誌
-
自動了解日誌資料的結構描述和結構
-
根據探索到的結構描述欄位建立欄位索引政策
-
更有效率地管理不同資料來源的日誌
-
依不同資料來源查詢日誌
當您為支援 AWS 的服務啟用 CloudWatch Logs 記錄時,CloudWatch Logs 會自動將適當的結構描述套用至您的日誌。這個自動結構描述應用程式有助於維持一致性,並提供日誌結構的即時洞見。
什麼是 CloudWatch Logs 資料來源?
CloudWatch Logs 資料來源是一項功能,提供一種新方法來根據產生日誌的來源組織和分類您的日誌資料。雖然 CloudWatch Logs 傳統上會使用日誌群組來組織日誌,但資料來源提供額外的組織層,依其原始服務和日誌類型將日誌分組。
資料來源的運作方式
資料來源提供您 AWS 基礎設施的服務型日誌組織和簡化的探索。您可以輕鬆從特定服務找到日誌,並依日誌類型進行篩選,而不需要知道個別日誌群組名稱或結構。
對於第三方來源和選用的應用程式日誌來源,資料來源使用 CloudWatch 管道來分類您的日誌。當您設定管道以擷取和轉換日誌時,您可以指定資料來源名稱和類型。然後CloudWatch Logs 會自動分類管道處理的所有日誌。如需詳細資訊,請參閱《Amazon CloudWatch 使用者指南》中的 CloudWatch 管道。 Amazon CloudWatch
資料來源使用兩個金鑰識別符來分類日誌:
-
資料來源名稱:產生日誌 AWS 的服務、第三方來源或應用程式 (例如 Route 53、Amazon VPC、CloudTrail、Okta SSO 或 CrowdStrike Falcon)。
-
資料來源類型:該服務產生的特定日誌類型。
結構描述會定義日誌資料的結構,包括有哪些欄位存在,以及如何組織資訊。單一資料來源可以產生具有不同結構描述和用途的多種日誌類型。例如, AWS CloudTrail 資料來源有兩種類型:管理事件 (追蹤控制平面操作,例如建立或刪除資源) 和資料事件 (追蹤資料平面操作,例如 S3 物件存取)。每種類型都有不同的結構描述,因為它們會擷取不同類型的資訊。
如何開始
CloudWatch Logs 會根據日誌的原始伺服器,將日誌分類為資料來源。方法取決於您正在使用的日誌類型:
AWS 服務 日誌
來自支援的 AWS 服務日誌會依資料來源自動分組,而不需要任何組態。CloudWatch Logs 會辨識這些日誌,並根據原始服務套用適當的資料來源名稱和類型。
第三方日誌
第三方日誌需要用於資料來源分類的管道。當您設定管道從支援的第三方來源擷取日誌時,例如 Microsoft Office 365、Okta、CrowdStrike 或 Palo Alto Networks,您可以在管道組態中指定資料來源名稱和類型。CloudWatch Logs 會自動分類管道使用這些識別符處理的所有日誌。
管道可以選擇性地將第三方日誌轉換為開放網路安全結構描述架構 (OCSF) 格式,以進行標準化安全事件分析。啟用 OCSF 轉換時,資料來源名稱和類型會根據 OCSF 結構描述映射自動決定。如果沒有 OCSF 轉換,您可以指定資料來源名稱,並在管道組態中輸入 。
應用程式記錄
對於自訂應用程式日誌,您可以使用下列其中一種方法來依資料來源分類它們:
-
日誌群組標籤 - 使用 金鑰將標籤新增至日誌群組
cw:datasource:type,cw:datasource:name並分別指定日誌群組中擷取之所有日誌的資料來源名稱和類型。標籤值最多可達 64 個字元,且只能包含小寫字母、數字和底線。它們必須以字母或數字開頭,而且不能包含雙底線 (__)。 -
管道組態 - 在擷取應用程式日誌時,透過日誌處理管道設定資料來源資訊。
注意
資料來源名稱不能以「aws」或「amazon」開頭,以避免 AWS 與服務日誌衝突。
系統欄位
CloudWatch Logs 會自動將三個系統欄位新增至依資料來源分類的日誌。這些欄位做為預設面向:
-
@data_source_name- 包含資料來源的名稱,如果未確定則為「未知」 -
@data_source_type- 包含資料來源的類型,如果未確定則為「未知」 -
@data_format- 指出日誌資料的格式
當無法判斷資料來源名稱或類型時,這些欄位會設為「未知」。在主控台的「日誌管理」下,具有「未知」值的資料來源仍然可見於構面和資料來源資料表中,可讓您識別未分類的日誌及其來源的日誌群組。
@data_format 欄位可以包含下列其中一個值:
-
Default- 未修改即擷取的日誌。 -
Custom- 透過管道處理器處理的日誌,或擷取至具有資料來源名稱/類型標籤之日誌群組的日誌。 -
OCSF-<version>- 在管道中使用 OCSF (開放式網路安全結構描述架構) 處理器處理的日誌。 -
AWS-OTEL-LOG-V<version>- 透過 CloudWatch OTLP 端點擷取的 OpenTelemetry 日誌。 -
AWS-OTEL-TRACE-V<version>- 透過 CloudWatch OTLP 端點擷取的 OpenTelemetry 追蹤。
這些系統欄位可讓您根據日誌的來源和格式篩選和查詢日誌,讓您更輕鬆地使用來自不同原始伺服器和處理管道的日誌。
存取資料來源
主控台
在 CloudWatch Logs 主控台中,您可以使用日誌管理索引標籤來存取資料來源。CloudWatch Logs 會根據資料來源和類型自動合併您的日誌資料,持續探索新擷取的資料。從資料來源清單中,您可以建立管道、定義欄位索引和面向。
AWS CLI
使用以下命令列出帳戶中的不同資料來源和日誌類型:
aws logs list-aggregate-log-group-summaries --group-by DATA_SOURCE_NAME_AND_TYPE
與日誌群組的關係
資料來源補充 ,而不是取代日誌群組。您的日誌會繼續像以前一樣存放在日誌群組中,但現在它們也會自動標記資料來源資訊。此雙組織可讓您:
-
使用日誌群組進行精細存取控制和保留政策
-
使用資料來源進行服務型日誌探索和分析
-
根據您的需求,使用任一組織方法查詢日誌
透過在整個 AWS 基礎設施中提供以服務為中心的日誌資料檢視,資料來源可讓您更輕鬆地大規模使用日誌。