設定自訂 S3 儲存貯體來源 - Amazon CloudWatch

本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。

設定自訂 S3 儲存貯體來源

透過 CloudWatch 管道,您可以處理存放在 S3 儲存貯體中的任意日誌。

先決條件

若要使用 Amazon S3 做為管道的來源,請先建立 S3 儲存貯體。如需說明,請參閱《Amazon S3 使用者指南》中的建立一般用途儲存貯體。

注意

如果管道中做為來源的 S3 儲存貯體位於不同的 AWS 帳戶中,您也需要在儲存貯體上啟用跨帳戶讀取許可。這可讓管道讀取和處理資料。若要啟用跨帳戶許可,請參閱《Amazon S3 使用者指南》中的授予跨帳戶儲存貯體許可的儲存貯體擁有者

如果您的 S3 儲存貯體位於多個帳戶中,請使用bucket_owners映射。如需範例,請參閱 OpenSearch 文件中的跨帳戶 S3 存取

若要設定 S3-SQS 處理,您還需要執行下列步驟:

設定管道角色

與其他將資料推送至管道的來源外掛程式不同,S3 來源外掛程式具有讀取型架構,其中管道會從來源提取資料。因此,若要從 S3 讀取管道,您必須在管道的 S3 來源組態中指定可存取 S3 儲存貯體和 Amazon SQS 佇列的角色。管道將擔任此角色,以便從佇列讀取資料。

您可以在來源特定的 IAM 政策中找到範例角色許可。請注意,此角色必須與 CloudWatch 管道服務原則具有信任關係。您可以在信任關係中找到管道角色的信任政策組態範例。

建立管道

設定許可後,您可以根據 Amazon S3 使用案例設定管道。

在 CloudWatch 主控台的擷取下,選取管道索引標籤中的建立管道。遵循管道精靈步驟,並在出現提示時提供 SQS 佇列 ARN 和必要的管道 IAM 角色。選擇性地提供資料來源名稱和類型,以連接到 CloudWatch Logs 中的日誌群組目的地。

如果尚未將 CloudWatch Logs 資源政策設定為目的地日誌群組,請務必設定該資源政策,然後在檢閱和建立步驟中選取建立管道。管道將建立,如果成功,資料將在 5 分鐘內開始流動。

Amazon S3 跨帳戶做為來源

您可以使用 Amazon S3 跨帳戶授予存取權,以便 CloudWatch 管道可以存取另一個帳戶中的 S3 儲存貯體做為來源。若要啟用跨帳戶存取,請參閱《Amazon S3 使用者指南》中的授予跨帳戶儲存貯體許可的儲存貯體擁有者。授予存取權之後,請確定您的管道角色具有必要的許可。

然後,您可以使用 建立管道bucket_owners,以啟用 Amazon S3 儲存貯體做為來源的跨帳戶存取。

自訂來源組態

為自訂來源建立管道時:

  • 剖析器必須是管道中的第一個處理器

  • 您可以為自訂日誌管道指定任何支援的處理器