カスタム S3 バケットソースの設定

CloudWatch パイプラインを使用すると、S3 バケットに保存されている任意のログを処理できます。

前提条件

Amazon S3 をパイプラインのソースとして使用するには、まず S3 バケットを作成します。手順については、「Amazon S3 ユーザーガイド」の「汎用バケットの作成」を参照してください。

S3-SQS 処理をセットアップするには、以下のステップも実行する必要があります。

パイプラインロールを設定する

パイプラインにデータをプッシュする他のソースプラグインとは異なり、S3 ソースプラグインは、パイプラインがソースからデータを取得する読み取りベースのアーキテクチャを使用しています。したがって、パイプラインが S3 から読み取るには、パイプラインの S3 ソース設定で、S3 バケットと Amazon SQS キューの両方にアクセスできるロールを指定する必要があります。キューからデータを読み取るために、パイプラインはこのロールを引き受けます。

ロールのアクセス許可の例については、「ソース固有の IAM ポリシー」をご覧ください。このロールと CloudWatch パイプラインのサービスプリンシパルと間には信頼関係が確立されている必要があります。パイプラインロールの信頼ポリシー設定の例については、「信頼関係」をご覧ください。

パイプラインの作成

アクセス許可を設定したら、Amazon S3 のユースケースに応じてパイプラインを設定できます。

CloudWatch コンソールの [取り込み] にある [パイプライン] タブで [パイプラインの作成] を選択します。パイプラインウィザードの手順に従い、プロンプトが表示されたら SQS キュー ARN と必要なパイプライン IAM ロールを指定します。必要に応じて、CloudWatch Logs のロググループの送信先にアタッチするデータソース名とタイプを指定します。

送信先ロググループに CloudWatch Logs リソースポリシーがまだ設定されていない場合は必ず設定し、その後に [確認して作成] ステップで [パイプラインの作成] を選択してください。正常に終了した場合、パイプラインが作成され、5 分以内にデータが流れ始めます。

ソースとしての Amazon S3 クロスアカウント

CloudWatch パイプラインがソースとして別のアカウントの S3 バケットにアクセスできるように、Amazon S3 のアカウント間でアクセスを許可できます。クロスアカウントアクセスを有効にするには、「Amazon S3 User Guide」の「Bucket owner granting cross-account bucket permissions」を参照してください。アクセスを付与したら、パイプラインロールに必要なアクセス許可があることを確認します。

次に、bucket_owners を使用してパイプラインを作成し、ソースとしての Amazon S3 バケットへのクロスアカウントアクセスを有効にできます。

カスタムソース設定

カスタムソースのパイプラインを作成する場合の条件: