Amazon S3 ターゲットの Amazon S3 イベント通知用のクローラーを設定する - AWS Glue

Amazon S3 ターゲットの Amazon S3 イベント通知用のクローラーを設定する

AWS Management Console または AWS CLI を使用して Amazon S3 ターゲットの Amazon S3 イベント通知用のクローラーを設定するには、以下の手順を実行します。

AWS Management Console

  1. AWS Management Console にサインインし、https://console.aws.amazon.com/guardduty/ で GuardDuty コンソールを開きます。

  2. クローラーのプロパティを設定します。詳細については、「AWS Glue コンソールでのクローラー設定オプションの設定」を参照してください。

  3. [データソースの設定] セクションに、[データは AWS Glue テーブルにマッピング済みですか?] という質問が表示されています。

    デフォルトでは、[Not yet] (まだです) が選択されています。Amazon S3 のデータソースを使用しており、データがまだ AWS Glue テーブルにマップされていないため、これはデフォルトままにしておきます。

  4. [Data sources] (データソース) セクションで、[Add a data source] (データソースを追加) を選択します。

    Data source configuration interface with options to select or add data sources for crawling.

  5. [Add data source] (データソースの追加) ダイアログで、Amazon S3 データソースを以下のように設定します。

    • [Data source] (データソース): デフォルトで、Amazon S3 が選択されています。

    • [Network connection] (ネットワーク接続) (オプション): [Add new connection] (新しい接続を追加) を選択します。

    • [Location of Amazon S3 data] (Amazon S3 データの場所): デフォルトで、[In this account] (このアカウント内) が選択されています。

    • [Amazon S3 path] (Amazon S3 パス): フォルダとファイルがクロールされる Amazon S3 パスを指定します。

    • [Subsequent crawler runs] (それ以降のクローラー実行): クローラーに関する Amazon S3 イベント通知を使用するには、[Crawl based on events] (イベントに基づくクロール) を選択します。

    • [Include SQS ARN] (SQS ARN を含める): 有効な SQS ARN を含むデータストアパラメータを指定します。(例えば、arn:aws:sqs:region:account:sqs)

    • [Include dead-letter SQS ARN] (配信不能 SQS ARN を含める) (オプション): 有効な Amazon 配信不能 SQS ARN を指定します。(例えば、arn:aws:sqs:region:account:deadLetterQueue)

    • [Add an Amazon S3 data source] (Amazon S3 データソースを追加) を選択します。

    Add data source dialog for S3, showing options for network connection and crawl settings.
AWS CLI

次に示すのは、イベント通知を使用して Amazon S3 ターゲットバケットをクロールするようにクローラーを設定するための Amazon S3 AWS CLI コールの例です。


Create Crawler:
aws glue update-crawler \
    --name myCrawler \
    --recrawl-policy RecrawlBehavior=CRAWL_EVENT_MODE \
    --schema-change-policy UpdateBehavior=UPDATE_IN_DATABASE,DeleteBehavior=LOG
    --targets '{"S3Targets":[{"Path":"s3://amzn-s3-demo-bucket/", "EventQueueArn": "arn:aws:sqs:us-east-1:012345678910:MyQueue"}]}'