View a markdown version of this page

Amazon S3 ターゲットの Amazon S3 イベント通知用のクローラーを設定する - AWS Glue

Amazon S3 ターゲットの Amazon S3 イベント通知用のクローラーを設定する

AWS マネジメントコンソール または AWS CLI を使用して Amazon S3 ターゲットの Amazon S3 イベント通知用のクローラーを設定するには、以下の手順を実行します。

AWS マネジメントコンソール

  1. AWS マネジメントコンソール にサインインし、https://console.aws.amazon.com/guardduty/ で GuardDuty コンソールを開きます。

  2. クローラーのプロパティを設定します。詳細については、「AWS Glue コンソールでのクローラー設定オプションの設定」を参照してください。

  3. [データソースの設定] セクションに、[データは AWS Glue テーブルにマッピング済みですか?] という質問が表示されています。

    デフォルトでは、[Not yet] (まだです) が選択されています。Amazon S3 のデータソースを使用しており、データがまだ AWS Glue テーブルにマップされていないため、これはデフォルトままにしておきます。

  4. [Data sources] (データソース) セクションで、[Add a data source] (データソースを追加) を選択します。

    [データソースを追加] ボタンと空のデータソーステーブルが表示されているデータソース設定セクション。

  5. [Add data source] (データソースの追加) ダイアログで、Amazon S3 データソースを以下のように設定します。

    • [Data source] (データソース): デフォルトで、Amazon S3 が選択されています。

    • [Network connection] (ネットワーク接続) (オプション): [Add new connection] (新しい接続を追加) を選択します。

    • [Location of Amazon S3 data] (Amazon S3 データの場所): デフォルトで、[In this account] (このアカウント内) が選択されています。

    • [Amazon S3 path] (Amazon S3 パス): フォルダとファイルがクロールされる Amazon S3 パスを指定します。

    • [Subsequent crawler runs] (それ以降のクローラー実行): クローラーに関する Amazon S3 イベント通知を使用するには、[Crawl based on events] (イベントに基づくクロール) を選択します。

    • [Include SQS ARN] (SQS ARN を含める): 有効な SQS ARN を含むデータストアパラメータを指定します。(例えば、arn:aws:sqs:region:account:sqs)

    • [Include dead-letter SQS ARN] (配信不能 SQS ARN を含める) (オプション): 有効な Amazon 配信不能 SQS ARN を指定します。(例えば、arn:aws:sqs:region:account:deadLetterQueue)

    • [Add an Amazon S3 data source] (Amazon S3 データソースを追加) を選択します。

    選択したイベントに基づいたパス s3://test とクロールがある S3 設定が表示されている「データソースの追加」ダイアログ
AWS CLI

次に示すのは、イベント通知を使用して Amazon S3 ターゲットバケットをクロールするようにクローラーを設定するための Amazon S3 AWS CLI コールの例です。


Create Crawler:
aws glue update-crawler \
    --name myCrawler \
    --recrawl-policy RecrawlBehavior=CRAWL_EVENT_MODE \
    --schema-change-policy UpdateBehavior=UPDATE_IN_DATABASE,DeleteBehavior=LOG
    --targets '{"S3Targets":[{"Path":"s3://amzn-s3-demo-bucket/", "EventQueueArn": "arn:aws:sqs:us-east-1:012345678910:MyQueue"}]}'