クローラー API

• Crawler 構造

• Schedule 構造

• CrawlerTargets 構造

• S3Target 構造

• S3DeltaCatalogTarget 構造

• S3DeltaDirectTarget 構造

• JdbcTarget 構造

• MongoDBTarget 構造

• DynamoDBTarget 構造

• DeltaTarget 構造

• IcebergTarget 構造

• HudiTarget 構造

• CatalogTarget 構造

• CrawlerMetrics 構造

• CrawlerHistory 構造

• CrawlsFilter 構造

• SchemaChangePolicy 構造

• LastCrawlInfo 構造

• RecrawlPolicy 構造

• LineageConfiguration 構造

• LakeFormationConfiguration 構造

フィールド

• Name – UTF-8 文字列。1～255 バイト長。Single-line string pattern に一致。

  クローラー名。

• Role – UTF–8 文字列。

  Amazon Simple Storage Service (Amazon S3) データなどの顧客リソースへのアクセスに使用される IAM ロールの Amazon リソースネーム (ARN)。

• Targets – CrawlerTargets オブジェクト。

  クロールするターゲットのコレクション。

• DatabaseName – UTF–8 文字列。

  クローラーの出力が保存されている場所のデータベース名。

• Description – 説明文字列。2,048 バイト長以下。URI address multi-line string pattern に一致。

  クローラーの説明。

• Classifiers – UTF-8 文字列の配列。

  クローラーに関連付けられたカスタム分類子を指定する UTF-8 文字列のリスト。

• RecrawlPolicy – RecrawlPolicy オブジェクト。

  データセット全体を再度クロールするか、前回のクローラー実行以降に追加されたフォルダのみをクロールするかを指定するポリシー。

• SchemaChangePolicy – SchemaChangePolicy オブジェクト。

  クローラーの更新と削除の動作を指定するポリシー。

• LineageConfiguration – LineageConfiguration オブジェクト。

  クローラーに対してデータ系統を有効にするかどうかを指定する設定。

• State – UTF-8 文字列 (有効な値: READY | RUNNING | STOPPING)。

  クローラーが実行中かどうか、あるいは実行が保留中かどうかを示します。

• TablePrefix - UTF-8 文字列。128 バイト長以下。

  作成されたテーブルの名前に追加されるプレフィックス。

• Schedule – スケジュール オブジェクト。

  スケジュールされたクローラーの場合、クローラーが実行されるスケジュール。

• CrawlElapsedTime – 数値 (long)。

  クローラーが実行されている場合は、最後のクロールが開始されてから経過した合計時間が含まれます。

• CreationTime – タイムスタンプ。

  クローラーが作成された時刻。

• LastUpdated – タイムスタンプ。

  クローラーが最後に更新された時刻。

• LastCrawl – LastCrawlInfo オブジェクト。

  最後のクロールのステータス、およびエラーが発生した場合はエラー情報。

• Version – 数値 (long)。

  クローラーのバージョン。

• Configuration – UTF–8 文字列。

  クローラーの構成情報。このバージョン付きの JSON 文字列では、クローラーの動作特性を指定できます。詳細については、「クローラー設定オプションの設定」を参照してください。

• CrawlerSecurityConfiguration - UTF-8 文字列。128 バイト長以下。

  このクローラーで使用される SecurityConfiguration 構造の名前。

• LakeFormationConfiguration – LakeFormationConfiguration オブジェクト。

  クローラーが IAM ロールの認証情報の代わりに AWS Lake Formation の認証情報を使用すべきかどうかを指定します。

フィールド

• ScheduleExpression – UTF-8 文字列。

  スケジュールを指定するために使用される cron 式 (ジョブとクローラーの時間ベースのスケジュールを参照してください。) たとえば、毎日 12:15 UTC に何かを実行するには、cron(15 12 * * ? *) を指定します。

• State – UTF-8 文字列 (有効な値: SCHEDULED | NOT_SCHEDULED | TRANSITIONING)。

  スケジュールの状態。

フィールド

• S3Targets – S3Target オブジェクトの配列。

  Amazon Simple Storage Service (Amazon S3) のターゲットを指定します。

• JdbcTargets – JdbcTarget オブジェクトの配列。

  JDBC ターゲットを指定します。

• MongoDBTargets – MongoDBTarget オブジェクトの配列。

  Amazon DocumentDB または MongoDB のターゲットを指定します。

• DynamoDBTargets – DynamoDBTarget オブジェクトの配列。

  Amazon DynamoDB のターゲットを指定します。

• CatalogTargets – CatalogTarget オブジェクトの配列。

  AWS Glue Data Catalog ターゲットを指定します。

• DeltaTargets – DeltaTarget オブジェクトの配列。

  Delta データストアのターゲットを指定します。

• IcebergTargets – IcebergTarget オブジェクトの配列。

  Apache Iceberg データストアのターゲットを指定します。

• HudiTargets – HudiTarget オブジェクトの配列。

  Apache Hudi データストアのターゲットを指定します。

フィールド

• Path – UTF-8 文字列。

  Simple Storage Service (Amazon S3) ターゲットへのパス。

• Exclusions – UTF-8 文字列の配列。

  クロールから除外するために使用される glob パターンのリスト。詳細については、「クローラーを使用したカタログテーブル」を参照してください。

• ConnectionName – UTF-8 文字列。1～2048 バイト長。

  ジョブまたはクローラーが Amazon Virtual Private Cloud 環境 (Amazon VPC) 内の Amazon S3 のデータにアクセスすることを可能にする接続の名前。

• SampleSize – 数値 (整数)。

  データセット内のサンプルファイルをクロールするときにクロールされる各リーフフォルダ内のファイル数を設定します。設定されていない場合、すべてのファイルがクロールされます。有効な値は、1 から 249 までの整数です。

• EventQueueArn – UTF–8 文字列。

  有効な Amazon SQS の ARN。例えば、arn:aws:sqs:region:account:sqs。

• DlqEventQueueArn – UTF–8 文字列。

  有効な Amazon デッドレター SQS ARN。例えば、arn:aws:sqs:region:account:deadLetterQueue。

フィールド

• Name – 必須: UTF-8 文字列。Custom string pattern #63 に一致。

  データターゲットの名前。

• Inputs – 必須: UTF-8 文字列の配列。1 個の文字列。

  データターゲットへの入力であるノード。

• PartitionKeys – UTF-8 文字列の配列。

  一連のキーを使用してネイティブパーティショニングを指定します。

• Table – 必須: UTF-8 文字列。Custom string pattern #61 に一致。

  書き込むデータベーステーブルの名前。

• Database – 必須: UTF-8 文字列。Custom string pattern #61 に一致。

  書き込むデータベースの名前。

• AdditionalOptions – キーバリューペアのマップ配列。

  各キーは、Custom string pattern #61 に適合する UTF-8 文字列です。

  各値は、Custom string pattern #61 に適合する UTF-8 文字列です。

  コネクタの追加接続オプションを指定します。

• SchemaChangePolicy – CatalogSchemaChangePolicy オブジェクト。

  クローラの更新の動作を指定するポリシー。

• AutoDataQuality – AutoDataQuality オブジェクト。

  S3 Delta カタログターゲットのデータ品質評価を自動的に有効にするかどうかを指定します。true に設定すると、書き込み操作中にデータ品質チェックが自動的に実行されます。

• OutputSchemas – GlueSchema オブジェクトの配列。

  S3 Delta カタログターゲット用のデータスキーマを指定します。

フィールド

• Name – 必須: UTF-8 文字列。Custom string pattern #63 に一致。

  データターゲットの名前。

• Inputs – 必須: UTF-8 文字列の配列。1 個の文字列。

  データターゲットへの入力であるノード。

• PartitionKeys – UTF-8 文字列の配列。

  一連のキーを使用してネイティブパーティショニングを指定します。

• Path – 必須: UTF-8 文字列。Custom string pattern #61 に一致。

  書き込み先の Delta Lake データソースの Amazon S3 パス。

• Compression – 必須: UTF-8 文字列 (有効な値: uncompressed="UNCOMPRESSED" | snappy="SNAPPY")。

  データの圧縮方法を指定します。データに標準のファイル拡張子が付いている場合、このオプションは一般的に不要です。指定できる値は "gzip" および "bzip" です。

• NumberTargetPartitions – UTF–8 文字列。

  Amazon S3 全体に Delta Lake データセットファイルを配布するターゲットパーティション数を指定します。

• Format – 必須: UTF-8 文字列 (有効な値: json="JSON" | csv="CSV" | avro="AVRO" | orc="ORC" | parquet="PARQUET" | hudi="HUDI" | delta="DELTA" | iceberg="ICEBERG" | hyper="HYPER" | xml="XML")。

  ターゲットのデータ出力形式を指定します。

• AdditionalOptions – キーバリューペアのマップ配列。

  各キーは、Custom string pattern #61 に適合する UTF-8 文字列です。

  各値は、Custom string pattern #61 に適合する UTF-8 文字列です。

  コネクタの追加接続オプションを指定します。

• SchemaChangePolicy – DirectSchemaChangePolicy オブジェクト。

  クローラの更新の動作を指定するポリシー。

• AutoDataQuality – AutoDataQuality オブジェクト。

  S3 Delta 直接ターゲットのデータ品質評価を自動的に有効にするかどうかを指定します。true に設定すると、書き込み操作中にデータ品質チェックが自動的に実行されます。

フィールド

• ConnectionName – UTF-8 文字列。1～2,048 バイト長。

  JDBC ターゲットに接続するために使用する接続名。

• Path – UTF–8 文字列。

  JDBC ターゲットのパス。

• Exclusions – UTF-8 文字列の配列。

  クロールから除外するために使用される glob パターンのリスト。詳細については、「クローラーを使用したカタログテーブル」を参照してください。

• EnableAdditionalMetadata – UTF-8 文字列の配列。

  RAWTYPES または COMMENTS の値を指定して、テーブルのレスポンスでその他のメタデータを有効にできます。RAWTYPES はネイティブレベルのデータ型、COMMENTS はデータベース内の列またはテーブルに関連するコメントを提供します。

  その他のメタデータが必要ない場合は、フィールドを空白のままにしてください。

フィールド

• ConnectionName – UTF-8 文字列。1～2,048 バイト長。

  Amazon DocumentDB または MongoDB ターゲットに接続するために使用する接続名。

• Path – UTF–8 文字列。

  Amazon DocumentDB または MongoDB ターゲット (データベース/コレクション) のパス。

• ScanAll – ブール。

  すべてのレコードをスキャンするか、テーブルから行をサンプリングするかを示します。テーブルが高スループットテーブルではない場合、すべてのレコードのスキャンには時間がかかることがあります。

  true 値はすべてのレコードをスキャンすることを意味し、false 値はレコードをサンプリングすることを意味します。値を指定しないと、true 値にデフォルト設定されます。

フィールド

• Path – UTF-8 文字列。

  クロールする DynamoDB テーブルの名前。

• scanAll – ブール。

  すべてのレコードをスキャンするか、テーブルから行をサンプリングするかを示します。テーブルが高スループットテーブルではない場合、すべてのレコードのスキャンには時間がかかることがあります。

  true 値はすべてのレコードをスキャンすることを意味し、false 値はレコードをサンプリングすることを意味します。値を指定しないと、true 値にデフォルト設定されます。

• scanRate – 数値 (double)。

  AWS Glue クローラーで使用する設定済み読み取りキャパシティーユニットの割合を指定します。読み取りキャパシティーユニットは、DynamoDB で定義されている用語で、テーブルに対して実行できる読み取り回数/秒のレート制限として機能する数値です。

  有効な値は NULL または 0.1～1.5 の値です。NULL 値は、ユーザーが値を指定しない場合に使用され、設定済み読み取りキャパシティーユニットでは 0.5 (プロビジョニングされたテーブルの場合)、は最大の設定済み読み取りキャパシティーユニットの場合は 0.25 (オンデマンドモードを使用するテーブルの場合) にデフォルト設定されます。

フィールド

• DeltaTables – UTF-8 文字列の配列。

  Delta テーブルへの Simple Storage Service (Amazon S3) パスのリスト。

• ConnectionName – UTF-8 文字列。1～2,048 バイト長。

  Delta テーブルターゲットに接続するために使用する接続の名前。

• WriteManifest – ブール。

  マニフェストファイルを Delta テーブルパスに書き込むかどうかを指定します。

• CreateNativeDeltaTable – ブール。

  クローラーがネイティブテーブルを作成するかどうかを指定します。これにより、Delta トランザクションログの直接クエリをサポートするクエリエンジンとの統合が可能になります。

フィールド

• Paths – UTF-8 文字列の配列。

  s3://bucket/prefix のように、Iceberg メタデータフォルダを含む 1 つ以上の Amazon S3 パス。

• ConnectionName – UTF-8 文字列。1～2,048 バイト長。

  Iceberg ターゲットに接続するために使用する接続の名前。

• Exclusions – UTF-8 文字列の配列。

  クロールから除外するために使用される glob パターンのリスト。詳細については、「クローラーを使用したカタログテーブル」を参照してください。

• MaximumTraversalDepth – 数値 (整数)。

  クローラーが Amazon S3 パス内の Iceberg メタデータフォルダを発見するために横断できる Amazon S3 パスの最大深度。クローラーの実行時間を制限するために使用されます。

フィールド

• Paths – UTF-8 文字列の配列。

  Hudi の Amazon S3 場所文字列の配列。それぞれに Hudi テーブルのメタデータファイルが存在するルートフォルダを示します。Hudi フォルダは、ルートフォルダの子フォルダ内に存在する場合があります。

  クローラーは、Hudi フォルダのパス以下にあるすべてのフォルダをスキャンします。

• ConnectionName – UTF-8 文字列。1～2,048 バイト長。

  Hudi ターゲットに接続するために使用する接続の名前。Hudi ファイルが VPC 認可を必要とするバケットに格納されている場合、ここで接続プロパティを設定できます。

• Exclusions – UTF-8 文字列の配列。

  クロールから除外するために使用される glob パターンのリスト。詳細については、「クローラーを使用したカタログテーブル」を参照してください。

• MaximumTraversalDepth – 数値 (整数)。

  クローラーが Amazon S3 パス内の Hudi メタデータフォルダを発見するために横断できる Amazon S3 パスの最大深度。クローラーの実行時間を制限するために使用されます。

フィールド

• DatabaseName – 必須: UTF-8 文字列。1～255 バイト長。Single-line string pattern に一致。

  同期するデータベースの名前。

• Tables – 必須: UTF-8 文字列の配列。1 個の以上の文字列。

  同期するテーブルのリスト。

• ConnectionName – UTF-8 文字列、1～2,048 バイト長。

  NETWORK 接続タイプとペアになっている Catalog 接続タイプを使用するときにクロールのターゲットとなる Amazon S3-backed データカタログテーブルの接続の名前。

• EventQueueArn – UTF–8 文字列。

  有効な Amazon SQS の ARN。例えば、arn:aws:sqs:region:account:sqs。

• DlqEventQueueArn – UTF–8 文字列。

  有効な Amazon デッドレター SQS ARN。例えば、arn:aws:sqs:region:account:deadLetterQueue。

フィールド

• CrawlerName – UTF-8 文字列。1～255 バイト長。Single-line string pattern に一致。

  クローラー名。

• TimeLeftSeconds – 数値 (double)。None 以下。

  実行中のクロールを完了までの予測時間。

• StillEstimating – ブール。

  クローラーがこの実行を完了するのにどれくらいの時間がかかるかをまだ見積もっている場合は true です。

• LastRuntimeSeconds – 数値 (double)。None 以下。

  クローラーの最新の実行にかかる時間 (秒単位)。

• MedianRuntimeSeconds – 数値 (double)。None 以下。

  このクローラーの実行時間の中央値 (秒単位)。

• TablesCreated – 数値 (整数)、None 以下。

  このクローラーで作成されたテーブルの数。

• TablesUpdated – 数値 (整数)、None 以下。

  このクローラーで更新されたテーブルの数。

• TablesDeleted – 数値 (整数)、None 以下。

  このクローラーで削除されたテーブルの数。

フィールド

• CrawlId – UTF-8 文字列。

  各クロールの UUID 識別子。

• State – UTF-8 文字列 (有効な値: RUNNING | COMPLETED | FAILED | STOPPED)。

  クロールの状態。

• StartTime – タイムスタンプ。

  クロールが開始された日時。

• EndTime – タイムスタンプ。

  クロールが終了された日時。

• Summary – UTF-8 文字列。1～255 バイト長。Single-line string pattern に一致。

  特定のクロールに関する JSON 形式の実行サマリー。追加、更新、または削除されたカタログテーブルとパーティションが含まれます。

• ErrorMessage – 説明文字列。2,048 バイト長以下。URI address multi-line string pattern に一致。

  エラーが発生した場合は、クロールに関連付けられたエラーメッセージ。

• LogGroup – UTF-8 文字列。1 ～ 512 バイト長。Log group string pattern に一致。

  クロールに関連付けられたロググループ。

• LogStream – UTF-8 文字列。1 ～ 512 バイト長。Log-stream string pattern に一致。

  クロールに関連付けられたログストリーム。

• MessagePrefix – UTF-8 文字列、1～255 バイト長、Single-line string pattern に一致。

  このクロールに関する CloudWatch メッセージのプレフィックス。

• DPUHour – 数値 (double)。None 以下。

  クロールに使用されるデータ処理単位 (DPU) の数 (時間単位)。

フィールド

• FieldName – UTF-8 文字列 (有効な値: CRAWL_ID | STATE | START_TIME | END_TIME | DPU_HOUR)。

  指定されたクローラーに対するクローラーの実行をフィルタリングするために使用されるキー。各フィールド名に有効な値は次のとおりです。

  • CRAWL_ID: クロールの UUID 識別子を表す文字列。

  • STATE: クロールの状態を表す文字列。

  • START_TIME および END_TIME: epoch タイムスタンプ (ミリ秒単位)。

  • DPU_HOUR: クロールに使用されるデータ処理単位 (DPU) の数 (時間単位)。

• FilterOperator - UTF-8 文字列 (有効値:GT |GE |LT |LE |EQ |NE ).。

  値を操作する定義済みのコンパレータ。利用できる演算子は次のとおりです。

  • GT: より大きい。

  • GE: 以上。

  • LT: より小さい。

  • LE: 以下。

  • EQ: 等しい。

  • NE: 等しくない。

• FieldValue – UTF–8 文字列。

  クロールフィールドでの比較のために提供される値。

フィールド

• UpdateBehavior – UTF-8 文字列 (有効な値: LOG | UPDATE_IN_DATABASE)。

  クローラーが変更されたスキーマを検出したときの更新動作。

• DeleteBehavior – UTF-8 文字列 (有効な値: LOG | DELETE_FROM_DATABASE | DEPRECATE_IN_DATABASE)。

  クローラーが削除されたオブジェクトを検出したときの削除動作。

フィールド

• Status – UTF-8 文字列 (有効な値: SUCCEEDED | CANCELLED | FAILED)。

  最後のクロールのステータス。

• ErrorMessage – 説明文字列、2,048 バイト長以下、URI address multi-line string pattern に一致。

  エラーが発生した場合、最後のクロールに関するエラー情報。

• LogGroup – UTF-8 文字列。1 ～ 512 バイト長。Log group string pattern に一致。

  最後のクロールのロググループ。

• LogStream – UTF-8 文字列。1 ～ 512 バイト長。Log-stream string pattern に一致。

  最後のクロールのログストリーム。

• MessagePrefix – UTF-8 文字列。1～255 バイト長。Single-line string pattern に一致。

  このクロールについてのメッセージのプレフィックス。

• StartTime – タイムスタンプ。

  クロールが開始された時刻。

フィールド

• RecrawlBehavior – UTF-8 文字列 (有効な値: CRAWL_EVERYTHING | CRAWL_NEW_FOLDERS_ONLY | CRAWL_EVENT_MODE)。

  データセット全体を再度クロールするか、前回のクローラーの実行以降に追加されたフォルダのみをクロールするかを指定します。

  CRAWL_EVERYTHING という値は、データセット全体を再度クロールすることを指定します。

  CRAWL_NEW_FOLDERS_ONLY という値は、前回のクローラー実行後に追加されたフォルダのみをクロールすることを指定します。

  CRAWL_EVENT_MODE の値は Simple Storage Service (Amazon S3) イベントによって識別される変更のみをクロールするように指定します。

フィールド

• CrawlerLineageSettings – UTF-8 文字列 (有効な値: ENABLE | DISABLE)。

  クローラーに対してデータ系統を有効にするかどうかを指定します。次の値を指定できます。

  • ENABLE: クローラーのデータ系統を有効にします。

  • DISABLE：クローラーのデータ系統を無効にします。

フィールド

• UseLakeFormationCredentials – ブール。

  IAM ロールの認証情報の代わりに AWS Lake Formation の認証情報を使用するかどうかを指定します。

• AccountId - UTF-8 文字列。12 バイト長以下。

  クロスアカウントクロールに必要です。ターゲットデータと同じアカウントのクロールでは、null のままにすることができます。

• CreateCrawler アクション (Python: create_crawler)

• DeleteCrawler アクション (Python: delete_crawler)

• GetCrawler アクション (Python: get_crawler)

• GetCrawlers アクション (Python: get_crawlers)

• GetCrawlerMetrics アクション (Python: get_crawler_metrics)

• UpdateCrawler アクション (Python: update_crawler)

• StartCrawler アクション (Python: start_crawler)

• StopCrawler アクション (Python: stop_crawler)

• BatchGetCrawlers Action (Python: batch_get_crawlers)

• ListCrawlers アクション (Python: list_crawlers)

• ListCrawls アクション (Python: list_crawls)

リクエスト

• Name – 必須: UTF-8 文字列。1～255 バイト長。Single-line string pattern に一致。

  新しいクローラーの名前。

• Role – 必須: UTF–8 文字列。

  新しいクローラーが顧客リソースにアクセスするために使用する IAM ロール、または IAM ロールの Amazon リソースネーム (ARN)。

• DatabaseName – UTF–8 文字列。

  arn:aws:daylight:us-east-1::database/sometable/* など、結果が書き込まれる AWS Glue データベース。

• Description – 説明文字列。2,048 バイト長以下。URI address multi-line string pattern に一致。

  新しいクローラーの説明。

• Targets – 必須: CrawlerTargets オブジェクト。

  クロールするターゲットのコレクションのリスト。

• Schedule – UTF–8 文字列。

  スケジュールを指定するために使用される cron 式 (ジョブとクローラーの時間ベースのスケジュールを参照してください。) たとえば、毎日 12:15 UTC に何かを実行するには、cron(15 12 * * ? *) を指定します。

• Classifiers – UTF-8 文字列の配列。

  ユーザーが登録したカスタム分類子のリスト。デフォルトでは、すべての組み込みの分類子がクロールに含まれますが、これらのカスタム分類子によって常に分類別のデフォルトの分類子が上書きされます。

• TablePrefix - UTF-8 文字列。128 バイト長以下。

  作成されたカタログテーブルに使用されるテーブルプレフィックス。

• SchemaChangePolicy – SchemaChangePolicy オブジェクト。

  クローラーの更新と削除動作のためのポリシー。

• RecrawlPolicy – RecrawlPolicy オブジェクト。

  データセット全体を再度クロールするか、前回のクローラー実行以降に追加されたフォルダのみをクロールするかを指定するポリシー。

• LineageConfiguration – LineageConfiguration オブジェクト。

  クローラーのデータ系統設定を指定します。

• LakeFormationConfiguration – LakeFormationConfiguration オブジェクト。

  クローラーの AWS Lake Formation 構成設定を指定します。

• Configuration – UTF–8 文字列。

  クローラーの構成情報。このバージョン付きの JSON 文字列では、クローラーの動作特性を指定できます。詳細については、「クローラー設定オプションの設定」を参照してください。

• CrawlerSecurityConfiguration - UTF-8 文字列。128 バイト長以下。

  このクローラーで使用される SecurityConfiguration 構造の名前。

• Tags – キーと値のペアのマップ配列。50 ペア以下。

  各キーは UTF-8 文字列で、1～128 バイト長です。

  各値は UTF-8 文字列で、256 バイト長以下です。

  このクローラーリクエストで使用するタグ。クローラーへのアクセスを制限するためにタグを使用することができます。AWS Glue のタグの詳細については、デベロッパーガイドの「AWS Tags in AWS Glue」を参照してください。

応答

• 応答パラメータはありません。

エラー

• InvalidInputException

• AlreadyExistsException

• OperationTimeoutException

• ResourceNumberLimitExceededException

リクエスト

• Name – 必須: UTF-8 文字列。1～255 バイト長。Single-line string pattern に一致。

  削除するクローラーの名前。

応答

• 応答パラメータはありません。

エラー

• EntityNotFoundException

• CrawlerRunningException

• SchedulerTransitioningException

• OperationTimeoutException

リクエスト

• Name – 必須: UTF-8 文字列。1～255 バイト長。Single-line string pattern に一致。

  メタデータを取得するクローラーの名前。

応答

• Crawler – Crawler オブジェクト。

  指定されたクローラーのメタデータ。

エラー

• EntityNotFoundException

• OperationTimeoutException

リクエスト

• MaxResults – 1～1000 の数値 (整数)。

  各呼び出しで返されるクローラーの数。

• NextToken – UTF–8 文字列。

  継続トークン (これが継続リクエストの場合)。

応答

• Crawlers – Crawler オブジェクトの配列。

  クローラーメタデータのリスト。

• NextToken – UTF–8 文字列。

  継続トークン (返されるリストがこの顧客アカウントで定義されたリストの最後に達していない場合)。

エラー

• OperationTimeoutException

リクエスト

• CrawlerNameList - UTF-8 文字列の配列、文字列 100 個以下。

  メトリクスを取得するクローラーの名前のリスト。

• MaxResults – 1～1000 の数値 (整数)。

  返されるリストの最大サイズ。

• NextToken – UTF-8 文字列。

  継続トークン (これが継続呼び出しの場合)。

応答

• CrawlerMetricsList – CrawlerMetrics オブジェクトの配列。

  指定されたクローラーのメトリクスのリスト。

• NextToken – UTF–8 文字列。

  継続トークン (戻されたリストに最後に使用可能なメトリクスが含まれていない場合)。

エラー

• OperationTimeoutException

リクエスト

• Name – 必須: UTF-8 文字列。1～255 バイト長。Single-line string pattern に一致。

  新しいクローラーの名前。

• Role – UTF–8 文字列。

  新しいクローラーが顧客リソースにアクセスするために使用する IAM ロール、または IAM ロールの Amazon リソースネーム (ARN)。

• DatabaseName – UTF–8 文字列。

  arn:aws:daylight:us-east-1::database/sometable/* など、結果が保存される AWS Glue データベース。

• Description - UTF-8 文字列。2,048 バイト長以下。URI address multi-line string pattern に一致。

  新しいクローラーの説明。

• Targets – CrawlerTargets オブジェクト。

  クロールするターゲットのリスト。

• Schedule – UTF–8 文字列。

  スケジュールを指定するために使用される cron 式 (ジョブとクローラーの時間ベースのスケジュールを参照してください。) たとえば、毎日 12:15 UTC に何かを実行するには、cron(15 12 * * ? *) を指定します。

• Classifiers – UTF-8 文字列の配列。

  ユーザーが登録したカスタム分類子のリスト。デフォルトでは、すべての組み込みの分類子がクロールに含まれますが、これらのカスタム分類子によって常に分類別のデフォルトの分類子が上書きされます。

• TablePrefix - UTF-8 文字列。128 バイト長以下。

  作成されたカタログテーブルに使用されるテーブルプレフィックス。

• SchemaChangePolicy – SchemaChangePolicy オブジェクト。

  クローラーの更新と削除動作のためのポリシー。

• RecrawlPolicy – RecrawlPolicy オブジェクト。

  データセット全体を再度クロールするか、前回のクローラー実行以降に追加されたフォルダのみをクロールするかを指定するポリシー。

• LineageConfiguration – LineageConfiguration オブジェクト。

  クローラーのデータ系統設定を指定します。

• LakeFormationConfiguration – LakeFormationConfiguration オブジェクト。

  クローラーの AWS Lake Formation 構成設定を指定します。

• Configuration – UTF–8 文字列。

  クローラーの構成情報。このバージョン付きの JSON 文字列では、クローラーの動作特性を指定できます。詳細については、「クローラー設定オプションの設定」を参照してください。

• CrawlerSecurityConfiguration - UTF-8 文字列。128 バイト長以下。

  このクローラーで使用される SecurityConfiguration 構造の名前。

応答

• 応答パラメータはありません。

エラー

• InvalidInputException

• VersionMismatchException

• EntityNotFoundException

• CrawlerRunningException

• OperationTimeoutException

リクエスト

• Name – 必須: UTF-8 文字列。1～255 バイト長。Single-line string pattern に一致。

  開始するクローラーの名前。

応答

• 応答パラメータはありません。

エラー

• EntityNotFoundException

• CrawlerRunningException

• OperationTimeoutException

リクエスト

• Name – 必須: UTF-8 文字列。1～255 バイト長。Single-line string pattern に一致。

  停止するクローラーの名前。

応答

• 応答パラメータはありません。

エラー

• EntityNotFoundException

• CrawlerNotRunningException

• CrawlerStoppingException

• OperationTimeoutException

リクエスト

• CrawlerNames – 必須: UTF-8 文字列の配列。文字列 100 個以下。

  クローラー名のリスト。これは ListCrawlers 操作から返された名前であることもあります。

応答

• Crawlers – Crawler オブジェクトの配列。

  クローラー定義のリスト。

• CrawlersNotFound - UTF-8 文字列の配列、文字列 100 個以下。

  クローラーの名前のリストが見つかりません。

エラー

• InvalidInputException

• OperationTimeoutException

リクエスト

• MaxResults – 1～1000 の数値 (整数)。

  返されるリストの最大サイズ。

• NextToken – UTF–8 文字列。

  継続トークン (これが継続リクエストの場合)。

• Tags – キーと値のペアのマップ配列。50 ペア以下。

  各キーは UTF-8 文字列で、1～128 バイト長です。

  各値は UTF-8 文字列で、256 バイト長以下です。

  これらのタグ付きリソースのみを返すように指定します。

応答

• CrawlerNames - UTF-8 文字列の配列、文字列 100 個以下。

  アカウント内のすべてのクローラーの名前、または指定されたタグを持つクローラーの名前。

• NextToken – UTF–8 文字列。

  継続トークン (戻されたリストに最後に使用可能なメトリクスが含まれていない場合)。

エラー

• OperationTimeoutException

• 指定されたクローラーのすべてのクロールを取得します。

• 指定されたクローラーのすべてのクロールを、制限されたカウント内に取得します。

• 特定された時間範囲内に、指定されたクローラーのすべてのクロールを取得します。

• 特定の状態、クロール ID、または DPU 時間値を持つ指定されたクローラーのすべてのクロールを取得します。

リクエスト

• CrawlerName – 必須: UTF-8 文字列。1～255 バイト長。Single-line string pattern に一致。

  取得する実行のクローラー名。

• MaxResults – 1～1000 の数値 (整数)。

  返される結果の最大数。デフォルトは 20 で、最大は 100 です。

• Filters – CrawlsFilter オブジェクトの配列。

  CrawlsFilter オブジェクトのリストで指定した条件で、クロールをフィルタリングします。

• NextToken – UTF-8 文字列。

  継続トークン (これが継続呼び出しの場合)。

応答

• Crawls – CrawlerHistory オブジェクトの配列。

  条件を満たしたクロール実行を表す CrawlerHistory オブジェクトのリスト。

• NextToken – UTF-8 文字列。

  返されたトークンのリストをページ分割するための継続トークン。リストの現在のセグメントが最後のセグメントではない場合に返されます。

エラー

• EntityNotFoundException

• OperationTimeoutException

• InvalidInputException