產生分區索引 - AWS Glue

本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。

產生分區索引

Data Catalog 支援建立分區索引,以提供高效的特定分區查閱。如需詳細資訊,請參閱建立分區索引。AWS Glue 編目程式預設為 Amazon S3 和 Delta Lake 目標建立分區索引。

the console
  1. 登入 the console,並前往 https://console.aws.amazon.com/glue/ 開啟 AWS Glue 主控台。

  2. 選擇 Data Catalog 下的編目程式

  3. 當您定義編目程式時,預設會在設定輸出和排程頁面上的進階選項下啟用自動建立分區索引的選項。

    若要停用此選項,您可以取消選取在主控台中自動建立分區索引核取方塊。

  4. 完成編目程式組態,然後選擇建立編目程式

AWS CLI

您也可以使用 AWS CLI 停用此選項,在 configuration 參數中設定 CreatePartitionIndex 。預設值為 true。

aws glue update-crawler \ --name myCrawler \ --configuration '{"Version": 1.0, "CreatePartitionIndex": false }'

分割區索引的使用說明

  • 依預設,爬蟲程式建立的資料表沒有變數 partition_filtering.enabled。如需詳細資訊,請參閱 AWS Glue 分割區索引和篩選

  • 不支援為加密分割區建立分割區索引。