步驟 2：選擇資料來源和分類器

針對您的資料是否已映射至 AWS Glue 資料表？選取適當的選項：選擇「尚未」或「是」。依預設已選取「尚未」。

爬蟲程式可以直接存取資料存放區做為抓取來源，也可以使用現有的 Data Catalog 資料表做為來源。如果爬蟲程式使用現有的目錄資料表，即會抓取這些目錄資料表指定的資料存放區。

若要使用 Delta 資料表，請先使用 Athena DDL 或 AWS Glue API 建立 Delta 資料表。

使用 Athena，將位置設定為 Amazon S3 資料夾，並將資料表類型設定為 'DELTA'。

CREATE EXTERNAL TABLE database_name.table_name
LOCATION 's3://bucket/folder/'
TBLPROPERTIES ('table_type' = 'DELTA')

使用 AWS Glue API，在資料表參數映射中指定資料表類型。資料表參數需要包含下列金鑰/值對。如需如何建立資料表的詳細資訊，請參閱 create_table 的 Boto3 文件。

{
    "table_type":"delta"
}

選取或新增爬蟲程式要掃描的資料來源清單。

(選用) 如果您選擇 JDBC 作為資料來源，則在指定存放驅動程式資訊的連線存取時，可以使用自己的 JDBC 驅動程式。

在評估抓取要包含或排除的內容時，爬蟲程式會先評估必要的包含路徑。對於 Amazon S3、MongoDB、MongoDB Atlas、Amazon DocumentDB (with MongoDB compatibility) 和關聯式資料存放區，您必須指定包含路徑。

對於 JDBC 資料存放區，語法為 database-name/schema-name/table-name 或 database-name/table-name。語法取決於資料庫引擎在資料庫中是否支援結構描述。例如，對於資料庫引擎 (如 MySQL 或 Oracle)，請勿在包含路徑中指定 schema-name。您可以在包含路徑中針對結構描述或資料表替代百分比符號 (%)，以代表資料庫中的所有結構描述或所有資料表。您不能替代包含路徑中資料庫的百分比符號 (%)。

定義爬蟲程式可在 Amazon S3 路徑中周遊探索 Iceberg 或 Hudi 中繼資料資料夾的 Amazon S3 路徑深度上限。此參數的用途是限制爬蟲程式執行時間。預設值為 10，最大值為 20。

這些模式可讓您排除抓取特定檔案或資料表。排除路徑是相對於包含路徑。例如，若要在您的 JDBC 資料存放區中排除資料表，請在排除路徑中輸入資料表的名稱。

爬蟲程式會使用 AWS Glue 連線 (其中包含 JDBC URI 連線字串) 連接到 JDBC 資料存放區。爬蟲程式只可以使用 AWS Glue 連線中的 JDBC 使用者名稱和密碼來存取資料庫引擎中的物件。爬蟲程式只能建立其可透過 JDBC 連線存取的表格。在爬蟲程式使用 JDBC URI 存取資料庫引擎後，您可使用包括路徑來判斷資料庫引擎中哪些資料表是在 Data Catalog 中所建立的。例如，若使用 MySQL，如果您指定 MyDatabase/% 的包括路徑，則 MyDatabase 中的所有資料表會在 Data Catalog 中建立。存取 Amazon Redshift 時，如果您指定 MyDatabase/% 的包括路徑，則資料庫 MyDatabase 所有結構描述中的所有資料表會在 Data Catalog 中建立。如果您指定 MyDatabase/MySchema/% 的包括路徑，則資料庫 MyDatabase 中的所有資料表和結構描述 MySchema 會加以建立。

在指定包含路徑後，您可以指定一個或多個 Unix 樣式的 glob 排除模式，從包含路徑包含的抓取中排除物件。這些模式會套用至您的包含路徑，以判斷哪些物件被排除。這些模式也會在爬蟲程式所建立的資料表中儲存為屬性。AWS GluePySpark 延伸，例如 create_dynamic_frame.from_catalog，讀取資料表屬性並排除經排除模式定義的物件。

AWS Glue 支援以下在排除模式中的 glob 模式。

AWS Glue 對 glob 排除模式的解譯如下：

/mybucket/myfolder/
   departments/
      finance.json
      market-us.json
      market-emea.json
      market-ap.json
   employees/
      hr.json
      john.csv
      jane.csv
      juan.txt

 2015/01/{[!0],0[8-9]}**, 2015/0[2-9]/**, 2015/1[0-2]/**    
 

MyDatabase/MySchema/
   HR_us
   HR_fr
   Employees_Table
   Finance
   Market_US_Table
   Market_EMEA_Table
   Market_AP_Table

每個來源類型都需要一組不同的附加參數。

選取或新增 AWS Glue 連線。如需連線的詳細資訊，請參閱 連線至資料。

選取要網路爬取的其他爬蟲程式中繼資料屬性。

針對連線至資料來源的爬蟲程式，輸入自訂 JDBC 驅動程式類別名稱：

選擇 .jar 檔案的現有 Amazon S3 路徑。此為針對連線至資料來源的爬蟲程式使用自訂 JDBC 驅動程式時，用來存放 .jar 檔案的所在位置。

選取是否只編目資料範例。如果未選取，則會編目整個資料表。當資料表不是高傳輸量資料表時，掃描所有記錄可能需要很長的時間。

選取建立 Delta Lake 資料表的方式：

指定爬蟲程式要使用的 DynamoDB 資料表讀取容量單位百分比。讀取容量單位是 DynamoDB 定義的術語，此數值可作為每秒可在該資料表上執行的讀取次數速率限制符號。請輸入介於 0.1 到 1.5 之間的值。如未指定，則會將已佈建的資料表預設為 0.5，並將隨需資料表預設為 1/4 的最大設定容量。請注意，AWS Glue 爬蟲程式僅應與已佈建的容量模式搭配使用。

選擇是否包含要用於此 Amazon S3 目標的網路連線。請注意，每個爬蟲程式僅限於一個網路連線，因此任何其他 Amazon S3 目標也會使用相同的連線 (如果保留空白，則無連線)。

如需連線的詳細資訊，請參閱 連線至資料。

指定在資料集中網路爬取範例檔案時，每個分葉資料夾中要編目的檔案數目。開啟此功能時，爬蟲程式會隨機選取每個分葉資料夾中要網路爬取的某些檔案，而不是網路爬取此資料集中的所有檔案。

取樣爬蟲程式最適合先前了解其資料格式，並且知道資料夾中的結構描述不會變更的客戶。開啟此功能會大幅減少爬蟲程式執行時間。

有效值是介於 1 到 249 之間的整數。如果未指定，則會網路爬取所有檔案。

此欄位是會影響所有 Amazon S3 資料來源的全域欄位。

定義自訂分類器，再定義爬蟲程式。分類器會檢查指定的檔案是否採用爬蟲程式可以處理的格式。如果是，則分類器會以符合該資料格式的 StructType 物件形式，建立結構描述。

如需更多詳細資訊，請參閱 定義和管理分類器。