目錄 API - AWS Glue
 —  資料類型  —目錄CatalogInputTargetRedshiftCatalogCatalogPropertiesCatalogPropertiesOutputDataLakeAccessPropertiesIcebergOptimizationPropertiesDataLakeAccessPropertiesOutputIcebergOptimizationPropertiesOutputFederatedCatalog —  operations  —CreateCatalog (create_catalog)UpdateCatalog (update_catalog)DeleteCatalog (delete_catalog)GetCatalog (get_catalog)GetCatalogs (get_catalogs)

本文為英文版的機器翻譯版本，如內容有任何歧義或不一致之處，概以英文版為準。

目錄 API

Catalogs API 說明用於建立、刪除、尋找、更新和列出目錄的 APIs。

資料類型

目錄結構

目錄物件代表 AWS Glue Data Catalog 或聯合來源中資料庫的邏輯分組。您現在可以建立 Redshift 聯合目錄，或包含其他帳戶或區域中 Redshift 資料庫資源連結的目錄。

欄位

  • CatalogId – 目錄 ID 字串，長度不可小於 1 個位元組，也不可以超過 255 個位元組，需符合Single-line string pattern。

    目錄的 ID。若要授予預設目錄的存取權，不應提供此欄位。

  • Name – 必要：UTF-8 字串，長度不可小於 1 個位元組，也不可以超過 64 個位元組，需符合 Custom string pattern #25。

    目錄的名稱。不能與帳戶 ID 相同。

  • ResourceArn – UTF-8 字串。

    指派給目錄資源的 Amazon Resource Name (ARN)。

  • Description – 描述字串，長度不可超過 2048 個位元組，需符合URI address multi-line string pattern。

    描述字串，長度不可超過 2048 個位元組，需符合 URI 地址多行字串模式。目錄的描述。

  • Parameters – 金鑰值對的對應陣列。

    每個金鑰都是金鑰字串，長度不可小於 1 個位元組，也不可以超過 255 個位元組，需符合Single-line string pattern。

    每個值都是 UTF-8 字串，長度不可超過 512000 個位元組。

    索引鍵/值對的映射陣列，可定義目錄的參數和屬性。

  • CreateTime – 時間戳記。

    建立目錄的時間。

  • UpdateTime – 時間戳記。

    目錄上次更新的時間。

  • TargetRedshiftCatalog – TargetRedshiftCatalog 物件。

    描述資料庫資源連結目標目錄的TargetRedshiftCatalog物件。

  • FederatedCatalog – FederatedCatalog 物件。

    指向 AWS Glue Data Catalog 外部實體的FederatedCatalog物件。

  • CatalogProperties – CatalogPropertiesOutput 物件。

    指定資料湖存取屬性和其他自訂屬性的CatalogProperties物件。

  • CreateTableDefaultPermissions – 一個 PrincipalPermissions 物件陣列。

    PrincipalPermissions 物件的陣列。在 （資料表） 上為委託人建立一組預設許可。使用者 AWS Lake Formation。在正常 AWS Glue 的操作過程中不使用。

  • CreateDatabaseDefaultPermissions – 一個 PrincipalPermissions 物件陣列。

    PrincipalPermissions 物件的陣列。在 （資料庫） 上為主體建立一組預設許可。使用者 AWS Lake Formation。在正常 AWS Glue 的操作過程中不使用。

  • AllowFullTableExternalDataAccess – UTF-8 字串 (有效值：True | False)。

    允許第三方引擎存取向 Lake Formation 註冊 Amazon S3 的位置中的資料。

CatalogInput 結構

描述目錄屬性的結構。

欄位

  • Description – 描述字串，長度不可超過 2048 個位元組，需符合URI address multi-line string pattern。

    描述字串，長度不可超過 2048 個位元組，需符合 URI 地址多行字串模式。目錄的描述。

  • FederatedCatalog – FederatedCatalog 物件。

    FederatedCatalog 物件。參考 AWS Glue Data Catalog 外部實體的FederatedCatalog結構，例如 Redshift 資料庫。

  • Parameters – 金鑰值對的對應陣列。

    每個金鑰都是金鑰字串，長度不可小於 1 個位元組，也不可以超過 255 個位元組，需符合Single-line string pattern。

    每個值都是 UTF-8 字串，長度不可超過 512000 個位元組。

    索引鍵/值對的映射陣列，可定義目錄的參數和屬性。

  • TargetRedshiftCatalog – TargetRedshiftCatalog 物件。

    描述資源連結目標目錄的TargetRedshiftCatalog物件。

  • CatalogProperties – CatalogProperties 物件。

    指定資料湖存取屬性和其他自訂屬性的CatalogProperties物件。

  • CreateTableDefaultPermissions – 一個 PrincipalPermissions 物件陣列。

    PrincipalPermissions 物件的陣列。在 （資料表） 上為委託人建立一組預設許可。使用者 AWS Lake Formation。通常應該明確設定為空白清單。

  • CreateDatabaseDefaultPermissions – 一個 PrincipalPermissions 物件陣列。

    PrincipalPermissions 物件的陣列。在 （資料庫） 上為主體建立一組預設許可。使用者 AWS Lake Formation。通常應該明確設定為空白清單。

  • AllowFullTableExternalDataAccess – UTF-8 字串 (有效值：True | False)。

    允許第三方引擎存取向 Lake Formation 註冊 Amazon S3 的位置中的資料。

TargetRedshiftCatalog 結構

描述資源連結目標目錄的結構。

欄位

  • CatalogArn – 必要：UTF-8 字串。

    目錄資源的 Amazon Resource Name (ARN)。

CatalogProperties 結構

指定資料湖存取屬性和其他自訂屬性的結構。

欄位

  • DataLakeAccessProperties – DataLakeAccessProperties 物件。

    指定屬性的DataLakeAccessProperties物件，以設定 Data Catalog 中目錄資源 AWS Glue 的資料湖存取。

  • IcebergOptimizationProperties – IcebergOptimizationProperties 物件。

    指定目錄 Iceberg 資料表最佳化屬性的結構。這包括壓縮、保留和孤立檔案刪除操作的組態，可套用至此目錄中的 Iceberg 資料表。

  • CustomProperties – 金鑰值對的對應陣列。

    每個金鑰都是金鑰字串，長度不可小於 1 個位元組，也不可以超過 255 個位元組，需符合Single-line string pattern。

    每個值都是 UTF-8 字串，長度不可超過 512000 個位元組。

    目錄的其他索引鍵/值屬性，例如資料欄統計資料最佳化。

CatalogPropertiesOutput 結構

屬性屬性，其中包含目錄資源的組態屬性。

欄位

  • DataLakeAccessProperties – DataLakeAccessPropertiesOutput 物件。

    具有輸入屬性的DataLakeAccessProperties物件，用於設定 Data Catalog 中目錄資源 AWS Glue 的資料湖存取。

  • IcebergOptimizationProperties – IcebergOptimizationPropertiesOutput 物件。

    指定目錄 Iceberg 資料表最佳化設定的IcebergOptimizationPropertiesOutput物件，包括壓縮、保留和孤立檔案刪除操作的組態。

  • CustomProperties – 金鑰值對的對應陣列。

    每個金鑰都是金鑰字串，長度不可小於 1 個位元組，也不可以超過 255 個位元組，需符合Single-line string pattern。

    每個值都是 UTF-8 字串，長度不可超過 512000 個位元組。

    目錄的其他索引鍵/值屬性，例如資料欄統計資料最佳化。

DataLakeAccessProperties 結構

輸入屬性，以設定 Data Catalog 中目錄資源 AWS Glue 的資料湖存取。

欄位

  • DataLakeAccess – 布林值。

    開啟或關閉從任何非 Redshift 引擎存取 Data Catalog 中 Amazon Redshift 資料庫之 Apache Spark 應用程式的資料湖存取，例如 Amazon Athena、Amazon EMR 或 AWS Glue ETL。

  • DataTransferRole – UTF-8 字串，需符合Custom string pattern #51。

    將擔任的角色 AWS Glue ，用於在查詢期間將資料傳入/傳出預備儲存貯體。

  • KmsKey – UTF-8 字串。

    加密金鑰，將用於將與目錄一起建立的預備儲存貯體。

  • CatalogType – UTF-8 字串，長度不可小於 1 個位元組，也不可以超過 255 個位元組，需符合Single-line string pattern。

    指定原生目錄資源的聯合目錄類型。目前支援的類型為 aws:redshift。

IcebergOptimizationProperties 結構

指定目錄 Iceberg 資料表最佳化屬性的結構，包括壓縮、保留和孤立檔案刪除操作的組態。

欄位

  • RoleArn – UTF-8 字串，需符合Custom string pattern #51。

    將擔任以執行 Iceberg 資料表最佳化操作之 IAM 角色的 Amazon Resource Name (ARN)。

  • Compaction – 金鑰值對的對應陣列。

    每個金鑰都是金鑰字串，長度不可小於 1 個位元組，也不可以超過 255 個位元組，需符合Single-line string pattern。

    每個值都是 UTF-8 字串，長度不可超過 512000 個位元組。

    索引鍵/值對的映射，指定 Iceberg 資料表壓縮操作的組態參數，可最佳化資料檔案的配置，以改善查詢效能。

  • Retention – 金鑰值對的對應陣列。

    每個金鑰都是金鑰字串，長度不可小於 1 個位元組，也不可以超過 255 個位元組，需符合Single-line string pattern。

    每個值都是 UTF-8 字串，長度不可超過 512000 個位元組。

    索引鍵/值對的映射，可指定 Iceberg 資料表保留操作的組態參數，以管理資料表快照的生命週期來控制儲存成本。

  • OrphanFileDeletion – 金鑰值對的對應陣列。

    每個金鑰都是金鑰字串，長度不可小於 1 個位元組，也不可以超過 255 個位元組，需符合Single-line string pattern。

    每個值都是 UTF-8 字串，長度不可超過 512000 個位元組。

    索引鍵/值對的映射，指定 Iceberg 孤立檔案刪除操作的組態參數，用於識別和移除資料表中繼資料不再參考的檔案。

DataLakeAccessPropertiesOutput 結構

Data Catalog 中目錄資源的資料湖存取組態的輸出屬性 AWS Glue 。

欄位

  • DataLakeAccess – 布林值。

    為存取 Data Catalog 中的 Amazon Redshift 資料庫的 Apache Spark 應用程式開啟或關閉資料湖存取。

  • DataTransferRole – UTF-8 字串，需符合Custom string pattern #51。

    將擔任的角色 AWS Glue ，用於在查詢期間將資料傳入/傳出預備儲存貯體。

  • KmsKey – UTF-8 字串。

    加密金鑰，將用於將與目錄一起建立的預備儲存貯體。

  • ManagedWorkgroupName – UTF-8 字串，長度不可小於 1 個位元組，也不可以超過 255 個位元組，需符合Single-line string pattern。

    為您的目錄資源建立的受管 Redshift Serverless 運算名稱。

  • ManagedWorkgroupStatus – UTF-8 字串，長度不可小於 1 個位元組，也不可以超過 255 個位元組，需符合Single-line string pattern。

    受管 Redshift Serverless 運算狀態。

  • RedshiftDatabaseName – UTF-8 字串，長度不可小於 1 個位元組，也不可以超過 255 個位元組，需符合Single-line string pattern。

    受管運算中的預設 Redshift 資料庫資源名稱。

  • StatusMessage – UTF-8 字串，長度不可小於 1 個位元組，也不可以超過 255 個位元組，需符合Single-line string pattern。

    提供受管工作群組狀態詳細資訊的訊息。

  • CatalogType – UTF-8 字串，長度不可小於 1 個位元組，也不可以超過 255 個位元組，需符合Single-line string pattern。

    指定原生目錄資源的聯合目錄類型。目前支援的類型為 aws:redshift。

IcebergOptimizationPropertiesOutput 結構

包含 AWS Glue Data Catalog 中目錄資源 Iceberg 資料表最佳化組態的輸出屬性的結構。

欄位

  • RoleArn – UTF-8 字串，需符合Custom string pattern #51。

    用於執行 Iceberg 資料表最佳化操作的 IAM 角色的 Amazon Resource Name (ARN)。

  • Compaction – 金鑰值對的對應陣列。

    每個金鑰都是金鑰字串，長度不可小於 1 個位元組，也不可以超過 255 個位元組，需符合Single-line string pattern。

    每個值都是 UTF-8 字串，長度不可超過 512000 個位元組。

    索引鍵/值對的映射，指定 Iceberg 資料表壓縮操作的組態參數，可最佳化資料檔案的配置，以改善查詢效能。

  • Retention – 金鑰值對的對應陣列。

    每個金鑰都是金鑰字串，長度不可小於 1 個位元組，也不可以超過 255 個位元組，需符合Single-line string pattern。

    每個值都是 UTF-8 字串，長度不可超過 512000 個位元組。

    索引鍵/值對的映射，可指定 Iceberg 資料表保留操作的組態參數，以管理資料表快照的生命週期來控制儲存成本。

  • OrphanFileDeletion – 金鑰值對的對應陣列。

    每個金鑰都是金鑰字串，長度不可小於 1 個位元組，也不可以超過 255 個位元組，需符合Single-line string pattern。

    每個值都是 UTF-8 字串，長度不可超過 512000 個位元組。

    索引鍵/值對的映射，指定 Iceberg 孤立檔案刪除操作的組態參數，用於識別和移除資料表中繼資料不再參考的檔案。

  • LastUpdatedTime – 時間戳記。

    Iceberg 最佳化屬性上次更新的時間戳記。

FederatedCatalog 結構

指向 AWS Glue Data Catalog 外部實體的目錄。

欄位

  • Identifier – UTF-8 字串，長度不可小於 1 個位元組，也不可以超過 512 個位元組，且需符合 Single-line string pattern。

    聯合目錄的唯一識別符。

  • ConnectionName – UTF-8 字串，長度不可小於 1 個位元組，也不可以超過 255 個位元組，需符合Single-line string pattern。

    連線到外部資料來源的名稱，例如 Redshift 聯合目錄。

  • ConnectionType – UTF-8 字串，長度不可小於 1 個位元組，也不可以超過 255 個位元組，需符合Single-line string pattern。

    用於存取聯合目錄的連線類型，指定連線至外部資料來源的通訊協定或方法。

作業

CreateCatalog 動作 (Python：create_catalog)

在 AWS Glue Data Catalog 中建立新的目錄。

請求

  • Name – 必要：UTF-8 字串，長度不可小於 1 個位元組，也不可以超過 64 個位元組，需符合 Custom string pattern #25。

    要建立的目錄名稱。

  • CatalogInput – 必要：CatalogInput 物件。

    定義目錄中繼資料的CatalogInput物件。

  • Tags – 金鑰值對的映射陣列，不超過 50 對。

    每個金鑰均為 UTF-8 字串，長度不可小於 1 個位元組，也不可以超過 128 個位元組。

    每個值都是 UTF-8 字串，長度不可超過 256 個位元組。

    索引鍵/值對的映射陣列，不可超過 50 個。每個金鑰均為 UTF-8 字串，長度不可小於 1 個位元組，也不可以超過 128 個位元組。每個值都是 UTF-8 字串，長度不可超過 256 個位元組。您指派給目錄的標籤。

回應

  • 無回應參數。

錯誤

  • InvalidInputException

  • AlreadyExistsException

  • ResourceNumberLimitExceededException

  • InternalServiceException

  • OperationTimeoutException

  • GlueEncryptionException

  • ConcurrentModificationException

  • AccessDeniedException

  • EntityNotFoundException

  • FederatedResourceAlreadyExistsException

  • FederationSourceException

UpdateCatalog 動作 (Python：update_catalog)

更新 AWS Glue Data Catalog 中現有目錄的屬性。

請求

  • CatalogId – 必要：目錄 ID 字串，長度不可小於 1 個位元組，也不可以超過 255 個位元組，需符合 Single-line string pattern。

    目錄的 ID。

  • CatalogInput – 必要：CatalogInput 物件。

    指定現有目錄新屬性的CatalogInput物件。

回應

  • 無回應參數。

錯誤

  • EntityNotFoundException

  • InvalidInputException

  • InternalServiceException

  • OperationTimeoutException

  • GlueEncryptionException

  • ConcurrentModificationException

  • AccessDeniedException

  • FederationSourceException

DeleteCatalog 動作 (Python：Delete_catalog)

從 AWS Glue Data Catalog 中移除指定的目錄。

完成此操作後，您將無法再存取已刪除目錄中的資料庫、資料表 （以及可能屬於資料表的所有資料表版本和分割區） 和使用者定義的函數。 會由服務自行決定，以非同步方式及時 AWS Glue 刪除這些「孤立」資源。

若要確保在呼叫 DeleteCatalog操作之前立即刪除所有相關資源，請使用 DeleteTableVersion（或 BatchDeleteTableVersion)、 DeletePartition （或 BatchDeletePartition)、 DeleteTable（或 BatchDeleteTable)，DeleteUserDefinedFunction以及 DeleteDatabase刪除屬於目錄的任何資源。

請求

  • CatalogId – 必要：目錄 ID 字串，長度不可小於 1 個位元組，也不可以超過 255 個位元組，需符合 Single-line string pattern。

    目錄的 ID。

回應

  • 無回應參數。

錯誤

  • EntityNotFoundException

  • InvalidInputException

  • InternalServiceException

  • OperationTimeoutException

  • GlueEncryptionException

  • ConcurrentModificationException

  • AccessDeniedException

  • FederationSourceException

GetCatalog 動作 (Python：get_catalog)

要擷取的目錄名稱。這應該都是小寫。

請求

  • CatalogId – 必要：目錄 ID 字串，長度不可小於 1 個位元組，也不可以超過 255 個位元組，需符合 Single-line string pattern。

    目錄所在的父目錄 ID。如果未提供，預設會使用 AWS 帳戶號碼。

回應

  • Catalog – 目錄 物件。

    Catalog 物件。Data Catalog 中指定 AWS Glue 目錄的定義。

錯誤

  • InvalidInputException

  • EntityNotFoundException

  • InternalServiceException

  • OperationTimeoutException

  • GlueEncryptionException

  • AccessDeniedException

  • EntityNotFoundException

  • FederationSourceException

  • FederationSourceRetryableException

GetCatalogs 動作 (Python：get_catalogs)

擷取 Data Catalog 中目錄中 AWS Glue 定義的所有目錄。對於 Redshift 聯合目錄使用案例，此操作會傳回映射到 Redshift 命名空間目錄中 Redshift 資料庫的目錄清單。

請求

  • ParentCatalogId – 目錄 ID 字串，長度不可小於 1 個位元組，也不可以超過 255 個位元組，需符合Single-line string pattern。

    目錄所在的父目錄 ID。如果未提供，預設會使用 AWS 帳戶號碼。

  • NextToken – UTF-8 字串。

    接續符記，如果這是接續呼叫。

  • MaxResults – 數字 (整數)，不可小於 1，也不可以大於 1000。

    在單一回應中傳回的目錄數量上限。

  • Recursive – 布林值。

    是否要列出目錄階層中的所有目錄，從 開始ParentCatalogId。預設為 false 。當 時true，ParentCatalogID階層中的所有目錄物件都會在回應中列舉。

  • IncludeRoot – 布林值。

    是否要在回應中列出帳戶和區域中的預設目錄。預設為 false。當 true和 時ParentCatalogId = NULL | AWS Account ID，回應中會列舉所有目錄和預設目錄。

    當 ParentCatalogId 不等於 null，且此屬性以 false或 傳遞時true，InvalidInputException會擲出 。

回應

  • CatalogList – 必要：一個 目錄 物件。

    Catalog 物件的陣列。來自指定父目錄的Catalog物件清單。

  • NextToken – UTF-8 字串。

    為一種接續符記，用於將傳回的符記清單分頁，而如果清單目前的區段不是最後區段就會傳回。

錯誤

  • InvalidInputException

  • InternalServiceException

  • OperationTimeoutException

  • GlueEncryptionException

  • AccessDeniedException

  • EntityNotFoundException

  • FederationSourceException

  • FederationSourceRetryableException