AWS Glue 中的資料探索和編目

Data Catalog 的主要功能

以下是 Data Catalog 的關鍵層面。

中繼資料儲存庫

Data Catalog 可作為中央中繼資料儲存庫，儲存資料來源位置、結構描述和屬性的相關資訊。此中繼資料會組織成資料庫和資料表，類似於傳統的關聯式資料庫型錄。

自動資料探索能力

AWS Glue 編目程式可以自動探索和編目新的或更新的資料來源，減少手動中繼資料管理的開銷，並確保 Data Catalog 保持最新狀態。透過編目資料來源，Data Catalog 可讓使用者和應用程式更輕鬆地探索和了解組織內可用的資料資產，進而提升資料重複使用和協作。

Data Catalog 支援各種資料來源，包括 Amazon S3、Amazon RDS、Amazon Redshift、Apache Hive 等。其可以使用 AWS Glue 編目程式自動推斷和儲存來自這些來源的中繼資料。

如需詳細資訊，請參閱使用編目程式填入 Data Catalog 。

結構描述管理

Data Catalog 會自動擷取和管理資料來源的結構描述，包括結構描述推論、演進和版本控制。您可以使用 AWS Glue ETL 任務更新 Data Catalog 中的結構描述和分區。

資料表最佳化

為使 Amazon Athena 與 Amazon EMR 及 AWS Glue ETL 任務等 AWS 分析服務提升讀取效能，Data Catalog 會針對 Data Catalog 中的 Iceberg 資料表提供受管壓縮功能 (可將小型 Amazon S3 物件壓縮為較大物件的程序)。您可以使用 AWS Glue 主控台、AWS Lake Formation 主控台、AWS CLI 或 AWS API，來啟用或停用 Data Catalog 中個別 Iceberg 資料表的壓縮功能。

如需更多詳細資訊，請參閱 最佳化 Iceberg 資料表。

資料欄統計資料

您可以計算 Parquet、ORC、JSON、ION、CSV 及 XML 等資料格式之 Data Catalog 資料表的資料欄層級統計資料，無需設定其他資料管道。資料欄統計資料可協助您透過深入了解資料欄內的值，了解資料設定檔。Data Catalog 支援產生資料欄值的統計資料 (例如，最小值、最大值、總 Null 值、總相異值、值平均長度及 true 值出現總數)。

如需更多詳細資訊，請參閱 使用資料欄統計資料最佳化查詢效能。

資料沿襲

Data Catalog 會維護對資料執行的轉換和操作記錄，並提供資料沿襲資訊。此沿襲資訊對於稽核、合規和了解資料的來源來說特別有價值。

與其他 AWS 服務整合

Data Catalog 與其他 AWS 服務無縫整合，例如 AWS Lake Formation、Amazon Athena、Amazon Redshift Spectrum 和 Amazon EMR。此整合可讓您使用單一、一致的中繼資料層級，查詢和分析各種資料存放區中的資料。

安全性和存取控制

AWS Glue 與 AWS Lake Formation 整合以支援 Data Catalog 資源的精細分級的存取控制，可讓您根據組織的政策和需求管理對資料資產的許可和安全存取。AWS Glue 與 AWS Key Management Service (AWS KMS) 整合，以加密儲存在 Data Catalog 中的中繼資料。