View a markdown version of this page

AWS 資料網格的 產品 - AWS 方案指引
Amazon DataZoneData.allAWS Lake Formation

本文為英文版的機器翻譯版本，如內容有任何歧義或不一致之處，概以英文版為準。

AWS 資料網格的 產品

使用 上的分析 AWS功能，為您的組織建置資料網格型資料解決方案。資源分析 AWS 建議數個 AWS 服務 以低成本建置資料網格，而不會犧牲效能。客戶已採用下列選項來建置以資料網格為基礎的解決方案：

  • 使用 Amazon DataZone 實作資料網格

  • 在 data.all AWS 等上使用開放原始碼架構來實作資料網格

  • 使用 實作資料網格 AWS Lake Formation

這三個選項使用下列項目 AWS 服務：

Amazon DataZone 選項也會使用 Amazon EventBridge。

data.all 和 AWS Lake Formation 選項也會使用下列 AWS 服務 和資源：

根據組織的需求， AWS 服務 您在實作中使用的 可能會有所不同。

Amazon DataZone

如果您想要使用全受管服務，請考慮使用 Amazon DataZone 為您的組織實作資料網格。Amazon DataZone 是一種資料管理服務，用於編目 AWS、探索、共用和管理跨內部部署和第三方來源存放的資料。下圖顯示以 Amazon DataZone 為基礎的資料網格參考架構。

具有中央控管帳戶和 Amazon DataZone 的多個生產者和消費者帳戶。

在參考架構中，成員帳戶屬於資料網域。它們會分組為資料生產者和資料消費者。架構圖包含下列元件：

  1. 資料生產者會在 Amazon DataZone 資料入口網站提供的商業目錄中發佈資料產品。資料入口網站託管在中央控管帳戶中。

  2. 資料消費者 （使用者） 使用其 AWS 憑證或單一登入憑證登入資料入口網站。他們可以瀏覽目錄，並使用關鍵字搜尋他們感興趣的資料產品。他們可以篩選搜尋結果。

  3. 屬於消費者團隊的資料使用者找到他們感興趣的資料產品後，他們可以請求存取資料。Amazon DataZone 具有內建的存取管理工作流程，資料擁有者會使用此工作流程來檢閱和核准請求。

  4. 資料消費者團隊可以使用資料來強化其人工智慧和機器學習 (AI/ML)、分析和報告，以及擷取、轉換和載入 (ETL) 使用案例。

Data.all

如果您了解開放原始碼，並想要建置和管理自己的解決方案，請考慮使用開放原始碼架構，例如 data.all。Data.all 是一個現代資料市場，支援不同使用者之間的協作。Data.all 簡化了資料探索、共用和精細的資料存取管理，而建置器則使用資料和分析服務的 AWS 產品組合。下圖顯示以 data.all 為基礎的資料網格參考架構。

具有中央控管帳戶和 data.all 的多個生產者和消費者帳戶。

架構圖包含下列元件：

  1. 資料生產者會在 data.all 前端提供的目錄中發佈資料產品。data.all 的前端和後端託管在中央控管帳戶中。

  2. 資料消費者 （使用者） 使用其單一登入或 Amazon Cognito 登入資料來登入 data.all 前端。他們可以瀏覽目錄並搜尋他們感興趣的資料產品。他們可以篩選搜尋結果。

  3. 屬於消費者團隊的資料使用者找到他們感興趣的資料產品後，他們可以請求存取資料。Data.all 具有內建的存取管理工作流程，資料擁有者會使用此工作流程來檢閱和核准存取請求。

  4. 消費者團隊可以使用資料來強化 AI/ML、分析和報告，以及 ETL 使用案例。

AWS Lake Formation

如果您想要從頭開始建置自訂資料網格解決方案並進行管理，請考慮使用 AWS Lake Formation。Lake Formation 可協助您集中管理、保護和全域共用資料，以進行分析和機器學習。下圖顯示以 Lake Formation 為基礎的資料網格參考架構。

具有中央控管帳戶和 Lake Formation 的多個生產者和消費者帳戶

架構圖包含下列元件：

  1. 資料生產者 AWS Glue Data Catalog 會在中央控管帳戶的 中發佈資料產品。 AWS Lake Formation 管理對中央 Data Catalog 實體的存取。

  2. 授予存取權後，消費者團隊可以使用資料來授權其 AI/ML、分析和報告，以及 ETL 使用案例。