資料收集 - AWS 方案指引

本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。

資料收集

您可以從 AWS 內的各種來源收集資料,但請務必為您的使用案例選擇正確的資料收集工具。下圖顯示資料收集階段如何符合資料工程自動化和存取控制生命週期。

資料收集圖表

AWS 提供下列資料收集工具:

  • Amazon Kinesis 可協助您收集串流資料。Kinesis 也提供無縫整合和處理功能。

  • AWS Database Migration Service (AWS DMS) 可協助您從關聯式資料庫擷取資料。AWS DMS 具有在 AWS 上託管的現場部署和資料庫服務之間的組態選項和直接連線,例如 Amazon Simple Storage Service (Amazon S3)。

  • AWS Glue 是一種擷取、轉換和載入 (ETL) 工具,可協助您擷取非結構化資料。

使用 Amazon S3 進行儲存,收集非結構化或半結構化資料有數種使用案例。例如,製造站點的資料收集使用案例可能需要以 XML 檔案擷取機器歷史記錄資料的歷史資料、以 JSON 檔案擷取事件資料,以及從關聯式資料庫購買資料。此使用案例也可能要求必須聯結所有三個資料來源。

在開始資料擷取程序之前,建議您了解必須擷取哪些資料,然後選擇正確的工具來收集此資料。