View a markdown version of this page

使用聯邦航空管理局 SWIM Data Lake - 使用聯邦航空管理局 SWIM Data Lake

本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。

使用聯邦航空管理局 SWIM Data Lake

發佈日期:2021 年 3 月 10 日 (圖表歷史記錄)

美國聯邦航空管理局 (FAA) 系統整體資訊管理 (SWIM) Data Lake 提供航空飛行和天氣資訊的即時交付。這有助於航空公司將營運最佳化。

此架構會透過一系列AWS Lambda函數和 Amazon Kinesis Data Streams 來處理 SWIM 資料。它會轉換、擴充和分析航班資料。然後,您可以使用 Amazon Quick Sight 視覺化結果,或透過自訂應用程式使用結果。

FAA SWIM 資料湖圖

使用 Amazon Kinesis AWS Lambda和 的 FAA SWIM 資料湖架構 AWS Glue。

下列步驟說明 架構:

  1. SWIM 消費者應用程式會使用 SWIM 資料。它會將資料傳送至 Kinesis Data Stream。

  2. Lambda 會將 XML 資料轉換為 JSON 格式。

  3. Lambda 簡化下游處理的 JSON 資料。

  4. Lambda 會篩選客戶航班資料。它會將一個副本寫入 Kinesis Data Stream,並將第二個副本寫入後續的 Lambda 函數。

  5. Lambda 會使用操作或外部資料集豐富客戶航班訊息。

  6. Lambda 會將豐富的航班資料寫入 Amazon Aurora。

  7. Lambda 會將豐富的飛行資料寫入 Kinesis Data Stream。

  8. AWS Glue 擷取、轉換和載入 (ETL) 任務會使用適當的分割區,將豐富的航班資料從 JSON 轉換為 Parquet。任務會將 Parquet 檔案註冊為 AWS Glue Data Catalog 中的外部資料表。

  9. Athena、Amazon Redshift 和 Amazon Aurora 等服務會分析轉換和豐富的航班資料。

  10. 快速、自訂應用程式和 APIs等服務會使用分析的資料。

  11. AWS Glue Data Catalog 存放資料庫和資料表。這些代表 Amazon S3、Amazon Aurora 和 Amazon Redshift 中的原始、轉換、擴充和分析資料集。

深入閱讀

如需詳細資訊,請參閱下列資源:

圖表歷史記錄

若要接收有關此參考架構圖表的更新,請訂閱 RSS 摘要。

變更描述日期

初次出版

首先發佈參考架構圖。

2021 年 3 月 10 日

RSS 訂閱需求

若要訂閱 RSS 更新,您必須為正在使用的瀏覽器啟用 RSS 外掛程式。