View a markdown version of this page

使用联邦航空管理局 SWIM 数据湖 - 使用联邦航空管理局 SWIM 数据湖
FAA SWIM 数据湖图延伸阅读图表历史

本文属于机器翻译版本。若本译文内容与英语原文存在差异，则一律以英文原文为准。

使用联邦航空管理局 SWIM 数据湖

发布日期：2021 年 3 月 10 日 (图表历史)

美国联邦航空管理局 (FAA) 全系统信息管理 (SWIM) 数据湖提供航空飞行和天气信息的实时交付。这有助于航空公司优化运营。

该架构通过一系列AWS Lambda函数和亚马逊 Kinesis 数据流处理 SWIM 数据。它转换、丰富和分析飞行数据。然后，您可以使用 Amazon Quick Sight 对结果进行可视化或通过自定义应用程序使用结果。

FAA SWIM 数据湖图

使用亚马逊 Kinesis 的 FAA SWIM 数据湖架构 AWS Lambda、和。 AWS Glue

以下步骤描述了架构：

  1. SWIM 消费者应用程序消耗 SWIM 数据。它将数据发送到 Kinesis 数据流。

  2. Lambda 将 XML 数据转换为 JSON 格式。

  3. Lambda 简化了下游处理的 JSON 数据。

  4. Lambda 筛选客户的航班数据。它向 Kinesis 数据流写入一个副本，将另一个副本写入后续的 Lambda 函数。

  5. Lambda 使用操作或外部数据集丰富了客户的航班消息。

  6. Lambda 向亚马逊 Auror a 写入了丰富的飞行数据。

  7. Lambda 将丰富的飞行数据写入 Kinesis 数据流。

  8. AWS Glue提取、转换和加载 (ETL) 任务使用适当的分区将丰富的飞行数据从 JSON 转换到 Parquet。这些作业将 Parquet 文件注册为 AWS Glue 数据目录中的外部表。

  9. 雅典娜、亚马逊 Redshift 和亚马逊 Aurora 等服务会分析经过转换和丰富的飞行数据。

  10. Quick 、自定义应用程序和 API 等服务会消耗分析的数据。

  11. AWS Glue 数据目录存储数据库和表。它们代表了亚马逊 S3、Amazon Aurora 和 Amazon Redshift 中的原始、经过转换、丰富和分析的数据集。

延伸阅读

有关更多信息，请参阅以下资源：

图表历史

要接收有关此参考架构图的更新，请订阅 RSS 提要。

变更说明日期

初次发布

参考架构图首次发布。

2021 年 3 月 10 日

RSS 订阅要求

要订阅 RSS 更新，必须为正在使用的浏览器启用 RSS 插件。