View a markdown version of this page

Federal™ Administration SWIM Data Lake 사용 - Federal™ Administration SWIM Data Lake 사용
FAA SWIM 데이터 레이크 다이어그램참조 자료다이어그램 기록

기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.

Federal™ Administration SWIM Data Lake 사용

게시일: 2021년 3월 10일(다이어그램 기록)

Federal™ Administration(FAA) System Wide Information Management(SWIM) Data Lake는 항공 비행 및 날씨 정보를 실시간으로 제공합니다. 이를 통해 항공사는 운영을 최적화할 수 있습니다.

이 아키텍처는 일련의 AWS Lambda 함수와 Amazon Kinesis Data Streams를 통해 SWIM 데이터를 처리합니다. 비행 데이터를 변환, 보강 및 분석합니다. 그런 다음 Amazon Quick Sight를 사용하여 결과를 시각화하거나 사용자 지정 애플리케이션을 통해 사용할 수 있습니다.

FAA SWIM 데이터 레이크 다이어그램

Amazon Kinesis AWS Lambda, 및를 사용한 FAA SWIM 데이터 레이크용 아키텍처 AWS Glue.

다음 단계에서는 아키텍처를 설명합니다.

  1. SWIM 소비자 앱은 SWIM 데이터를 사용합니다. Kinesis Data Stream으로 데이터를 전송합니다.

  2. Lambda는 XML 데이터를 JSON 형식으로 변환합니다.

  3. Lambda는 다운스트림 처리를 위해 JSON 데이터를 간소화합니다.

  4. Lambda는 고객 비행 데이터를 필터링합니다. Kinesis Data Stream에 복사본 하나를 쓰고 후속 Lambda 함수에 두 번째 복사본을 씁니다.

  5. Lambda는 고객 비행 메시지를 운영 또는 외부 데이터 세트로 보강합니다.

  6. Lambda는 Amazon Aurora에 보강된 비행 데이터를 씁니다.

  7. Lambda는 보강된 비행 데이터를 Kinesis Data Stream에 씁니다.

  8. AWS Glue ETL(추출, 변환 및 로드) 작업은 적절한 파티션을 사용하여 보강된 비행 데이터를 JSON에서 Parquet으로 변환합니다. 작업은 Parquet 파일을 AWS Glue Data Catalog의 외부 테이블로 등록합니다.

  9. Athena, Amazon Redshift, Amazon Aurora와 같은 서비스는 변환되고 보강된 비행 데이터를 분석합니다.

  10. Quick, 사용자 지정 애플리케이션 및 APIs와 같은 서비스는 분석된 데이터를 사용합니다.

  11. AWS Glue 데이터 카탈로그는 데이터베이스와 테이블을 저장합니다. 이는 Amazon Amazon S3 Aurora 및 Amazon Redshift에서 원시, 변환, 보강 및 분석된 데이터 세트를 나타냅니다.

참조 자료

자세한 내용은 다음 리소스를 참조하세요.

다이어그램 기록

이 참조 아키텍처 다이어그램에 대한 업데이트를 받으려면 RSS 피드를 구독하세요.

변경 사항설명날짜

최초 게시

참조 아키텍처 다이어그램이 처음 게시되었습니다.

2021년 3월 10일

RSS 구독 요구 사항

RSS 업데이트를 구독하려면 사용 중인 브라우저에 대해 RSS 플러그인이 활성화되어 있어야 합니다.