AWS 図の最新のデータ分析リファレンスアーキテクチャ

データは、エンタープライズ、SaaS アプリケーション、エッジデバイス、ログ、ストリーミングメディア、フラットファイル、ソーシャルネットワーク全体の複数のデータソースから収集されます。

データソースのタイプ、 AWS Database Migration Service (AWS DMS)、AWS DataSync、Amazon Kinesis、Amazon Managed Streaming for Apache Kafka、AWS IoT Core、Amazon AppFlow に基づいて、データをデータレイクにAWS Transfer Family取り込みます AWS。

AWS Data Exchange は、サードパーティーのデータをデータレイクに統合します。

AWS Lake Formation はスケーラブルなデータレイクを構築し、Amazon S3 はデータレイクストレージとして使用されます。 は一元化されたメタデータリポジトリAWS Glue Data Catalogです。

AWS Lake Formation また、統合ガバナンスにより、セキュリティ、アクセスコントロール、監査証跡を一元管理できます。

AWS Glue および は、複数のデータストアとデータレイク間でデータをAWS Glue DataBrewカタログ化、変換、強化、移動、レプリケートします。

Amazon Managed Service for Apache Flink は、ストリーミングデータをリアルタイムで変換および分析するために使用されます。

Quick は、機械学習 (ML) を活用したビジネスインテリジェンスを提供します。

Amazon OpenSearch Service は運用分析を提供します。

Amazon Redshift はクラウドデータウェアハウスです。フェデレーティッドクエリを使用すると、運用データベース、データウェアハウス、データレイク間でデータをクエリおよび分析できます。

Amazon EMR は、オープンソースツールを使用して大量のデータを処理するためのクラウドビッグデータプラットフォームを提供します。

Amazon SageMaker AI および AWS AI サービスは、ML モデルを構築、トレーニング、デプロイし、アプリケーションにインテリジェンスを追加できます。

Amazon Redshift Spectrum と Amazon Athena は、インタラクティブなクエリ、分析、処理機能を有効にします。Athena は、データとAWS Glueデータカタログの Apache Iceberg をサポートしています。

Amazon Aurora は、グローバル規模で高いパフォーマンスと可用性を提供します。Aurora は Amazon Redshift とのゼロ ETL 統合をサポートしています。