Amazon DataZone を使用した Data Mesh リファレンスアーキテクチャ

データベース、ファイル共有、エッジデバイス、ログ、ソーシャルネットワーク、SaaS アプリケーション、ストリーミングメディアを通じて、エンタープライズ全体のソースからデータを収集します。

ソースシステムとエンドユーザーの要件に基づいて、Amazon AppFlow、AWS Database Migration Service、Amazon Kinesis、AWS IoT Core、Amazon Managed Streaming for を使用して raw データを取り込みますApache Kafka。

プロデューサーアカウントで、AWS Glue を使用して raw データを変換します。AWS Glue データカタログにメタデータを保存し、AWS Glue Data Quality を使用してデータ品質を測定し、データソースジョブを使用してAmazon DataZoneカタログ内のアセットとして Amazon S3、Amazon Redshift、Amazon RDS、およびサードパーティーソースにデータを登録します。

中央ガバナンスアカウントは、Amazon DataZoneドメインと関連するデータポータルをホストします。データプロデューサーとコンシューマーの AWS アカウントをAmazon DataZoneドメインに関連付け、関連するドメインユニットの下にプロジェクトを作成します。

エンドユーザーは、IAM 認証情報または を介したシングルサインオン (SSO) を使用してAmazon DataZoneデータポータルにログインしますhttps://docs.aws.amazon.com/singlesignon/latest/userguide/what-is.html。データ品質、ビジネスメタデータ、技術メタデータなどのアセット情報を検索、フィルタリング、表示します。

エンドユーザーは、目的のアセットを見つけると、 のサブスクリプション機能を使用してアクセスをリクエストしますAmazon DataZone。アセット所有者は、有効性に基づいてリクエストを承認または拒否します。

サブスクリプションリクエストが付与および受理されたら、SageMaker AI を使用した AI/ML モデル開発、Athena、Amazon Redshift、および Quick を使用した分析とレポートのために、コンシューマーアカウントのアセットにアクセスします。