翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

自動化とアクセスコントロール

オートメーション

パイプラインの自動化は、最新のデータ中心アーキテクチャ設計の重要な部分です。本番稼働システムを正常に実行するには、開始トリガー、接続ステップ、不合格になったステージと合格したステージを分離するメカニズムを備えたデータパイプラインを用意することをお勧めします。また、残りの ETL プロセスを妨げずに障害をログに記録することも重要です。

AWS Glue ワークフローを使用してパイプラインを作成できます。パイプラインは、すべての AWS Glue ジョブ、Amazon EventBridge トリガー、およびクローラーをサポートします。ワークフローは、最初から作成することも、AWS Glue ブループリントを使用して作成することもできます。ブループリントは、再利用可能なユースケースの使用を開始するのに役立つフレームワークを提供します。例えば、Amazon S3 から DynamoDB テーブルにデータをインポートするワークフローが考えられます。パラメータを使用して、ブループリントを再利用可能にすることもできます。

データパイプラインに AWS Glue 以外のサービスが含まれる場合は、オーケストレーターとして AWS Step Functions を使用することをお勧めします。Step Functions は、セキュリティインシデント対応の手動承認ステップなど、自動化されたワークフローを作成できます。Step Functions は、大規模な並列処理やシーケンシャル処理にも使用できます。

最後に、EventBridge を使用して、スケジュール、イベント、またはオンデマンドに基づくトリガーを挿入することをお勧めします。EventBridge を使用すると、フィルターを含むパイプラインを作成することもできます。

アクセスコントロール

アクセスコントロールには AWS Identity and Access Management (IAM) を使用することをお勧めします。IAM を使用すると、AWS のサービスとリソースにアクセスできるユーザーまたは内容を指定し、きめ細かいアクセス許可を一元管理できます。ストレージから自動化、処理ツールの使用まで、ライフサイクルのすべての段階で、適切なアクセス許可が必要です。データ中心のユースケースでは、AWS Lake Formation を使用して、幅広い分析やアカウント間でデータを利用できるようにするプロセスを簡素化できます。