本文属于机器翻译版本。若本译文内容与英语原文存在差异，则一律以英文原文为准。

自动化和访问控制

自动化

管线自动化是现代以数据为中心的架构设计的重要组成部分。为了成功运行您的生产系统，我们建议您使用一个数据管线，该管线具有启动触发器、连接步骤以及用于分离失败和通过阶段的机制。记录故障也很重要，但不能妨碍 ETL 流程的其余部分。

您可以使用 AWS Glue 工作流程来创建管线。该管道支持所有 AWS Glue 任务、Amazon EventBridge 触发器和爬虫。您也可以从头开始创建工作流程，也可以使用 AWS Glue 蓝图创建工作流程。蓝图提供了一个框架，可帮助您开始使用可重复使用的使用案例。例如，这可能是用于将 Amazon S3 中的数据导入到 DynamoDB 表的工作流程。您甚至可以使用参数使蓝图可重复使用。

如果数据管线涉及 AWS Glue 之外的更多服务，那么我们建议您使用 AWS Step Functions 作为编排工具。Step Functions 可以创建自动工作流程，包括安全事件响应的手动批准步骤。您还可以使用 Step Functions 进行大规模的并行处理或顺序处理。

最后，我们建议使用EventBridge在日程安排、事件或按需插入触发器。您也可以使用 EventBridge 创建带过滤器的管道。

访问控制

我们建议您使用 AWS Identity and Access Management（IAM）进行访问控制。IAM 允许您指定谁或什么可以访问 AWS 中的服务和资源，并集中管理精细权限。生命周期的每个阶段（从存储到自动化再到使用处理工具）都需要正确的访问权限。在处理以数据为中心的使用案例时，您可以使用 AWS Lake Formation 来简化为各种分析以及跨账户提供数据的流程。