开始使用 Amazon MWAA - Amazon Managed Workflows for Apache Airflow

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

开始使用 Amazon MWAA

Apache Airflow 的亚马逊托管工作流程使用亚马逊 S3 存储桶中的亚马逊 VPC、DAG 文件和支持文件来创建环境。本章介绍开始使用 Amazon MWAA 所需的先决条件和 AWS 资源。

先决条件

要创建 Amazon MWAA 环境,请确保您拥有创建所需 AWS 资源的权限。

  • AWS 账户— 有权 AWS 账户 使用 Amazon MWAA 以及您的环境所使用的 AWS 服务和资源。

关于本指南

本指南涵盖了您将要创建 AWS 的基础架构和资源。

  • Amazon VPC — Amazon MWAA 环境所需的 Amazon VPC 网络组件。您可以配置满足这些要求(高级)的现有 VPC,如中所述关于在 Amazon MWAA 上联网,也可以创建 VPC 和网络组件(如中所定义)创建 VPC 网络

  • Amazon S3 存储桶 — 用于存储您的文件 DAGs 和相关文件(例如plugins.zip和)的 Amazon S3 存储桶requirements.txt。Amazon S3 存储桶必须配置为阻止所有公开访问,并启用存储桶版本控制,如 为 Amazon MWAA 创建 Amazon S3 存储桶。 中所定义。

  • Amazon MWAA 环境 — 配置了 Amazon S3 存储桶的位置、DAG 代码和任何自定义插件或 Python 依赖项的路径以及 Amazon VPC 及其安全组,如 创建 Amazon MWAA 环境 中所定义。

开始前的准备工作

要创建 Amazon MWAA 环境,您可以在创建环境之前采取其他步骤来创建和配置其他 AWS 资源。

要创建环境,您需要具备以下条件:

  • AWS KMS key — 用于在您的环境中进行数据加密的密 AWS KMS 钥。您可以在创建环境时在 Amazon MWAA 控制台上选择默认选项来创建由用户AWS拥有的密钥,也可以指定现有客户管理的密钥,该密钥具有访问您的环境所使用的其他 AWS 服务的权限(高级)。要了解更多信息,请参阅使用客户管理的密钥进行加密

  • 执行角色 — 允许 Amazon MWAA 访问您环境中的 AWS 资源的执行角色。创建环境时,您可以在 Amazon MWAA 控制台上选择默认选项来创建执行角色。要了解更多信息,请参阅Amazon MWAA 执行角色

  • VPC 安全组 — 一个 VPC 安全组,允许 Amazon MWAA 访问您的 VPC 网络中的其他 AWS 资源。您可以在创建环境时选择 Amazon MWAA 控制台上的默认选项来创建安全组,或者为安全组提供相应的入站和出站规则(高级)。要了解更多信息,请参阅Amazon MWAA 上的 VPC 安全

可用区

亚马逊 MWAA 有以下几种版本。 AWS 区域要了解有关每个区域(例如默认启用或禁用的区域)的更多信息,请参阅AWS 区域

代码 Name
us-east-1 美国东部(弗吉尼亚州北部)
us-east-2 美国东部(俄亥俄州)
us-west-1 美国西部(加利福尼亚北部)
us-west-2 美国西部(俄勒冈州)
af-south-1 非洲(开普敦)
ap-east-1 亚太地区(香港)
ap-south-2 亚太地区(海得拉巴)
ap-southeast-3 亚太地区(雅加达)
ap-southeast-5 亚太地区(马来西亚)
ap-southeast-4 亚太地区(墨尔本)
ap-south-1 亚太地区(孟买)
ap-northeast-3 亚太地区(大阪)
ap-northeast-2 亚太地区(首尔)
ap-southeast-1 亚太地区(新加坡)
ap-southeast-2 亚太地区(悉尼)
ap-northeast-1 亚太地区(东京)
ca-central-1 加拿大(中部)
ca-west-1 加拿大西部(卡尔加里)
eu-central-1 欧洲地区(法兰克福)
eu-west-1 欧洲地区(爱尔兰)
eu-west-2 欧洲地区(伦敦)
eu-south-1 欧洲地区(米兰)
eu-west-3 欧洲地区(巴黎)
eu-south-2 欧洲地区(西班牙)
eu-north-1 欧洲地区(斯德哥尔摩)
eu-central-2 欧洲(苏黎世)
il-central-1 以色列(特拉维夫)
me-south-1 中东(巴林)
me-central-1 中东(阿联酋)
sa-east-1 南美洲(圣保罗)

接下来做什么?