安装 Python 依赖项 - Amazon Managed Workflows for Apache Airflow
先决条件工作原理Python 依赖项概述创建 requirements.txt 文件上传 requirements.txt 到 Amazon S3在环境中安装 Python 依赖项访问您的日志 requirements.txt接下来做什么？

本文属于机器翻译版本。若本译文内容与英语原文存在差异，则一律以英文原文为准。

安装 Python 依赖项

Python 依赖关系是指在 Apache Airflow 的亚马逊托管工作流环境中为你的 Apache Airflow 版本安装的 Apache Airflow 基础安装中未包含的任何包或发行版。本主题介绍使用亚马逊 S3 存储桶中的文件在亚马逊 MWAA 环境中安装 Apache Airflow Python 依赖项requirements.txt的步骤。

先决条件

在完成本页上的步骤之前，您需要具备以下条件。

工作原理

在 Amazon MWAA 上，您可以安装所有 Python 依赖项，方法是将 requirements.txt 文件上传到 Amazon S3 存储桶，然后在每次更新文件时在 Amazon MWAA 控制台上指定该文件的版本。Amazon MWAA 运行 pip3 install -r requirements.txt，以在 Apache Airflow 计划程序和每个工作线程上安装 Python 依赖项。

要在环境中运行 Python 依赖项，您必须做三件事：

  1. 在本地创建 requirements.txt 文件。

  2. 将本地 requirements.txt 上传到 Amazon S3 中的存储桶。

  3. 在 Amazon MWAA 控制台上的要求文件字段中指定此文件的版本。

注意

如果这是您首次创建 requirements.txt 并将其上传到 Amazon S3 存储桶，则还需要在 Amazon MWAA 控制台上指定文件路径。您只需要完成此步骤一次。

Python 依赖项概述

你可以从 Python 包索引 PyPi (.org)、Python wheels () 或 Python whe .whl els () 或环境中兼容私有的 /Pep-503 存储库上 PyPi托管的 Python 依赖项中安装 Apache Airflow 额外内容和其他 Python 依赖项。

Python 依赖项位置和大小限制

Apache Airflow 调度程序和工作人员在文件中搜索软件包requirements.txt，然后将软件包安装在环境中。/usr/local/airflow/.local/bin

  • 大小限制。我们建议使用 requirements.txt 文件，以引用组合大小小于 1 GB 的库。Amazon MWAA 需要安装的库越多，环境上的启动时间就越长。尽管 Amazon MWAA 没有明确限制安装的库的大小，但如果无法在十分钟内安装依赖项，Fargate 服务将超时并尝试将环境回滚到稳定状态。

创建 requirements.txt 文件

以下步骤描述了在本地创建 plugins.zip 文件时我们建议的步骤。

步骤 1：使用 Amazon MWAA CLI 实用工具测试 Python 依赖项

  • 命令行界面 (CLI) 实用工具可在本地复制 Amazon MWAA 环境。

  • CLI 在本地构建 Docker 容器镜像，类似于 Amazon MWAA 生产镜像。这允许您在部署到亚马逊 MWAA 之前运行本地 Apache Airflow 环境来开发和 DAGs测试自定义插件和依赖项。

  • 要运行 CLI，请参阅aws-mwaa-docker-images上的 GitHub。

步骤 2：创建 requirements.txt

下一节介绍如何在 requirements.txt 文件中指定 Python 程序包索引中的 Python 依赖项。

Apache Airflow v3

  1. 本地测试。在创建 requirements.txt 文件之前，以迭代方式添加其他库以找到程序包及其版本的正确组合。要运行 Amazon MWAA CLI 实用程序，请参阅上的。aws-mwaa-docker-images GitHub

  2. 查看 Apache Airflow 程序包的 Extras。要访问亚马逊 MWAA 上为 Apache Airflow v3 安装的软件包列表，请参阅网站。aws-mwaa-docker-images requirements.txt GitHub

  3. 添加约束语句。在文件顶部添加 Apache Airflow v3 环境的约束文件。requirements.txtApache Airflow 约束文件指定了 Apache Airflow 发布时可用的提供程序版本。

    在以下示例中，用环境的版本号替换 {environment-version} 以及用与环境兼容的 Python 版本替换 {Python-version}。

    有关与你的 Apache Airflow 环境兼容的 Python 版本的信息，请参阅 Apache Airflow 版本。

    --constraint "https://raw.githubusercontent.com/apache/airflow/constraints-{Airflow-version}/constraints-{Python-version}.txt"

    如果约束文件确定 xyz==1.0 程序包与环境中的其他程序包不兼容，则为了防止将不兼容的库安装到环境中，pip3 install 将会失败。如果任何软件包安装失败，则可以在日志的相应日志流中访问每个 Apache Airflow 组件（调度程序、工作程序和 Web 服务器）的错误日志。 CloudWatch 有关日志类型的更多信息，请参阅访问 Amazon 中的 Airflow 日志 CloudWatch。

  4. Apache Airflow 程序包。添加程序包 Extras及其版本 (==)。这有助于防止在环境中安装同名但版本不同的程序包。

    apache-airflow[package-extra]==2.5.1

  5. Python 库。在 requirements.txt 文件中添加程序包名称和版本 (==)。这有助于防止自动应用来自 PyPi.org 的 future 更新。

    library == version
    例 boto3 和 psycopg2-binary

    此示例仅用于演示目的。boto 和 psycopg2-二进制库包含在 Apache Airflow v3 的基本安装中，无需在文件中指定。requirements.txt

    boto3==1.17.54
boto==2.49.0
botocore==1.20.54
psycopg2-binary==2.8.6

    如果指定的包没有版本，则 Amazon MWAA 会安装.org 中最新版本的PyPi软件包。此版本可能与您的其他软件包冲突requirements.txt。

Apache Airflow v2

  1. 本地测试。在创建 requirements.txt 文件之前，以迭代方式添加其他库以找到程序包及其版本的正确组合。要运行 Amazon MWAA CLI 实用程序，请参阅上的。aws-mwaa-docker-images GitHub

  2. 查看 Apache Airflow 程序包的 Extras。要访问亚马逊 MWAA 上为 Apache Airflow v2 安装的软件包列表，请参阅网站。aws-mwaa-docker-images requirements.txt GitHub

  3. 添加约束语句。在 requirements.txt 文件顶部添加 Apache Airflow v2 环境的约束文件。Apache Airflow 约束文件指定了 Apache Airflow 发布时可用的提供程序版本。

    从 Apache Airflow v2.7.2 开始，要求文件必须包含一条 --constraint 语句。如果您未提供约束条件，Amazon MWAA 将为您指定一个约束条件，以确保您的要求中列出的程序包与您正在使用的 Apache Airflow 版本兼容。

    在以下示例中，用环境的版本号替换 {environment-version} 以及用与环境兼容的 Python 版本替换 {Python-version}。

    有关与你的 Apache Airflow 环境兼容的 Python 版本的信息，请参阅 Apache Airflow 版本。

    --constraint "https://raw.githubusercontent.com/apache/airflow/constraints-{Airflow-version}/constraints-{Python-version}.txt"

    如果约束文件确定 xyz==1.0 程序包与环境中的其他程序包不兼容，则为了防止将不兼容的库安装到环境中，pip3 install 将会失败。如果任何软件包安装失败，则可以在日志的相应日志流中访问每个 Apache Airflow 组件（调度程序、工作程序和 Web 服务器）的错误日志。CloudWatch 有关日志类型的更多信息，请参阅访问 Amazon 中的 Airflow 日志 CloudWatch。

  4. Apache Airflow 程序包。添加程序包 Extras及其版本 (==)。这有助于防止在环境中安装同名但版本不同的程序包。

    apache-airflow[package-extra]==2.5.1

  5. Python 库。在 requirements.txt 文件中添加程序包名称和版本 (==)。这有助于防止自动应用来自 PyPi.org 的 future 更新。

    library == version
    例 boto3 和 psycopg2-binary

    此示例仅用于演示目的。boto 和 psycopg2-binary 库包含在 Apache Airflow v2 基础版安装中，无需在 requirements.txt 文件中指定。

    boto3==1.17.54
boto==2.49.0
botocore==1.20.54
psycopg2-binary==2.8.6

    如果指定的包没有版本，则 Amazon MWAA 会安装.org 中最新版本的PyPi软件包。此版本可能与您的其他软件包冲突requirements.txt。

上传 requirements.txt 到 Amazon S3

您可以使用 Amazon S3 控制台或 AWS Command Line Interface (AWS CLI) 将requirements.txt文件上传到您的 Amazon S3 存储桶。

使用 AWS CLI

AWS Command Line Interface (AWS CLI) 是一个开源工具，可让您使用命令行 shell 中的命令与 AWS 服务进行交互。要完成本节中的步骤，您需要以下满足以下条件：

要使用上传 AWS CLI

  1. 以下示例列出所有 Amazon S3 存储桶。

    aws s3 ls

  2. 使用以下命令列出 Amazon S3 存储桶中适合环境的文件和文件夹。

    aws s3 ls s3://YOUR_S3_BUCKET_NAME

  3. 以下命令将 requirements.txt 文件上传到 Amazon S3 存储桶。

    aws s3 cp requirements.txt s3://amzn-s3-demo-bucket/requirements.txt

使用 Amazon S3 控制台

Amazon S3 控制台是一个基于 Web 的UI ，允许您创建和管理 Amazon S3 桶中的资源。

要使用 Amazon S3 控制台上传，请执行以下操作

  1. 在 Amazon MWAA 控制台上打开环境页面。

  2. 选择环境。

  3. 在 S3 窗格的 DAG 代码中选择 S 3 存储桶链接，在控制台中打开您的存储桶。

  4. 选择上传。

  5. 选择 添加文件。

  6. 选择 requirements.txt 的本地副本，选择上传。

在环境中安装 Python 依赖项

本节介绍如何安装您上传到 Amazon S3 存储桶的依赖项，方法是指定 requirements.txt 文件的路径，并在每次更新时指定 requirements.txt 文件的版本。

在 Amazon MWAA 控制台上指定 requirements.txt 的路径（第一次）

如果这是您首次创建 requirements.txt 并将其上传到 Amazon S3 存储桶，则还需要在 Amazon MWAA 控制台上指定文件路径。您只需要完成此步骤一次。

  1. 在 Amazon MWAA 控制台上打开环境页面。

  2. 选择环境。

  3. 选择编辑。

  4. 在 Amazon S3 窗格的 DAG 代码上，选择需求文件-可选字段旁边的浏览 S3。

  5. 选择 Amazon S3 存储桶中的 requirements.txt 文件。

  6. 选择选择。

  7. 选择下一步、更新环境。

您可以在环境完成更新后立即开始使用新程序包。

在 Amazon MWAA 控制台上指定 requirements.txt 的版本

每次在 Amazon S3 存储桶中上传 requirements.txt 的新版本时，都需要在 Amazon MWAA 控制台上指定 requirements.txt 文件的版本。

  1. 在 Amazon MWAA 控制台上打开环境页面。

  2. 选择环境。

  3. 选择编辑。

  4. 在 Amazon S3 中的 DAG 代码窗格中，从下拉列表中选择 requirements.txt 的版本。

  5. 选择下一步、更新环境。

您可以在环境完成更新后立即开始使用新程序包。

访问您的日志 requirements.txt

您可以查看 Apache Airflow 日志，以便调度程序安排您的工作流程和解析您的文件夹。dags以下步骤介绍如何在 Amazon MWAA 控制台上打开计划程序的日志组，以及如何在日志控制台上访问 Apache Airflow 日志。 CloudWatch

访问的日志 requirements.txt

  1. 在 Amazon MWAA 控制台上打开环境页面。

  2. 选择环境。

  3. 在监控窗格上选择 Airflow 计划程序日志组。

  4. 在日志流中选择 requirements_install_ip 日志。

  5. 请参阅环境中安装的软件包列表，网址为/usr/local/airflow/.local/bin。例如：

    Collecting appdirs==1.4.4 (from -r /usr/local/airflow/.local/bin (line 1))
Downloading https://files.pythonhosted.org/packages/3b/00/2344469e2084fb28kjdsfiuyweb47389789vxbmnbjhsdgf5463acd6cf5e3db69324/appdirs-1.4.4-py2.py3-none-any.whl  
Collecting astroid==2.4.2 (from -r /usr/local/airflow/.local/bin (line 2))

  6. 查看程序包列表以及其中任何程序包在安装过程中是否遇到错误。如果出现问题，您可能会收到类似以下内容的错误：

    2021-03-05T14:34:42.731-07:00
No matching distribution found for LibraryName==1.0.0 (from -r /usr/local/airflow/.local/bin (line 4))
No matching distribution found for LibraryName==1.0.0 (from -r /usr/local/airflow/.local/bin (line 4))

接下来做什么？

使用aws-mwaa-docker-images在本地测试你的 DAGs自定义插件和 Python 依赖关系 GitHub。