Amazon MWAA 환경에 설치된 Apache Airflow 공급자 패키지 - Amazon Managed Workflows for Apache Airflow

Amazon MWAA 환경에 설치된 Apache Airflow 공급자 패키지

이 페이지에는 모든 지원되는 Apache Airflow 환경에 대해 Amazon MWAA에서 설치한 Apache Airflow 공급자 패키지가 나열되어 있습니다. 이러한 패키지에 대한 자세한 내용은 패키지 추가 항목에 대한 Apache Airflow 참조를 참조하세요.

참고

다른 Python 라이브러리 설치로 인해 CloudWatch 로깅과의 호환성이 재정의되지 않도록 하기 위해 Amazon MWAA는 pip3 install -r requirements.txt 실행 후 Watchtower 버전 2.0.1을 설치합니다.

제약 조건 파일

Apache Airflow v2.7.2부터 요구 사항 파일에 --constraint 문이 포함되어야 합니다. 제약 조건을 제공하지 않으면 Amazon MWAA에서 요구 사항에 나열된 패키지가 사용 중인 Apache Airway 버전과 호환되도록 제약 조건을 지정합니다.

Apache Airflow 제약 조건 파일은 Apache Airflow 릴리스 당시 사용할 수 있는 공급자 버전을 지정합니다. 그러나 대부분의 경우 최신 공급자가 해당 버전의 Apache Airflow와 호환됩니다. 제약 조건을 사용해야 하므로 새 버전의 공급자 패키지를 지정하려면 특정 공급자 버전에 대한 제약 조건 파일을 수정할 수 있습니다.

  1. GitHub에서 버전별 제약 조건 파일(예: https://raw.githubusercontent.com/apache/airflow/constraints-2.7.2/constraints-3.11.txt)을 다운로드합니다('2.7.2'를 사용하려는 버전으로 대체).

  2. 수정된 제약 조건 파일을 Amazon MWAA 환경의 Amazon S3 dags 폴더에 저장합니다(예: constraints-3.11-updated.txt).

  3. 다음에 나열된 바와 같이 요구 사항을 지정하세요.

    --constraint "/usr/local/airflow/dags/constraints-3.11-updated.txt" apache-airflow-providers-amazon==version-number
    참고

    프라이빗 웹 서버를 사용하는 경우 aws-mwaa-docker-images를 사용하여 필수 라이브러리를 WHL 파일로 패키징하는 것이 좋습니다.

버전별 공급자 패키지

공급자 패키지를 설치하면 Apache Airflow UI에서 연결 유형에 액세스할 수 있습니다. 또한 requirements.txt 파일에서 이러한 패키지를 Python 종속성으로 지정할 필요가 없습니다. 이 페이지에는 모든 지원되는 Apache Airflow 환경에 대해 Amazon MWAA에서 설치한 Apache Airflow 공급자 패키지가 나열되어 있습니다.

참고

Apache Airflow v2 이상의 경우, Amazon MWAA는 다른 Python 라이브러리 설치로 인해 CloudWatch 로깅과의 호환성이 무시되지 않도록 하기 위해 pip3 install -r requirements.txt을(를) 실행 후 Watchtower 버전 2.0.1을 설치합니다.

지원되는 최신 버전을 apache-airflow-providers-amazon을(를) 지정하여 이 공급자를 업그레이드할 수 있습니다.

지원되는 Apache Airflow 버전:

v3.0.6
v2.10.3
v2.10.1
v2.9.2
v2.8.1
v2.7.2
v2.6.3
v2.5.1
v2.4.3