Amazon MWAA 환경에 설치된 Apache Airflow 공급자 패키지
이 페이지에는 모든 지원되는 Apache Airflow 환경에 대해 Amazon MWAA에서 설치한 Apache Airflow 공급자 패키지가 나열되어 있습니다. 이러한 패키지에 대한 자세한 내용은 패키지 추가 항목에 대한 Apache Airflow 참조
참고
다른 Python 라이브러리 설치로 인해 CloudWatch 로깅과의 호환성이 재정의되지 않도록 하기 위해 Amazon MWAA는 pip3 install -r requirements.txt 실행 후 Watchtower 버전 2.0.1
제약 조건 파일
Apache Airflow v2.7.2부터 요구 사항 파일에 --constraint 문이 포함되어야 합니다. 제약 조건을 제공하지 않으면 Amazon MWAA에서 요구 사항에 나열된 패키지가 사용 중인 Apache Airway 버전과 호환되도록 제약 조건을 지정합니다.
Apache Airflow 제약 조건 파일은 Apache Airflow 릴리스 당시 사용할 수 있는 공급자 버전을 지정합니다. 그러나 대부분의 경우 최신 공급자가 해당 버전의 Apache Airflow와 호환됩니다. 제약 조건을 사용해야 하므로 새 버전의 공급자 패키지를 지정하려면 특정 공급자 버전에 대한 제약 조건 파일을 수정할 수 있습니다.
-
GitHub에서 버전별 제약 조건 파일(예: https://raw.githubusercontent.com/apache/airflow/constraints-2.7.2/constraints-3.11.txt
)을 다운로드합니다('2.7.2'를 사용하려는 버전으로 대체). -
수정된 제약 조건 파일을 Amazon MWAA 환경의 Amazon S3 dags 폴더에 저장합니다(예:
constraints-3.11-updated.txt). -
다음에 나열된 바와 같이 요구 사항을 지정하세요.
--constraint "/usr/local/airflow/dags/constraints-3.11-updated.txt" apache-airflow-providers-amazon==version-number참고
프라이빗 웹 서버를 사용하는 경우 aws-mwaa-docker-images
를 사용하여 필수 라이브러리를 WHL 파일로 패키징하는 것이 좋습니다.
버전별 공급자 패키지
공급자 패키지를 설치하면 Apache Airflow UI에서 연결 유형에 액세스할 수 있습니다. 또한 requirements.txt 파일에서 이러한 패키지를 Python 종속성으로 지정할 필요가 없습니다. 이 페이지에는 모든 지원되는 Apache Airflow 환경에 대해 Amazon MWAA에서 설치한 Apache Airflow 공급자 패키지가 나열되어 있습니다.
참고
Apache Airflow v2 이상의 경우, Amazon MWAA는 다른 Python 라이브러리 설치로 인해 CloudWatch 로깅과의 호환성이 무시되지 않도록 하기 위해 pip3 install -r requirements.txt을(를) 실행 후 Watchtower 버전 2.0.1
지원되는 최신 버전을 apache-airflow-providers-amazon을(를) 지정하여 이 공급자를 업그레이드할 수 있습니다.
지원되는 Apache Airflow 버전:
- v3.0.6
-
연결 유형 Package AWS 연결
Postgres 연결
FTP 연결
Fab 연결
Celery 연결
HTTP 연결
IMAP 연결
공통 SQL
SQLite 연결
- v2.10.3
-
연결 유형 Package AWS 연결
Postgres 연결
FTP 연결
Fab 연결
Celery 연결
HTTP 연결
IMAP 연결
공통 SQL
SQLite 연결
SMTP 연결
- v2.10.1
-
연결 유형 Package AWS 연결
Postgres 연결
FTP 연결
Fab 연결
Celery 연결
HTTP 연결
IMAP 연결
공통 SQL
SQLite 연결
SMTP 연결
- v2.9.2
-
연결 유형 Package AWS 연결
Postgres 연결
FTP 연결
Fab 연결
Celery 연결
HTTP 연결
IMAP 연결
공통 SQL
SQLite 연결
SMTP 연결
- v2.8.1
-
연결 유형 Package AWS 연결
Postgres 연결
FTP 연결
Celery 연결
HTTP 연결
IMAP 연결
공통 SQL
SQLite 연결
- v2.7.2
-
연결 유형 Package AWS 연결
Postgres 연결
FTP 연결
Celery 연결
HTTP 연결
IMAP 연결
공통 SQL
SQLite 연결
- v2.6.3
-
연결 유형 Package AWS 연결
Postgres 연결
FTP 연결
Celery 연결
HTTP 연결
IMAP 연결
공통 SQL
SQLite 연결
- v2.5.1
-
연결 유형 Package AWS 연결
Postgres 연결
FTP 연결
Celery 연결
HTTP 연결
IMAP 연결
공통 SQL
SQLite 연결
- v2.4.3
-
연결 유형 Package AWS 연결
Postgres 연결
FTP 연결
Celery 연결
HTTP 연결
IMAP 연결
공통 SQL
SQLite 연결