Amazon MWAA에서 DAG 작업 - Amazon Managed Workflows for Apache Airflow
Amazon S3 버킷 개요

Amazon MWAA에서 DAG 작업

Amazon Managed Workflows for Apache Airflow 환경에서 DAG(방향성 비순환 그래프)를 실행하려면 환경에 연결된 Amazon S3 스토리지 버킷에 파일을 복사한 다음, DAG 및 지원 파일이 Amazon MWAA 콘솔에서 어디에 있는지 Amazon MWAA에 알려 줍니다. Amazon MWAA는 작업자, 스케줄러 및 웹 서버 간의 DAG 동기화를 처리합니다. 이 가이드에서는 DAG를 추가 또는 업데이트하고 Amazon MWAA 환경에 사용자 지정 플러그인 및 Python 종속성을 설치하는 방법을 설명합니다.

주제

Amazon S3 버킷 개요

Amazon MWAA 환경용 Amazon S3 버킷에는 퍼블릭 액세스 차단이 있어야 합니다. 기본적으로 버킷, 객체 및 관련 하위 리소스(예: 수명 주기 구성)를 비롯한 모든 Amazon S3 리소스는 비공개입니다.

  • 즉, 버킷을 만든 AWS 계정인 리소스 소유자만 해당 리소스에 액세스할 수 있습니다. 리소스 소유자(예: 관리자)는 액세스 제어 정책을 작성하여 다른 사람에게 액세스 권한을 부여할 수도 있습니다.

  • 설정한 액세스 정책에는 Amazon S3 버킷에 DAG, plugins.zip의 사용자 지정 플러그인 및 requirements.txt의 Python 종속성을 추가할 수 있는 권한이 있어야 합니다. 필요한 권한이 포함된 정책의 예제는 AmazonMWAAFullConsoleAccess를 참조하세요.

Amazon MWAA 환경용 Amazon S3 버킷에는 버전 관리가 활성화되어 있어야 합니다. Amazon S3 버킷 버전 관리가 활성화하면 새 버전이 생성될 때마다 새 사본이 생성됩니다.

  • Amazon S3 버킷에서 plugins.zip의 사용자 지정 플러그인 및 requirements.txt의 Python 종속성에 대해 버전 관리가 활성화됩니다.

  • Amazon S3 버킷에서 이러한 파일이 업데이트될 때마다 Amazon MWAA 콘솔에서 plugins.zip 및 requirements.txt의 버전을 지정해야 합니다.