문제 해결: Amazon MWAA 환경 생성 및 업데이트

패키지 버전을 확인합니다. requirements.txt의 Python 종속성에 대해 항상 특정 버전(==) 또는 최대 버전(<=)을 지정하는 것이 좋습니다.

Apache Airflow 로그를 확인합니다. Apache Airflow 로그를 활성화한 경우, CloudWatch 콘솔의 로그 그룹 페이지에서 로그 그룹이 성공적으로 생성되었는지 확인합니다. 빈 로그를 가져오는 경우 가장 일반적인 이유는 로그가 기록되는 CloudWatch 또는 Amazon S3의 실행 역할에 권한이 없기 때문입니다. 자세한 내용은 단원을 참조하십시오실행 역할.

Apache Airflow 구성 옵션을 확인합니다. Secrets Manager를 사용하는 경우 Apache Airflow 구성 옵션으로 지정한 키-값 쌍이 올바르게 구성되었는지 확인합니다. 자세한 내용은 단원을 참조하십시오AWS Secrets Manager 보안 암호를 사용하여 Apache Airflow 연결 구성.

VPC 네트워크 구성을 확인합니다. 자세한 내용은 단원을 참조하십시오환경을 생성하려고 했는데 Creating 상태가 멈췄습니다..

실행 역할 권한을 확인합니다. 실행 역할은 사용자를 대신하여 다른 AWS 서비스 AWS Identity and Access Management (예: Amazon S3, CloudWatch, Amazon SQS, Amazon ECR)의 리소스를 호출할 수 있는 권한을 Amazon MWAA에 부여하는 권한 정책이 있는 (IAM) 역할입니다. 고객 관리형 키 또는 AWS소유 키도 액세스를 허용해야 합니다. 자세한 내용은 단원을 참조하십시오실행 역할.

Amazon MWAA 환경의 Amazon VPC 네트워크 설정 및 구성을 확인하는 문제 해결 스크립트를 실행하려면 GitHub의 AWS 지원 도구에서 환경 확인 스크립트를 참조하세요.

단계에 따라 실행 역할에 JSON 정책을 연결합니다.

다음 JSON 정책을 첨부합니다.

{
  "Effect":"Allow",
  "Action":[
    "s3:GetObject*",
    "s3:GetBucket*",
    "s3:List*"
  ],
  "Resource":[
    "arn:aws:s3:::amzn-s3-demo-bucket",
    "arn:aws:s3:::amzn-s3-demo-bucket/*"
  ]
}

amzn-s3-demo-bucket의 샘플 자리 표시자를 Amazon S3 버킷 이름으로 대체합니다.

Amazon MWAA 환경의 Amazon VPC 네트워크 설정 및 구성을 확인하는 문제 해결 스크립트를 실행하려면 GitHub의 AWS 지원 도구에서 환경 확인 스크립트를 참조하세요.

퍼블릭 라우팅으로 VPC 네트워크를 확인합니다. 인터넷에 액세스할 수 있는 Amazon VPC를 사용하는 경우 다음을 확인합니다.

1. Amazon VPC는에 정의된 대로 Amazon MWAA 환경에서 사용하는 다양한 AWS 리소스 간의 네트워크 트래픽을 허용하도록 구성되어 있습니다Amazon MWAA에서의 네트워킹에 대해. 예를 들어 VPC 보안 그룹은 자체 참조 규칙에서 모든 트래픽을 허용하거나 HTTPS 포트 범위 443 및 TCP 포트 범위 5432의 포트 범위를 선택적으로 지정해야 합니다.

프라이빗 라우팅으로 VPC 네트워크를 확인합니다. 인터넷 액세스 없이 Amazon VPC를 사용하는 경우 다음을 확인합니다.

1. 에 정의된 대로 Amazon VPC가 Amazon MWAA 환경의 여러 AWS 리소스 간에 네트워크 트래픽을 허용하도록 구성되어 있는지 확인합니다Amazon MWAA에서의 네트워킹에 대해. 예를 들어 두 프라이빗 서브넷에는 NAT 게이트웨이(또는 NAT 인스턴스) 또는 인터넷 게이트웨이에 대한 라우팅 테이블이 없어야 합니다.

Amazon MWAA 환경의 Amazon VPC 네트워크 설정 및 구성을 확인하는 문제 해결 스크립트를 실행하려면 GitHub의 AWS 지원 도구에서 환경 확인 스크립트를 참조하세요.

VPC 네트워크 구성을 확인합니다. 자세한 내용은 단원을 참조하십시오환경을 생성하려고 했는데 Creating 상태가 멈췄습니다..

사용자 권한을 확인합니다. Amazon MWAA는 환경을 생성하기 전에 사용자 보안 인증을 대상으로 테스트 런을 수행합니다. 에는 AWS Identity and Access Management (IAM)에서 환경에 대한 일부 리소스를 생성할 AWS 계정 수 있는 권한이 없을 수 있습니다. 예를 들어 프라이빗 네트워크 Apache Airflow 액세스 모드를 선택한 경우 관리자가 환경의 AmazonMWAAFullConsoleAccess 액세스 제어 정책에 대한 액세스 권한을 부여하여 계정이 VPC 엔드포인트를 생성할 수 있도록 해야 AWS 계정 합니다.

실행 역할 권한을 확인합니다. 실행 역할은 사용자를 대신하여 다른 AWS 서비스 AWS Identity and Access Management (예: Amazon S3, CloudWatch, Amazon SQS, Amazon ECR)의 리소스를 호출할 수 있는 권한을 Amazon MWAA에 부여하는 권한 정책이 있는 (IAM) 역할입니다. 고객 관리형 키 또는 AWS소유 키도 액세스를 허용해야 합니다. 자세한 내용은 단원을 참조하십시오실행 역할.

Apache Airflow 로그를 확인합니다. Apache Airflow 로그를 활성화한 경우, CloudWatch 콘솔의 로그 그룹 페이지에서 로그 그룹이 성공적으로 생성되었는지 확인합니다. 빈 로그를 가져오는 경우 가장 일반적인 이유는 로그가 기록되는 CloudWatch 또는 Amazon S3의 실행 역할에 권한이 없기 때문입니다. 자세한 내용은 단원을 참조하십시오실행 역할.

Amazon MWAA 환경의 Amazon VPC 네트워크 설정 및 구성을 확인하는 문제 해결 스크립트를 실행하려면 GitHub의 AWS 지원 도구에서 환경 확인 스크립트를 참조하세요.

인터넷 액세스 없이 Amazon VPC를 사용하는 경우, Amazon S3 게이트웨이 엔드포인트를 생성하고 Amazon S3에 액세스하는 데 필요한 최소 권한을 Amazon ECR에 부여했는지 확인합니다. Amazon S3 게이트웨이 엔드포인트 생성에 대한 자세한 내용은 다음을 참조하세요.

VPC 보안 그룹 구성을 확인합니다. 자세한 내용은 단원을 참조하십시오환경을 생성하려고 했는데 Creating 상태가 멈췄습니다..

requirements.txt에 나열된 모든 Apache Airflow 패키지가 Amazon MWAA에서 실행 중인 Apache Airflow 버전에 해당하는지 확인합니다. 자세한 내용은 단원을 참조하십시오Python 종속성 설치.

Amazon MWAA 환경의 Amazon VPC 네트워크 설정 및 구성을 확인하는 문제 해결 스크립트를 실행하려면 GitHub의 AWS 지원 도구에서 환경 확인 스크립트를 참조하세요.

GitHub에서 aws-mwaa-docker-images를 사용하여 DAGs, 사용자 지정 플러그인 및 Python 종속성을 로컬에서 테스트합니다. aws-mwaa-docker-images

Amazon MWAA 환경의 Amazon VPC 네트워크 설정 및 구성을 확인하는 문제 해결 스크립트를 실행하려면 GitHub의 AWS 지원 도구에서 환경 확인 스크립트를 참조하세요.

사용자 권한을 확인합니다. Apache Airflow UI에 액세스할 수 있는 권한 정책에 대한 액세스 권한이 부여되지 않았을 수 있습니다. 자세한 내용은 단원을 참조하십시오Amazon MWAA 환경 액세스.

네트워크 액세스를 확인합니다. 프라이빗 네트워크 액세스 모드를 선택했기 때문일 수 있습니다. Apache Airflow UI의 URL이 다음 형식387fbcn-8dh4-9hfj-0dnd-834jhdfb-vpce.c10.us-west-2.airflow.amazonaws.com인 경우 Apache Airflow 웹 서버에 프라이빗 라우팅을 사용하고 있음을 의미합니다. Apache Airflow 액세스 모드를 퍼블릭 네트워크 액세스 모드로 업데이트하거나 Apache Airflow 웹 서버의 VPC 엔드포인트에 액세스하는 메커니즘을 생성할 수 있습니다. 자세한 내용은 단원을 참조하십시오Amazon MWAA에서 서비스별 Amazon VPC 엔드포인트에 대한 액세스 관리.