本章介绍在 Amazon MWAA 上使用 Apache Airflow 时可能遇到的常见问题和错误,以及解决这些错误的推荐步骤。
故障排除:DAG、运算符、连接和其他问题
连接
我无法连接 Secrets Manager
如何在我的执行角色策略中配置 secretsmanager:ResourceTag/<tag-key> Secrets Manager 条件或资源限制?
我无法连接 Snowflake
我无法在 Airflow UI 中找到我的连接
Webserver
我在访问 Web 服务器时收到 5xx 错误
我收到 The scheduler does not seem to be running 错误
任务
我的任务卡顿或者没有完成
我在 Airflow v3 中任务失败,但没有日志
CLI
在 CLI 中触发 DAG 时我收到“503”错误
为什么 dags backfill Apache Airflow CLI 命令会失败? 是否有解决方法?
运算符
我在使用 S3Transform 运算符时遇到了 PermissionError: [Errno 13] Permission denied 错误
故障排除:创建和更新 Amazon MWAA 环境
更新 requirements.txt
我指定了 requirements.txt 的新版本,更新环境花了 20 多分钟
插件
Amazon MWAA 是否支持实现自定义 UI?
创建存储桶
我无法选择 S3 阻止公共访问设置的选项
创建环境。
我尝试创建环境,但它一直处于 Creating 状态
我尝试创建环境,但它的状态显示为 Create failed
我尝试选择 VPC 但收到 Network Failure 错误
我尝试创建环境但收到服务、分区或资源“必须传递”错误
我尝试创建环境,它的状态显示为 Available,但是当我尝试访问 Airflow UI 时,会显示 Empty Reply from Server 或 502 Bad Gateway 错误
我尝试创建一个环境,我的用户名是一堆随机的字符名称
Update environment
我尝试更改环境类,但更新失败了
访问环境
我无法访问 Apache Airflow UI
故障排除:CloudWatch Logs 和 CloudTrail 错误
日志
我找不到我的任务日志,或者我收到了 Reading remote log from Cloudwatch log_group 错误
任务在没有任何日志的情况下失败
我在 CloudTrail 中遇到了 ResourceAlreadyExistsException 错误
我在 CloudTrail 中看到了 Invalid request 错误
我在 Apache Airflow 日志中看到了 Cannot locate a 64-bit Oracle Client library: "libclntsh.so: cannot open shared object file: No such file or directory
我在我的计划程序日志中看到了 psycopg2“服务器意外关闭了连接”
我在我的 DAG 处理日志中看到了 Executor reports task instance %s finished (%s) although the task says its %s
我在我的任务日志中看到了 Could not read remote logs from log_group: airflow-*{*environmentName}-Task log_stream:* {*DAG_ID}/*{*TASK_ID}/*{*time}/*{*n}.log.
Javascript 在您的浏览器中被禁用或不可用。
要使用 Amazon Web Services 文档,必须启用 Javascript。请参阅浏览器的帮助页面以了解相关说明。
感谢您对我们工作的肯定!
如果不耽误您的时间,请告诉我们做得好的地方,让我们做得更好。
感谢您告诉我们本页内容还需要完善。很抱歉让您失望了。
如果不耽误您的时间,请告诉我们如何改进文档。