零 ETL 集成问题排查
以下章节的内容有助于排查您在使用 AWS Glue 零 ETL 集成时遇到的问题。
排查使用 Amazon DynamoDB 源的零 ETL 集成问题
源 DynamoDB 表缺少 RBAC 策略或时间点恢复
在创建集成之前,必须正确配置源。如果源 DynamoDB 表缺少具有相应权限的 RBAC 策略,或者如果禁用了时间点恢复,则集成将进入 Needs_Attention 状态。要解决此问题,请修复权限和/或启用时间点恢复。修复缺失的配置后,集成应会在一段时间后自动恢复。
排查使用 SaaS 源的零 ETL 集成问题(使用 AWS Glue 连接)
连接配置不正确
如果 AWS Glue 连接配置不正确,则集成可能无法访问 SaaS 源。验证连接凭证是否有效,以及源角色是否具有访问该连接的相应权限。
排查使用常规 Amazon S3 目标的零 ETL 集成问题
目标角色缺少权限
如果目标角色缺少相应的权限或设置不正确,则会导致集成进入 NEEDS_ATATENTION 状态。请参阅目标角色配置部分以修复此问题。修复该问题后,集成应会在一段时间后自动恢复。
目标目录 RBAC 策略配置不正确
如果目标目录资源策略配置不正确,还将导致集成进入 NEEDS_ATATENTION 状态。请参阅目标角色配置部分以修复此问题。修复该问题后,集成应会在一段时间后自动恢复。
排查使用 Amazon S3 表类数据存储服务目标的零 ETL 集成问题
目标角色缺少权限
如果目标角色缺少相应的权限或设置不正确,则会导致集成进入 NEEDS_ATATENTION 状态。请参阅目标角色配置部分以修复此问题。修复该问题后,集成应会在一段时间后自动恢复。
目标目录 RBAC 策略配置不正确
如果目标目录资源策略配置不正确,还将导致集成进入 NEEDS_ATATENTION 状态。请参阅目标角色配置部分以修复此问题。修复该问题后,集成应会在一段时间后自动恢复。
有关 AWS Glue 零 ETL 集成错误的通用问题排查指南
所有集成在每个进程(例如完整数据加载或更改数据捕获)完成后都会发出 CloudWatch 日志。您可以参考这些日志来确定失败或错误的准确根本原因。
此外,AWS Glue 还会在目标 AWS Glue 数据库或 S3 表类数据存储服务中创建系统表。在集成保持运行状态(即未处于 FAILED 或 DELETED 状态)期间,AWS Glue 会继续在目标上追加每项单独操作的状态(例如完整数据加载或更改数据捕获完成),以及记录条数、插入次数、删除次数等统计数据。