View a markdown version of this page

零 ETL 集成问题排查 - AWS Glue

零 ETL 集成问题排查

以下章节的内容有助于排查您在使用 AWS Glue 零 ETL 集成时遇到的问题。

排查使用 Amazon DynamoDB 源的零 ETL 集成问题

源 DynamoDB 表缺少 RBAC 策略或时间点恢复

在创建集成之前,必须正确配置源。如果源 DynamoDB 表缺少具有相应权限的 RBAC 策略,或者如果禁用了时间点恢复,则集成将进入 Needs_Attention 状态。要解决此问题,请修复权限和/或启用时间点恢复。修复缺失的配置后,集成应会在一段时间后自动恢复。

排查使用 SaaS 源的零 ETL 集成问题(使用 AWS Glue 连接)

连接配置不正确

如果 AWS Glue 连接配置不正确,则集成可能无法访问 SaaS 源。验证连接凭证是否有效,以及源角色是否具有访问该连接的相应权限。

排查使用常规 Amazon S3 目标的零 ETL 集成问题

目标角色缺少权限

如果目标角色缺少相应的权限或设置不正确,则会导致集成进入 NEEDS_ATATENTION 状态。请参阅目标角色配置部分以修复此问题。修复该问题后,集成应会在一段时间后自动恢复。

目标目录 RBAC 策略配置不正确

如果目标目录资源策略配置不正确,还将导致集成进入 NEEDS_ATATENTION 状态。请参阅目标角色配置部分以修复此问题。修复该问题后,集成应会在一段时间后自动恢复。

排查使用 Amazon S3 表类数据存储服务目标的零 ETL 集成问题

目标角色缺少权限

如果目标角色缺少相应的权限或设置不正确,则会导致集成进入 NEEDS_ATATENTION 状态。请参阅目标角色配置部分以修复此问题。修复该问题后,集成应会在一段时间后自动恢复。

目标目录 RBAC 策略配置不正确

如果目标目录资源策略配置不正确,还将导致集成进入 NEEDS_ATATENTION 状态。请参阅目标角色配置部分以修复此问题。修复该问题后,集成应会在一段时间后自动恢复。

有关 AWS Glue 零 ETL 集成错误的通用问题排查指南

所有集成在每个进程(例如完整数据加载或更改数据捕获)完成后都会发出 CloudWatch 日志。您可以参考这些日志来确定失败或错误的准确根本原因。

此外,AWS Glue 还会在目标 AWS Glue 数据库或 S3 表类数据存储服务中创建系统表。在集成保持运行状态(即未处于 FAILED 或 DELETED 状态)期间,AWS Glue 会继续在目标上追加每项单独操作的状态(例如完整数据加载或更改数据捕获完成),以及记录条数、插入次数、删除次数等统计数据。