在 AWS Schema Conversion Tool 中将 ETL 过程转换为 AWS Glue

在以下部分中，您可以找到在 Python 中调用 AWS Glue API 操作的转换的描述。有关更多信息，请参阅《AWS Glue 开发人员指南》中的使用 Python 编程 AWS Glue ETL 脚本。

步骤 1：创建数据库

第一步是使用 AWS SDK API 在 AWS Glue 数据目录中创建一个新的数据库。当您在数据目录中定义表时，您将其添加到数据库。数据库用于组织 AWS Glue 中的表。

以下示例演示了适用于 create_database 的 Python API 的 AWS Glue 方法。

response = client.create_database(
    DatabaseInput={
        'Name': 'database_name’,
        'Description': 'description',
        'LocationUri': 'string',
        'Parameters': {         
            'parameter-name': 'parameter value'
        }
    }
)

如果您使用的是 Amazon Redshift，数据库名称的构成方式如下。

{redshift_cluster_name}_{redshift_database_name}_{redshift_schema_name}

此示例中的 Amazon Redshift 集群的完整名称如下所示。

rsdbb03.apq1mpqso.us-west-2.redshift.amazonaws.com

下面显示了格式正确的数据库名称的示例。在此例中，rsdbb03 为名称，这是集群端点的完整名称的第一个部分。数据库名为 dev，架构为 ora_glue。

rsdbb03_dev_ora_glue

步骤 2：创建连接

使用 AWS SDK API 在数据目录中创建新连接。

以下示例演示了适用于 AWS Glue 的 Python API 的 create_connection 方法。

response = client.create_connection(
    ConnectionInput={
        'Name': 'Redshift_abcde03.aabbcc112233.us-west-2.redshift.amazonaws.com_dev',
        'Description': 'Created from SCT',
        'ConnectionType': 'JDBC',
        'ConnectionProperties': {
            'JDBC_CONNECTION_URL': 'jdbc:redshift://aabbcc03.aabbcc112233.us-west-2.redshift.amazonaws.com:5439/dev',
            'USERNAME': 'user_name',
            'PASSWORD': 'password'
        },
        'PhysicalConnectionRequirements': {
            'AvailabilityZone': 'us-west-2c',
            'SubnetId': 'subnet-a1b23c45',
            'SecurityGroupIdList': [
                'sg-000a2b3c', 'sg-1a230b4c', 'sg-aba12c3d', 'sg-1abb2345'
            ]
        }
    }
)

create_connection 中所用的参数如下所示：

步骤 3：创建 AWS Glue 爬网程序

接下来，您将创建一个 AWS Glue 爬网程序来填充 AWS Glue 目录。有关更多信息，请参阅《AWS Glue 开发人员指南》中的使用爬网程序编录表。

添加爬网程序的第一步是使用 AWS SDK API 在数据目录中创建新数据库。在开始之前，务必先使用 delete_crawler 操作删除其先前的任何版本。

创建爬网程序时，请注意以下几点：

以下示例将删除现有爬网程序，然后使用适用于 AWS Glue 的 Python API 创建新的爬网程序。

response = client.delete_crawler(
    Name='crawler_name'
)

response = client.create_crawler(
    Name='crawler_name',
    Role= ‘IAM_role’,
    DatabaseName='database_name’,
    Description='string',
    Targets={
        'S3Targets': [
            {
                'Path': 'string',
                'Exclusions': [
                    'string',
                ]
            },
        ],
        'JdbcTargets': [
            {
                'ConnectionName': ‘ConnectionName’,
                'Path': ‘Include_path’,
                'Exclusions': [
                    'string',
                ]
            },
        ]
    },
    Schedule='string',
    Classifiers=[
        'string',
    ],
    TablePrefix='string',
    SchemaChangePolicy={
        'UpdateBehavior': 'LOG'|'UPDATE_IN_DATABASE',
        'DeleteBehavior': 'LOG'|'DELETE_FROM_DATABASE'|'DEPRECATE_IN_DATABASE'
    },
    Configuration='string'
)

创建并运行一个爬网程序，以便连接到一个或多个数据存储，确定数据结构，并将表写入到数据目录中。您可以按计划运行您的爬网程序，如下所示。

response = client.start_crawler(
    Name='string'
)

此示例使用 Amazon Redshift 作为目标。在爬网程序执行后，Amazon Redshift 数据类型按以下方式映射到 AWS Glue 数据类型：