本文属于机器翻译版本。若本译文内容与英语原文存在差异，则一律以英文原文为准。

将 ETL 流程转换为 in AWS GlueAWS Schema Conversion Tool

在以下各节中，您可以找到对在 Python 中调用 AWS Glue API 操作的转换的描述。有关更多信息，请参阅《 AWS Glue 开发人员指南》中的使用 Python 编程 AWS Glue ETL 脚本。

步骤 1：创建数据库

第一步是使用 AWS SDK AP I 在 AWS Glue 数据目录中创建新数据库。当您在数据目录中定义表时，您将其添加到数据库。数据库用于组织中的表 AWS Glue。

以下示例演示了 Python API 的使用create_database方法 AWS Glue。

response = client.create_database(
    DatabaseInput={
        'Name': 'database_name’,
        'Description': 'description',
        'LocationUri': 'string',
        'Parameters': {         
            'parameter-name': 'parameter value'
        }
    }
)

如果您使用的是 Amazon Redshift，数据库名称的构成方式如下。

{redshift_cluster_name}_{redshift_database_name}_{redshift_schema_name}

此示例中的 Amazon Redshift 集群的完整名称如下所示。

rsdbb03.apq1mpqso.us-west-2.redshift.amazonaws.com

下面显示了格式正确的数据库名称的示例。在此例中，rsdbb03 为名称，这是集群端点的完整名称的第一个部分。数据库名为 dev，架构为 ora_glue。

rsdbb03_dev_ora_glue

步骤 2：创建连接

使用 AWS SDK API 在数据目录中创建新连接。

以下示例演示了如何使用 Python API create_connection的方法 AWS Glue。

response = client.create_connection(
    ConnectionInput={
        'Name': 'Redshift_abcde03.aabbcc112233.us-west-2.redshift.amazonaws.com_dev',
        'Description': 'Created from SCT',
        'ConnectionType': 'JDBC',
        'ConnectionProperties': {
            'JDBC_CONNECTION_URL': 'jdbc:redshift://aabbcc03.aabbcc112233.us-west-2.redshift.amazonaws.com:5439/dev',
            'USERNAME': 'user_name',
            'PASSWORD': 'password'
        },
        'PhysicalConnectionRequirements': {
            'AvailabilityZone': 'us-west-2c',
            'SubnetId': 'subnet-a1b23c45',
            'SecurityGroupIdList': [
                'sg-000a2b3c', 'sg-1a230b4c', 'sg-aba12c3d', 'sg-1abb2345'
            ]
        }
    }
)

create_connection 中所用的参数如下所示：

步骤 3：创建 AWS Glue 爬网程序

接下来，您将创建一个 AWS Glue 爬虫来填充目录。 AWS Glue 有关更多信息，请参阅《AWS Glue 开发人员指南》中的使用爬网程序编录表。

添加爬网程序的第一步是使用 AWS SDK API 在数据目录中创建新数据库。在开始之前，务必先使用 delete_crawler 操作删除其先前的任何版本。

创建爬网程序时，请注意以下几点：

以下示例将删除现有爬网程序，然后使用适用于 AWS Glue的 Python API 创建新的爬网程序。

response = client.delete_crawler(
    Name='crawler_name'
)

response = client.create_crawler(
    Name='crawler_name',
    Role= ‘IAM_role’,
    DatabaseName='database_name’,
    Description='string',
    Targets={
        'S3Targets': [
            {
                'Path': 'string',
                'Exclusions': [
                    'string',
                ]
            },
        ],
        'JdbcTargets': [
            {
                'ConnectionName': ‘ConnectionName’,
                'Path': ‘Include_path’,
                'Exclusions': [
                    'string',
                ]
            },
        ]
    },
    Schedule='string',
    Classifiers=[
        'string',
    ],
    TablePrefix='string',
    SchemaChangePolicy={
        'UpdateBehavior': 'LOG'|'UPDATE_IN_DATABASE',
        'DeleteBehavior': 'LOG'|'DELETE_FROM_DATABASE'|'DEPRECATE_IN_DATABASE'
    },
    Configuration='string'
)

创建并运行一个爬网程序，以便连接到一个或多个数据存储，确定数据结构，并将表写入到数据目录中。您可以按计划运行您的爬网程序，如下所示。

response = client.start_crawler(
    Name='string'
)

此示例使用 Amazon Redshift 作为目标。爬虫运行后，Amazon Redshift AWS Glue 数据类型通过以下方式映射到数据类型。