将不同账户中的 Amazon Redshift 集群中的数据卸载到 Amazon S3

为 Amazon Redshift 集群创建一个密钥。

要为 Amazon Redshift 集群创建密钥，请执行以下操作：

创建一个用于访问 Secrets Manager 的角色。

要创建此角色，请执行以下操作：

创建用于访问 S3 存储桶的角色

要创建用于访问 S3 存储桶的角色，请执行以下操作：

创建此 Amazon Redshift 角色。

要创建 Amazon Redshift 角色，请执行以下操作：

部署 Lambda 函数。

要在对等的 VPC 中部署 Lambda 函数，请执行以下操作：

导入所需的资源。

要导入所需的资源，请运行以下命令：

import ast
import boto3
import psycopg2
import base64
from botocore.exceptions import ClientError

运行 Lambda 处理程序函数。

Lambda 函数使用 AWS Security Token Service (AWS STS) 进行跨账户访问和临时凭证管理。该函数使用 AssumeRole API 操作来临时承担 sm_read_role IAM 角色的权限。

要运行 Lambda 函数，请使用如下示例代码：

def lambda_handler(event, context):
    sts_client = boto3.client('sts')

    # Secrets Manager Configurations
    secret_name = "redshift_creds"
    sm_region = "eu-west-1"
    sm_read_role = "arn:aws:iam::PROD_ACCOUNT_NUMBER:role/SM-Read-Role"

    # S3 Bucket Configurations
    s3_bucket_path = "s3://mybucket/"
    s3_bucket_region = "eu-west-1"
    s3_write_role = "arn:aws:iam::DEV_ACCOUNT_NUMBER:role/S3-Write-Role"

    # Redshift Configurations
    sql_query = "select * from category"
    redshift_db = "dev"
    redshift_s3_write_role = "arn:aws:iam::PROD_ACCOUNT_NUMBER:role/CrossAccount-S3-Write-Role"

    chained_s3_write_role = "%s,%s" % (redshift_s3_write_role, s3_write_role)

    assumed_role_object = sts_client.assume_role(
        RoleArn=sm_read_role,
        RoleSessionName="CrossAccountRoleAssumption",
        ExternalId="YOUR_EXTERNAL_ID",
    )
    credentials = assumed_role_object['Credentials']

    secret_dict = ast.literal_eval(get_secret(credentials, secret_name, sm_region))
    execute_query(secret_dict, sql_query, s3_bucket_path, chained_s3_write_role, s3_bucket_region, redshift_db)

    return {
        'statusCode': 200
    }

获取密钥。

要获取 Amazon Redshift 密钥，请使用如下示例代码：

def get_secret(credentials, secret_name, sm_region):
    # Create a Secrets Manager client
    session = boto3.session.Session()
    sm_client = session.client(
        service_name='secretsmanager',
        aws_access_key_id=credentials['AccessKeyId'],
        aws_secret_access_key=credentials['SecretAccessKey'],
        aws_session_token=credentials['SessionToken'],
        region_name=sm_region
    )

    try:
        get_secret_value_response = sm_client.get_secret_value(
            SecretId=secret_name
        )
    except ClientError as e:
        print(e)
        raise e
    else:
        if 'SecretString' in get_secret_value_response:
            return get_secret_value_response['SecretString']
        else:
            return base64.b64decode(get_secret_value_response['SecretBinary'])

运行卸载命令。

要将数据卸载到 S3 存储桶，请使用如下示例代码。

def execute_query(secret_dict, sql_query, s3_bucket_path, chained_s3_write_role, s3_bucket_region, redshift_db):
    conn_string = "dbname='%s' port='%s' user='%s' password='%s' host='%s'" \
                  % (redshift_db,
                     secret_dict["port"],
                     secret_dict["username"],
                     secret_dict["password"],
                     secret_dict["host"])

    con = psycopg2.connect(conn_string)

    unload_command = "UNLOAD ('{}') TO '{}' IAM_ROLE '{}' DELIMITER '|' REGION '{}';" \
        .format(sql_query,
                s3_bucket_path + str(datetime.datetime.now()) + ".csv",
                chained_s3_write_role,
                s3_bucket_region)

    # Opening a cursor and run query
    cur = con.cursor()
    cur.execute(unload_command)

    print(cur.fetchone())
    cur.close()
    con.close()

删除 Lambda 函数。

为了避免产生计划外成本，请移除资源以及 DEV 账户与 PROD 账户之间的连接。

要移除 Lambda 函数，请执行以下操作：

移除 IAM 角色和策略。

从 DEV 账户和 PROD 账户中移除 IAM 角色和策略。

在 DEV 账户中，执行以下操作：

在 PROD 账户中，执行以下操作：

在 Secrets Manager 中删除密钥。

要删除密钥，请执行以下操作：

移除 VPC 对等连接和安全组规则。

要移除 VPC 对等连接和安全组规则，请执行以下操作：

从 S3 存储桶中移除数据。

要从 Amazon S3 中移除数据，请执行以下操作：

清理 AWS KMS 钥匙。

如果您创建了任何用于加密的自定义 AWS KMS 密钥，请执行以下操作：

查看并删除 Amazon CloudWatch 日志。

要删除日 CloudWatch 志，请执行以下操作：