Descarga de datos de un clúster de Amazon Redshift entre las cuentas a Amazon S3 - Recomendaciones de AWS
ResumenRequisitos previos y limitacionesArquitecturaTools (Herramientas)Prácticas recomendadasEpicsRecursos relacionadosInformación adicional

Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.

Descarga de datos de un clúster de Amazon Redshift entre las cuentas a Amazon S3

Andrew Kamel, Amazon Web Services

Resumen

Al probar aplicaciones, resulta útil disponer de datos de producción en el entorno de pruebas. El uso de los datos de producción puede proporcionarle una evaluación más precisa de la aplicación que desarrolla.

Este patrón extrae los datos de un clúster de Amazon Redshift en un entorno de producción para colocarlos en un bucket de Amazon Simple Storage Service (Amazon S3) en un entorno de desarrollo de Amazon Web Services (AWS).

El patrón sigue los pasos de configuración de las cuentas de DEV y PROD, lo que incluye lo siguiente:

  • Recursos necesarios de

  • AWS Identity and Access Management Funciones (IAM)

  • Ajustes de red para subredes, grupos de seguridad y la nube privada virtual (VPC) para admitir la conexión de Amazon Redshift

  • Un ejemplo de AWS Lambda función con un tiempo de ejecución de Python para probar la arquitectura

Para conceder acceso al clúster de Amazon Redshift, el patrón se utiliza AWS Secrets Manager para almacenar las credenciales pertinentes. La ventaja es disponer de toda la información necesaria para conectarse de manera directa al clúster de Amazon Redshift sin necesidad de saber dónde reside el clúster de Amazon Redshift. Además, puede supervisar el uso del secreto.

El secreto guardado en Secrets Manager incluye el host del clúster de Amazon Redshift, el nombre de la base de datos, el puerto y las credenciales pertinentes.

Para obtener información acerca de las consideraciones de seguridad al utilizar este patrón, consulte la sección Prácticas recomendadas.

Requisitos previos y limitaciones

Requisitos previos 

Limitaciones

  • Según la cantidad de datos que quiera consultar, es posible que se agote el tiempo de espera de la función de Lambda.

    Si la ejecución tarda más tiempo que el tiempo de espera máximo de Lambda (15 minutos), utilice un enfoque asíncrono para el código de Lambda. El ejemplo de código de este patrón utiliza la biblioteca psycopg2 para Python, que actualmente no admite el procesamiento asíncrono.

  • Algunos Servicios de AWS no están disponibles en todos. Regiones de AWS Para conocer la disponibilidad de las regiones, consulte Servicios de AWS by Region. Para los puntos de conexión específicos, consulte la página Service endpoints and quotas y elija el enlace del servicio.

Arquitectura

En el diagrama siguiente, se muestra la arquitectura de destino, con cuentas de DEV y PROD.

La VPC de Lambda en la cuenta de DEV y la VPC de Amazon Redshift en la cuenta de PROD.

En el diagrama, se muestra el siguiente flujo de trabajo:

  1. La función de Lambda de la cuenta de DEV asume el rol de IAM necesario para acceder a las credenciales de Amazon Redshift en Secrets Manager de la cuenta de PROD.

    A continuación, la función de Lambda recupera el secreto del clúster de Amazon Redshift.

  2. La función Lambda de la cuenta DEV utiliza la información para conectarse al clúster de Amazon Redshift de la cuenta PROD a través del peered. VPCs

    A continuación, la función de Lambda envía un comando de descarga para consultar el clúster de Amazon Redshift en la cuenta de PROD.

  3. El clúster de Amazon Redshift de la cuenta de PROD asume el rol de IAM correspondiente para acceder al bucket de S3 de la cuenta de DEV.

    El clúster de Amazon Redshift descarga los datos consultados en el bucket de S3 de la cuenta de DEV.

Consulta de datos de Amazon Redshift

En el diagrama siguiente se muestran los roles que se utilizan para recuperar las credenciales de Amazon Redshift y conectarse al clúster de Amazon Redshift. El flujo de trabajo lo inicia la función de Lambda.

El proceso de tres pasos para asumir roles en las cuentas.

En el diagrama, se muestra el siguiente flujo de trabajo:

  1. El rol CrossAccount-SM-Read-Role en la cuenta de DEV asume que el rol SM-Read-Role se encuentra en la cuenta de PROD.

  2. El rol SM-Read-Role utiliza la política adjunta para recuperar el secreto de Secrets Manager.

  3. Las credenciales se utilizan para acceder al clúster de Amazon Redshift.

Descarga de datos en Amazon S3

En el diagrama siguiente se muestra el proceso de lectura y escritura entre cuentas para extraer los datos y cargarlo a Amazon S3. El flujo de trabajo lo inicia la función de Lambda. El patrón encadena los roles de IAM en Amazon Redshift. El comando unload que proviene del clúster de Amazon Redshift asume el rol CrossAccount-S3-Write-Role y, a continuación, asume el rol S3-Write-Role. Este encadenamiento de roles da a Amazon Redshift acceso a Amazon S3.

Los roles que obtienen credenciales acceden a Amazon Redshift y cargan datos en Amazon S3.

En el flujo de trabajo se incluyen los pasos siguientes:

  1. El rol CrossAccount-SM-Read-Role en la cuenta de DEV asume que el rol SM-Read-Role se encuentra en la cuenta de PROD.

  2. El rol SM-Read-Role recupera las credenciales de Amazon Redshift de Secrets Manager.

  3. La función de Lambda se conecta al clúster de Amazon Redshift y envía una consulta.

  4. El clúster de Amazon Redshift asume el rol CrossAccount-S3-Write-Role.

  5. El rol CrossAccount-S3-Write-Role supone que el rol S3-Write-Role se encuentra en la cuenta de DEV.

  6. Los resultados de la consulta se descargan en el bucket de S3 de la cuenta de DEV.

Tools (Herramientas)

Servicios de AWS

  • AWS Key Management Service (AWS KMS) le ayuda a crear y controlar claves criptográficas para proteger sus datos.

  • AWS Lambda es un servicio de computación que ayuda a ejecutar código sin necesidad de aprovisionar ni administrar servidores. Ejecuta el código solo cuando es necesario y amplía la capacidad de manera automática, por lo que solo pagará por el tiempo de procesamiento que utilice.

  • Amazon Redshift es un servicio de almacenamiento de datos administrado de varios petabytes en la nube de AWS.

  • AWS Secrets Manager lo ayuda a reemplazar las credenciales codificadas en su código, incluidas contraseñas, con una llamada a la API de Secrets Manager para recuperar el secreto mediante programación.

  • Amazon Simple Storage Service (Amazon S3) es un servicio de almacenamiento de objetos basado en la nube que lo ayuda a almacenar, proteger y recuperar cualquier cantidad de datos.

Repositorio de código

El código de este patrón está disponible en el repositorio GitHub unload-redshift-to-s3-python.

Prácticas recomendadas

Exención de responsabilidad de seguridad

Antes de implementar esta solución, tenga en cuenta las siguientes recomendaciones de seguridad importantes:

  • Recuerde que conectar las cuentas de desarrollo y producción puede aumentar el alcance y reducir la posición de seguridad general. Recomendamos implementar esta solución solo de manera temporal, extraer la parte de los datos necesaria y, a continuación, destruir de inmediato los recursos implementados. Para destruir los recursos, debe eliminar la función de Lambda, eliminar todos los roles y políticas de IAM que se crearon para esta solución y revocar el acceso a la red que se haya concedido entre las cuentas.

  • Consulte a sus equipos de seguridad y cumplimiento antes de copiar los datos de los entornos de producción a los de desarrollo. Por lo general, la información de identificación personal (PII), la información de salud protegida (PHI) y otros datos confidenciales o regulados no deben copiarse de esta manera. Copie solo la información no confidencial que esté disponible al público (por ejemplo, datos bursátiles públicos del frontend de una tienda). Considere la posibilidad de tokenizar o anonimizar los datos, o de generar datos de prueba sintéticos, en lugar de utilizar los datos de producción siempre que sea posible. Uno de los principios de seguridad de AWS es mantener a las personas alejadas de los datos. En otras palabras, los desarrolladores no deben realizar operaciones en la cuenta de producción.

  • Restrinja el acceso a la función de Lambda en la cuenta de desarrollo porque puede leer datos del clúster de Amazon Redshift en el entorno de producción.

  • Para evitar interrumpir el entorno de producción, implemente las recomendaciones siguientes:

    • Utilice una cuenta de desarrollo independiente y dedicada para las actividades de prueba y desarrollo.

    • Implemente controles estrictos de acceso a la red y limite el tráfico entre las cuentas a solo lo necesario.

    • Supervise y audite el acceso al entorno de producción y a los orígenes de datos.

    • Implemente controles de acceso con privilegios mínimos para todos los recursos y servicios implicados.

    • Revise y modifique periódicamente las credenciales, como AWS Secrets Manager los secretos y las claves de acceso a los roles de IAM.

  • Consulte la documentación de seguridad siguiente para ver los servicios que se utilizan en este artículo:

La seguridad es una de las prioridades principales al acceder a los datos y recursos de producción. Siga siempre las prácticas recomendadas, implemente controles de acceso con privilegios mínimos y revise y actualice de manera periódica sus medidas de seguridad.

Epics

TareaDescripciónHabilidades requeridas

Cree un secreto para el clúster de Amazon Redshift.

Para crear el secreto para el clúster de Amazon Redshift, haga lo siguiente:

  1. En la cuenta PROD, inicie sesión en y abra la Consola de administración de AWS consola Secrets Manager en https://console.aws.amazon.com/secretsmanager/.

  2. Elija Almacenar un secreto nuevo.

  3. Seleccione Credenciales para el almacén de datos de Amazon Redshift.

  4. En Nombre de usuario y Contraseña, indique los valores de la instancia y confirme o elija un valor en Clave de cifrado.

  5. Elija el almacén de datos de Amazon Redshift al que accederá el secreto.

  6. Escriba Redshift-Creds-Secret en el nombre del secreto.

  7. Complete los pasos de creación restantes con las opciones predeterminadas y, a continuación, elija Almacenar.

  8. Consulte su secreto y anote el valor de ARN del secreto que se generó para identificar el secreto.

DevOps ingeniero

Cree un rol para acceder a Secrets Manager.

Para crear el rol, haga lo siguiente:

  1. En la cuenta PROD, abra la consola de IAM en. https://console.aws.amazon.com/iam/

  2. Seleccione Políticas.

  3. Elija Crear política.

  4. Elija la pestaña JSON y, a continuación, indique una política de IAM como la siguiente:

    {
    "Version": "2012-10-17",		 	 	 
    "Statement": [
        {
            "Effect": "Allow",
            "Action": [
                "secretsmanager:GetResourcePolicy",
                "secretsmanager:GetSecretValue",
                "secretsmanager:DescribeSecret",
                "secretsmanager:ListSecretVersionIds"
            ],
            "Resource": [
                "<Redshift-Creds-Secret-ARN>"
            ]
        },
        {
            "Effect": "Allow",
            "Action": "secretsmanager:ListSecrets",
            "Resource": "*"
        }
    ]
}

    Sustituya Redshift-Creds-Secret-ARN por el nombre de recurso de Amazon (ARN) del secreto de Secrets Manager que contiene la información y las credenciales del clúster de Amazon Redshift.

DevOps ingeniero
TareaDescripciónHabilidades requeridas

Cree un rol para acceder al bucket de S3.

Para crear el rol y acceder al bucket de S3, haga lo siguiente:

  1. En la cuenta de DEV, abra la consola de IAM.

  2.  Seleccione Políticas.

  3. Elija Crear política.

  4.  Elija la pestaña JSON y, a continuación, indique una política de IAM como la siguiente:

    {
  "Version": "2012-10-17",		 	 	 
  "Statement": [
    {
      "Sid": "kmsstmt",
      "Effect": "Allow",
      "Action": [
        "kms:Decrypt",
        "kms:Encrypt",
        "kms:GenerateDataKey"
      ],
      "Resource": [
        "<kms-key-arn>"
      ]
    },
    {
      "Sid": "s3stmt",
      "Effect": "Allow",
      "Action": [
        "s3:PutObject",
        "s3:Get*",
        "s3:List*"
      ],
      "Resource": [
        "arn:aws:s3:::mybucket",
        "arn:aws:s3:::mybucket/*"
      ]
    }
  ]
}

    Sustituya mybucket por el nombre del bucket de S3 al que quiere acceder. Además, si el depósito de S3 está cifrado, kms-key-arn sustitúyalo por el ARN de la clave AWS Key Management Service (AWS KMS) utilizada para cifrar el depósito de S3. De lo contrario, no necesitará la AWS KMS sección de la política.

  5. Elija Revisar política, escriba S3-Write-Policy como nombre de la política y, a continuación, elija Crear política.

  6. Seleccione Roles en el panel de navegación.

  7.  Elija Crear rol.

  8. Para el rol de entidad de confianza, elija Política de confianza personalizada.

  9. Elija Siguiente: permisos y, a continuación, seleccione la política S3-Write-Policy que creó.

  10. Introduzca S3-Write-Role como nombre del rol y, a continuación, elija Crear rol.

DevOps ingeniero

Cree el rol de Amazon Redshift.

Para crear el rol de Amazon Redshift, haga lo siguiente:

  1. En la cuenta de PROD, abra la consola de IAM.

  2. Seleccione Políticas.

  3. Elija Crear política.

  4. Elija la pestaña JSON y, a continuación, indique una política de IAM como la siguiente:

    {
    "Version": "2012-10-17",		 	 	 
    "Statement": [
            {
            "Sid": "CrossAccountPolicy",
            "Effect": "Allow",
            "Action": "sts:AssumeRole",
            "Resource": "S3-Write-Role-ARN"
        }
    ]
}

    Sustituya S3-Write-Role-ARN por el ARN del rol S3-Write-Role de la cuenta de DEV.

  5. Elija Revisar política, escriba S3-Write-Role-Assume-Policy como nombre de la política y, a continuación, elija Crear política.

  6. En el panel de navegación, seleccione Roles y luego seleccione Crear rol.

  7. Elija Servicio de AWS como su tipo de entidad de confianza y, a continuación, elija Redshift, Redshift - personalizable.

  8. Elija Siguiente: permisos y, a continuación, seleccione la política S3-Write-Role-Assume-Policy que creó.

  9. Introduzca CrossAccount-S3-Write-Role como nombre del rol y, a continuación, elija Crear rol.

  10. Asocie el rol de IAM al clúster de Amazon Redshift.

DevOps ingeniero
TareaDescripciónHabilidades requeridas

Implemente la función de Lambda.

Para implementar una función de Lambda en la VPC emparejada, haga lo siguiente:

  1. Abra la consola Lambda en. https://console.aws.amazon.com/lambda/

  2. Elija Funciones.

  3. Elija Crear función.

  4. En Basic information (Información básica), para Function name (Nombre de función), escriba un nombre para la función.

  5. En Tiempo de ejecución, elija Python 3.8.

  6. Amplíe Cambiar rol de ejecución predeterminado y, a continuación, haga lo siguiente:

    1. Elija Usar un rol existente.

    2. En Función existente, seleccione la función Lambda CrossAccount-RM-Read-Role que creó anteriormente.

  7. Amplíe Configuración avanzada y haga lo siguiente:

    1. Seleccione la casilla Habilitar VPC.

    2. En VPC, seleccione la VPC emparejada en la cuenta de DEV.

    3. En Subredes, seleccione la subred privada.

    4. En Grupos de seguridad, seleccione el grupo de seguridad predeterminado.

  8. Elija Crear función.

  9. Agregue la biblioteca psycopg2 como capa a la función de Lambda.

    nota

    Puede utilizar una capa ya implementada del repositorio psycopg2-lambda-layer. Asegúrese de utilizar la URL en función de su tiempo de ejecución Región de AWS y el de Python.

DevOps ingeniero
TareaDescripciónHabilidades requeridas

Importe los recursos necesarios.

Para importar los recursos necesarios, ejecute los comandos siguientes:

import ast
import boto3
import psycopg2
import base64
from botocore.exceptions import ClientError
Desarrollador de aplicaciones

Ejecute la función de controlador de Lambda.

La función Lambda usa AWS Security Token Service (AWS STS) para el acceso entre cuentas y la administración temporal de credenciales. La función utiliza la operación AssumeRole API para asumir temporalmente los permisos de la sm_read_role función de IAM.

Para ejecutar la función de Lambda, utilice el código de ejemplo siguiente:

def lambda_handler(event, context):
    sts_client = boto3.client('sts')

    # Secrets Manager Configurations
    secret_name = "redshift_creds"
    sm_region = "eu-west-1"
    sm_read_role = "arn:aws:iam::PROD_ACCOUNT_NUMBER:role/SM-Read-Role"

    # S3 Bucket Configurations
    s3_bucket_path = "s3://mybucket/"
    s3_bucket_region = "eu-west-1"
    s3_write_role = "arn:aws:iam::DEV_ACCOUNT_NUMBER:role/S3-Write-Role"

    # Redshift Configurations
    sql_query = "select * from category"
    redshift_db = "dev"
    redshift_s3_write_role = "arn:aws:iam::PROD_ACCOUNT_NUMBER:role/CrossAccount-S3-Write-Role"

    chained_s3_write_role = "%s,%s" % (redshift_s3_write_role, s3_write_role)

    assumed_role_object = sts_client.assume_role(
        RoleArn=sm_read_role,
        RoleSessionName="CrossAccountRoleAssumption",
        ExternalId="YOUR_EXTERNAL_ID",
    )
    credentials = assumed_role_object['Credentials']

    secret_dict = ast.literal_eval(get_secret(credentials, secret_name, sm_region))
    execute_query(secret_dict, sql_query, s3_bucket_path, chained_s3_write_role, s3_bucket_region, redshift_db)

    return {
        'statusCode': 200
    }
Desarrollador de aplicaciones

Obtenga el secreto.

Para obtener el secreto de Amazon Redshift, utilice el código de ejemplo siguiente:

def get_secret(credentials, secret_name, sm_region):
    # Create a Secrets Manager client
    session = boto3.session.Session()
    sm_client = session.client(
        service_name='secretsmanager',
        aws_access_key_id=credentials['AccessKeyId'],
        aws_secret_access_key=credentials['SecretAccessKey'],
        aws_session_token=credentials['SessionToken'],
        region_name=sm_region
    )

    try:
        get_secret_value_response = sm_client.get_secret_value(
            SecretId=secret_name
        )
    except ClientError as e:
        print(e)
        raise e
    else:
        if 'SecretString' in get_secret_value_response:
            return get_secret_value_response['SecretString']
        else:
            return base64.b64decode(get_secret_value_response['SecretBinary'])
Desarrollador de aplicaciones

Ejecute el comando unload.

Para descargar los datos en el bucket de S3 utilice el código de ejemplo siguiente:

def execute_query(secret_dict, sql_query, s3_bucket_path, chained_s3_write_role, s3_bucket_region, redshift_db):
    conn_string = "dbname='%s' port='%s' user='%s' password='%s' host='%s'" \
                  % (redshift_db,
                     secret_dict["port"],
                     secret_dict["username"],
                     secret_dict["password"],
                     secret_dict["host"])

    con = psycopg2.connect(conn_string)

    unload_command = "UNLOAD ('{}') TO '{}' IAM_ROLE '{}' DELIMITER '|' REGION '{}';" \
        .format(sql_query,
                s3_bucket_path + str(datetime.datetime.now()) + ".csv",
                chained_s3_write_role,
                s3_bucket_region)

    # Opening a cursor and run query
    cur = con.cursor()
    cur.execute(unload_command)

    print(cur.fetchone())
    cur.close()
    con.close()
Desarrollador de aplicaciones
TareaDescripciónHabilidades requeridas

Elimine la función de Lambda.

Para evitar incurrir en costos imprevistos, elimine los recursos y la conexión entre las cuentas de DEV y PROD.

Para quitar la función de Lambda, haga lo siguiente:

  1. Abra la AWS Lambda consola en. https://console.aws.amazon.com/lambda/

  2. Ubique y seleccione la función de Lambda que creó.

  3. Elija Acciones y, a continuación, elija Eliminar.

  4. Confirme la eliminación.

DevOps ingeniero

Elimine las políticas y los roles de IAM.

Elimine las políticas y los roles de IAM de las cuentas de DEV y PROD.

En la cuenta de DEV, haga lo siguiente:

  1. Abra la consola de IAM.

  2. Elimine los roles siguientes:

    • S3-Write-Role

    • CrossAccount-RM-Read-Role (rol de Lambda)

  3. Elimine las políticas asociadas:

    • S3-Write-Policy

    • La CrossAccount política para asumir las funciones de la cuenta PROD

En la cuenta de PROD, haga lo siguiente:

  1. Abra la consola de IAM.

  2. Elimine los roles siguientes:

    • SM-Read-Role

    • CrossAccount-S3-Write-Role

  3. Elimine las políticas asociadas:

    • La CrossAccount política de acceso a Secrets Manager

    • S3-Write-Role-Assume-Policy

DevOps ingeniero

Elimine el secreto en Secrets Manager.

Para eliminar el secreto, haga lo siguiente:

  1. En la cuenta de PROD, abra la consola de Secrets Manager.

  2. Ubique y seleccione el nombre del secreto Redshift-Creds-Secret.

  3. Elija Actions (Acciones) y Delete secret (Eliminar secreto).

  4. Confirme la eliminación.

DevOps ingeniero

Elimine las reglas de grupos de seguridad y emparejamiento de VPC.

Para eliminar las reglas de grupos de seguridad y emparejamiento de VPC, haga lo siguiente:

  1. En la cuenta PROD, abre la EC2 consola Amazon en https://console.aws.amazon.com/ec2/.

  2. Vaya a Grupos de seguridad.

  3. Encuentre el grupo de seguridad que utiliza el clúster de Amazon Redshift.

  4. Edite las reglas de entrada y elimine la regla que permite las conexiones desde la VPC de Lambda de la cuenta de DEV.

  5. Vaya a Conexiones de emparejamiento de VPC y elimine la conexión de emparejamiento.

DevOps ingeniero

Elimine los datos del bucket de S3.

Para eliminar los datos de Amazon S3, haga lo siguiente:

  1. En la cuenta DEV, abra la consola Amazon S3 en https://console.aws.amazon.com/s3/.

  2. Encuentre el bucket que utilizó para el almacenamiento de datos.

  3. Elimine los objetos del bucket o elimine todo el bucket si ya no es necesario.

DevOps ingeniero

Limpia AWS KMS las llaves.

Si ha creado alguna AWS KMS clave personalizada para el cifrado, haga lo siguiente:

  1. Abra la AWS KMS consola en https://console.aws.amazon.com/kms/.

  2. Encuentre las claves creadas para este patrón.

  3. Programe la eliminación de claves. (Hay un periodo de espera obligatorio para eliminar la clave).

DevOps ingeniero

Revisa y elimina los CloudWatch registros de Amazon.

Para eliminar los CloudWatch registros, haga lo siguiente:

  1. Abra la CloudWatch consola en https://console.aws.amazon.com/cloudwatch/.

  2. Compruebe si hay grupos de registros que haya creado la función de Lambda o el clúster de Amazon Redshift.

  3. Elimine estos grupos de registro si ya no son necesarios.

DevOps ingeniero

Recursos relacionados

Información adicional

Después de descargar los datos de Amazon Redshift en Amazon S3, puede analizarlos mediante Amazon Athena.

Amazon Athena es un servicio de consultas de macrodatos que resulta útil cuando es necesario acceder a volúmenes grandes de datos. Puede utilizar Athena sin tener que aprovisionar servidores ni bases de datos. Athena admite consultas complejas y puede ejecutarla en objetos distintos.

Como ocurre con la mayoría Servicios de AWS, la principal ventaja de usar Athena es que proporciona una gran flexibilidad en la forma de ejecutar las consultas sin la complejidad adicional. Cuando utiliza Athena, puede consultar distintos tipos de datos, como CSV y JSON, en Amazon S3 sin cambiar el tipo de datos. Puede consultar datos de diversas fuentes, incluso externas AWS. Athena reduce la complejidad porque no es necesario que administre los servidores. Athena lee los datos de manera directa de Amazon S3 sin cargarlos ni cambiarlos antes de ejecutar la consulta.