Creación de un catálogo administrado de Amazon Redshift en el AWS Glue Data Catalog

Cómo crear un catálogo administrado y configurar los permisos (consola)

1. Abra la consola de Lake Formation en https://console.aws.amazon.com/lakeformation/.

2. En el panel de navegación, elija Catálogos en Catálogo de datos.

3. Seleccione la opción Crear catálogo.

4. En la página de detalles Establecer catálogo, facilite la siguiente información:

   • Nombre: un nombre exclusivo para el catálogo administrado. El nombre no se puede cambiar y debe ir en minúsculas. El nombre puede tener un máximo de 255 caracteres.

   • Tipo: elija Managed catalog como tipo de catálogo.

   • Almacenamiento: elija Redshift para el almacenamiento.

   • Descripción: escriba una descripción para el catálogo creado desde el origen de datos.

5. Puede utilizar las aplicaciones de Apache Spark que se ejecutan en Amazon EMR en Amazon EC2 para acceder a las bases de datos de Amazon Redshift en el AWS Glue Data Catalog.

   Para permitir que Apache Spark lea y escriba en el almacenamiento administrado de Amazon Redshift, AWS Glue crea un clúster de Amazon Redshift administrado con los recursos de computación y de almacenamiento necesarios para realizar operaciones de lectura y escritura sin afectar a las cargas de trabajo del almacén de datos de Amazon Redshift. También debe proporcionar un rol de IAM con los permisos necesarios para transferir datos hacia y desde el bucket de Amazon S3. Para conocer los permisos necesarios para el rol de transferencia de datos, consulte el paso 5 de la sección Requisitos previos para administrar los espacios de nombres de Amazon Redshift en AWS Glue Data Catalog.

6. De forma predeterminada, los datos del clúster de Amazon Redshift se cifran con una clave administrada por AWS. Lake Formation ofrece una opción para crear la clave de KMS personalizada para el cifrado. Si utiliza una clave administrada por el cliente, debe agregar políticas de claves específicas a la clave.

7. Elija Personalización de la configuración de cifrado si utiliza una clave administrada por el cliente para cifrar los datos del almacenamiento administrado de Amazon Redshift. Para usar una clave personalizada, debe agregar una política de claves administradas personalizadas adicionales a la clave de KMS. Para obtener más información, consulte Requisitos previos para administrar los espacios de nombres de Amazon Redshift en AWS Glue Data Catalog.

8. Opciones de cifrado: elija la opción Personalizar la configuración de cifrado si desea utilizar una clave personalizada para cifrar el catálogo. Para usar una clave personalizada, debe agregar una política de claves administradas personalizadas adicionales a la clave de KMS.

9. Seleccione Siguiente para conceder permisos a otras entidades principales.

10. En la página Concesión de permisos, elija Agregar permisos.

11. En la pantalla Agregar permisos, elija las entidades principales y los tipos de permisos que desea conceder.

    

    • En la sección Entidades principales, elija uno de los tipos y, a continuación, especifique las que van a recibir los permisos concedidos.

      • Usuarios y roles de IAM: elija uno o varios usuarios o roles de la lista de usuarios y roles de IAM.

      • Usuarios y grupos de SAML: para los usuarios y grupos de SAML y Amazon Quick Suite, introduzca uno o más nombres de recursos de Amazon (ARN) para los usuarios o grupos federados mediante SAML, o ARN para los usuarios o grupos de Amazon Quick Suite. Pulse Intro después de cada ARN.

        Para obtener información sobre cómo crear ARN, consulte los comandos de concesión y revocación de la AWS CLI.

    • En la sección Permisos, seleccione los permisos y los permisos concedibles.

      En Permisos de catálogo, seleccione uno o más permisos para conceder.

      Elija Superusuario para adjudicar permisos administrativos sin restricciones en todos los recursos del catálogo.

      En Permisos concesibles, seleccione los permisos que el destinatario de la concesión puede conceder a otras entidades principales en la cuenta de AWS. Esta opción no es compatible cuando se conceden permisos a una entidad principal de IAM desde una cuenta externa.

12. Elija Siguiente para revisar la información y crear el catálogo. La lista Catálogos muestra el nuevo catálogo administrado.

Creación de un catálogo federado (CLI)

• En el siguiente ejemplo, se muestra cómo crear un catálogo federado.

  aws glue create-catalog --cli-input-json file://input.json
  
  {
      "Name": "CatalogName", 
      "CatalogInput": {
        "Description": "Redshift published Catalog",
        "CreateDatabaseDefaultPermissions" : [],
        "CreateTableDefaultPermissions": [],
        "CatalogProperties": {
          "DataLakeAccessProperties" : {
            "DataLakeAccess" : "true",
            "DataTransferRole" : "DTR arn",
            "KMSKey": "kms key arn",  // Optional
            "CatalogType": "aws:redshift"
          }  
        }
      }
  }                     
                         

  Respuesta de Glue get-catalog

  aws glue get-catalog \
    --catalog-id account-id:catalog-name \
    --region us-east-1
  
  Response:
  {
      "Catalog": {
          "Name": "CatalogName", 
          "Description": "Glue Catalog for Redshift z-etl use case",
          "CreateDatabaseDefaultPermissions" : [],
          "CreateTableDefaultPermissions": [],
           "CatalogProperties": {
            "DataLakeAccessProperties" : {
              "DataLakeAccess": "true",
              "DataTransferRole": "DTR arn",
              "KMSKey": "kms key arn",
              "ManagedWorkgroupName": "MWG name",
              "ManagedWorkgroupStatus": "MWG status",
              "RedshiftDatabaseName": "RS db name",
              "NamespaceArn": "namespace key arn",
              "CatalogType": "aws:redshift"
           }
         }
      }