Configuración de un destino de una integración zero-ETL

Al configurar un destino de una integración zero-ETL, AWS Glue ofrece varias opciones. El destino puede ser un almacenamiento de datos cifrado de Amazon Redshift o una arquitectura de lake house de Amazon SageMaker.

Antes de seleccionar el destino para la integración zero-ETL, debe configurar uno de los siguientes recursos de destino. Las opciones de configuración de un destino en una integración zero-ETL incluyen:

Configuración de un destino de bucket de S3 de uso general

En esta sección se describen los requisitos previos y los pasos de configuración para configurar un bucket de S3 de uso general como almacenamiento para el destino de una integración zero-ETL con la arquitectura de lake house de Amazon SageMaker.

Antes de crear una integración zero-ETL con la arquitectura de lake house de Amazon SageMaker mediante el almacenamiento de S3 de uso general, debe completar las siguientes tareas de configuración:

Configuración de una base de datos de AWS Glue

Para configurar una base de datos de destino en el Catálogo de datos con una ubicación de bucket de Amazon S3 de uso general:

Para obtener información sobre cómo crear una nueva base de datos en AWS Glue, consulte Introducción al Catálogo de datos.

También puede usar la CLI de create-database para crear la base de datos en AWS Glue. Tenga en cuenta que es necesario incluir LocationUri en --database-input.

Optimización de las tablas de Iceberg

Una vez que AWS Glue cree una tabla en la base de datos de destino, puede habilitar la compactación para acelerar las consultas en Amazon Athena. Para obtener información sobre cómo configurar los recursos (rol de IAM) para la compactación, consulte los requisitos previos de optimización de la tabla.

Para obtener más información sobre cómo configurar la compactación en la tabla de AWS Glue que creó la integración, consulte Optimización de las tablas de Iceberg.

Cómo proporcionar una política de acceso basado en recursos (RBAC) al catálogo

En el caso de las integraciones que utilizan una base de datos de AWS Glue, añada los siguientes permisos a la política de RBAC del catálogo para permitir las integraciones entre el origen y el destino.

Puede acceder a la configuración del catálogo en Catálogo de datos. A continuación, proporcione los siguientes permisos y rellene la información que falta.

{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Principal": {
        "AWS": [
            "arn:aws:iam::123456789012:user/Alice"
        ]
      },
      "Effect": "Allow",
      "Action": [
        "glue:CreateInboundIntegration"
      ],
      "Resource": [
          "arn:aws:glue:us-east-1:111122223333:catalog",
          "arn:aws:glue:us-east-1:111122223333:database/database-name"
      ],
      "Condition": {
        "StringLike": {
        "aws:SourceArn": "arn:aws:dynamodb:us-east-1:444455556666:table/table-name"
        }
      }
    },
    {
      "Principal": {
        "Service": [
          "glue.amazonaws.com"
        ]
      },
      "Effect": "Allow",
      "Action": [
        "glue:AuthorizeInboundIntegration"
      ],
      "Resource": [
          "arn:aws:glue:us-east-1:111122223333:catalog",
          "arn:aws:glue:us-east-1:111122223333:database/database-name"
      ],
      "Condition": {
        "StringEquals": {
        "aws:SourceArn": "arn:aws:dynamodb:us-east-1:444455556666:table/table-name"
        }
      }
    }
  ]
}

Creación de un rol de IAM de destino

Cree un rol de IAM de destino con los siguientes permisos y relaciones de confianza:

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Action": "s3:ListBucket",
            "Resource": "arn:aws:s3:::amzn-s3-bucket",
            "Effect": "Allow"
        },
        {
            "Action": [
                "s3:GetObject",
                "s3:PutObject",
                "s3:DeleteObject"
            ],
            "Resource": "arn:aws:s3:::amzn-s3-demo-bucket/prefix/*",
            "Effect": "Allow"
        },
        {
            "Action": [
                "glue:GetDatabase"
            ],
            "Resource": [
                "arn:aws:glue:us-east-1:111122223333:catalog",
                "arn:aws:glue:us-east-1:111122223333:database/database-name"
            ],
            "Effect": "Allow"
        },
        {
            "Action": [
                "glue:CreateTable",
                "glue:GetTable",
                "glue:GetTables",
                "glue:DeleteTable",
                "glue:UpdateTable",
                "glue:GetTableVersion",
                "glue:GetTableVersions",
                "glue:GetResourcePolicy"
            ],
            "Resource": [
                "arn:aws:glue:us-east-1:111122223333:catalog",
                "arn:aws:glue:us-east-1:111122223333:database/database-name",
                "arn:aws:glue:us-east-1:111122223333:table/database-name/*"
            ],
            "Effect": "Allow"
        },
        {
            "Action": [
                "cloudwatch:PutMetricData"
            ],
            "Resource": "*",
            "Condition": {
                "StringEquals": {
                    "cloudwatch:namespace": "AWS/Glue/ZeroETL"
                }
            },
            "Effect": "Allow"
        },
        {
            "Action": [
                "logs:CreateLogGroup",
                "logs:CreateLogStream",
                "logs:PutLogEvents"
            ],
            "Resource": "*",
            "Effect": "Allow"
        }
    ]
}

Agregue la siguiente política de confianza para permitir que el servicio AWS Glue asuma el rol:

{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Effect": "Allow",
      "Principal": {
        "Service": "glue.amazonaws.com"
      },
      "Action": "sts:AssumeRole"
    }
  ]
}

Asociación del rol de destino, KMS (opcional) y la conexión (opcional) al recurso de destino

Asocie el rol de destino anterior al recurso de destino, es decir, la base de datos de AWS Glue. Opcionalmente, se puede configurar KMS para cifrar los datos antes de almacenarlos en la tabla iceberg de destino y el ARN de conexión para acceder al bucket de S3 para la base de datos de AWS Glue de destino. Esto permitirá que AWS Glue acceda a los datos de la ubicación de S3 de destino mediante el rol proporcionado y, opcionalmente, cifrarlos con la clave de KMS proporcionada. Si el bucket de S3 de destino está configurado para que sea accesible mediante una VPC determinada, se puede asociar el ARN de conexión para permitir que AWS Glue ejecute el procesamiento dentro de esa VPC. Para obtener más información sobre la configuración de una VPC, consulte Creación de una VPC.

Uso de la AWS Glue CLI o API:

aws glue create-integration-resource-property \
--resource-arn arn:aws:glue:us-east-1:123456789012:database/database-name \
--target-processing-properties '{"RoleArn": "arn:aws:iam::123456789012:role/gmi_target_role"}' \
--region us-east-1

(Opcional) Configuración de las propiedades de la tabla de destino

Opcionalmente, las propiedades de la tabla de destino se pueden configurar para las tablas de destino que se van a sincronizar con el destino.

Puede configurar estos ajustes en la sección Configuración de salida del flujo de trabajo de creación de integraciones de la consola de AWS Glue:

Al seleccionar Especificar claves de partición personalizadas, puede configurar las claves de partición y sus especificaciones de función y conversión:

Si el origen y el destino están en la misma cuenta, esta configuración se puede realizar como parte del flujo de trabajo de creación de integraciones desde la interfaz de usuario de la consola de AWS Glue. Sin embargo, si el destino está en una cuenta diferente, es necesario completar esta configuración antes de crear la integración. Al usar la CLI o la API, esto debe hacerse antes de invocar la API Create-Integration, incluso cuando el origen y el destino estén en la misma cuenta. La interfaz de usuario de la consola de AWS Glue simplemente encapsula esta llamada a la API para el mismo escenario de cuenta.

Si no está configurado, se utilizarán los valores predeterminados al sincronizar la tabla. Esta configuración también se puede cambiar en cualquier momento después de la creación de la integración.

Mediante la CLI o la API:

aws glue create-integration-table-properties \
--resource-arn arn:aws:glue:us-east-1:123456789012:database/database-name \
--table-name table-name \
--target-table-config '{
        "UnnestSpec":"TOPLEVEL"|"FULL"|"NOUNNEST",
        "PartitionSpec":
            [
                {
                    "FieldName":"string",
                    "FunctionSpec":"string",
                    "ConversionSpec":"string"}
                    ...
             ],
         "TargetTableName":"string"
     }' \
--region us-east-1

Tras configurar la arquitectura de lake house de Amazon SageMaker con el almacenamiento del bucket de Amazon S3 de uso general, puede ir a Configuración de la integración con su destino para completar la configuración de la integración.

Configuración de un destino de bucket de Tablas de Amazon S3

En esta sección se describen los requisitos previos y los pasos de configuración para configurar las tablas de Amazon S3 como destino para su integración zero-ETL mediante la arquitectura de lake house de Amazon SageMaker.

Antes de crear una integración zero-ETL con las tablas de Amazon S3 como destino, debe completar las siguientes tareas de configuración:

Configuración del bucket de Tablas de Amazon S3 (con la integración de los servicios de análisis)

Proporcionar la política de RBAC del catálogo

Los siguientes permisos deben añadirse a la política de RBAC del catálogo para permitir las integraciones entre el origen y el destino del catálogo de las tablas de Amazon S3.

La política de recursos del catálogo de AWS Glue de destino debe incluir los permisos del servicio de AWS Glue en AuthorizeInboundIntegration. Además, se requiere el permiso CreateInboundIntegration en la entidad principal de origen que crea la integración o en la política de recursos de AWS Glue de destino.

{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Principal": {
        "AWS": [
            "arn:aws:iam::123456789012:user/Alice"
        ]
      },
      "Effect": "Allow",
      "Action": [
        "glue:CreateInboundIntegration"
      ],
      "Resource": [
          "arn:aws:glue:us-east-1:111122223333:catalog/s3tablescatalog/*"
      ],
      "Condition": {
        "StringLike": {
        "aws:SourceArn": "arn:aws:dynamodb:us-east-1:444455556666:table/table-name"
        }
      }
    },
    {
      "Principal": {
        "Service": [
          "glue.amazonaws.com"
        ]
      },
      "Effect": "Allow",
      "Action": [
        "glue:AuthorizeInboundIntegration"
      ],
      "Resource": [
      "arn:aws:glue:us-east-1:111122223333:catalog/s3tablescatalog/*"
      ],
      "Condition": {
        "StringEquals": {
        "aws:SourceArn": "arn:aws:dynamodb:us-east-1:444455556666:table/table-name"
        }
      }
    }
  ]
}

Crear el rol de IAM de destino

Cree un rol de IAM de destino con los siguientes permisos y relaciones de confianza:

{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Action": [
        "s3tables:ListTableBuckets",
        "s3tables:GetTableBucket",
        "s3tables:GetTableBucketEncryption",
        "s3tables:GetNamespace",
        "s3tables:CreateNamespace",
        "s3tables:ListNamespaces",
        "s3tables:CreateTable",
        "s3tables:DeleteTable",
        "s3tables:GetTable",
        "s3tables:GetTableEncryption",
        "s3tables:ListTables",
        "s3tables:GetTableMetadataLocation",
        "s3tables:UpdateTableMetadataLocation",
        "s3tables:GetTableData",
        "s3tables:PutTableData"
      ],
      "Resource": "arn:aws:s3tables:us-east-1:111122223333:bucket/s3-table-bucket",
      "Effect": "Allow"
    },
    {
      "Action": [
        "cloudwatch:PutMetricData"
      ],
      "Resource": "*",
      "Condition": {
        "StringEquals": {
          "cloudwatch:namespace": "AWS/Glue/ZeroETL"
        }
      },
      "Effect": "Allow"
    },
    {
      "Action": [
        "logs:CreateLogGroup",
        "logs:CreateLogStream",
        "logs:PutLogEvents"
      ],
      "Resource": "*",
      "Effect": "Allow"
    }
  ]
}

Agregue la siguiente política de confianza en el rol de IAM de destino para permitir que el servicio de AWS Glue asuma el rol:

{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Effect": "Allow",
      "Principal": {
        "Service": "glue.amazonaws.com"
      },
      "Action": "sts:AssumeRole"
    }
  ]
}

Asociación del rol de destino, KMS (opcional) y la conexión (opcional) al recurso de destino

Asocie el rol de destino anterior al recurso de destino. Opcionalmente, se puede configurar KMS para cifrar los datos antes de almacenarlos en la tabla iceberg de destino y el ARN de conexión para acceder al bucket de S3 de destino. Si el bucket de S3 de destino está configurado para que sea accesible mediante una VPC determinada, se puede asociar el ARN de conexión para permitir que AWS Glue ejecute el procesamiento dentro de esa VPC. Para obtener más información sobre la configuración de una VPC, consulte Creación de una VPC.

Mediante la AWS Glue CLI o API:

aws glue create-integration-resource-property \
--resource-arn arn:aws:glue:us-east-1:123456789012:catalog/s3tablescatalog/S3 table bucket name \
--target-processing-properties '{
                    "RoleArn": "arn:aws:iam::123456789012:role/target_role"
                }' \
--region us-east-1

(Opcional) Configuración de las propiedades de la tabla de destino

Opcionalmente, las propiedades de la tabla de destino se pueden configurar para las tablas de destino que se van a sincronizar con el destino. Se aplican las mismas reglas que se describen en la sección de destinos de S3 de uso general.

Mediante la CLI o la API:

aws glue create-integration-table-properties \
--resource-arn arn:aws:glue:us-east-1:123456789012:catalog/s3tablescatalog/S3 table bucket name \
--table-name table-name \
--target-table-config '' \
--region us-east-1

Tras configurar el almacenamiento de Tablas de Amazon S3 con la arquitectura de lake house Amazon SageMaker, puede ir a Configuración de la integración con su destino para completar la configuración de la integración.

Configuración de un destino de almacenamiento administrado de Amazon Redshift

En esta sección se describen los requisitos previos y los pasos de configuración para configurar un almacenamiento administrado de Amazon Redshift (RMS) como destino para la integración zero-ETL mediante la arquitectura de lake house de Amazon SageMaker.

Antes de crear una integración zero-ETL con una arquitectura de lake house de Amazon SageMaker mediante el uso del almacenamiento administrado de Redshift, debe completar las siguientes tareas de configuración:

Configuración del almacenamiento administrado de Amazon Redshift

Para configurar un almacenamiento administrado de Amazon Redshift para su integración zero-ETL:

Tras configurar el catálogo de Amazon SageMaker Lakehouse con el almacenamiento administrado de Amazon Redshift, puede ir a Configuración de la integración con su destino para completar la configuración de la integración.

Configuración de un destino de almacén de datos de Amazon Redshift

En esta sección se describen los requisitos previos y los pasos de configuración para configurar un almacén de datos de Amazon Redshift como destino para su integración zero-ETL.

Antes de crear una integración zero-ETL con un destino del almacén de datos de Amazon Redshift, debe completar las siguientes tareas de configuración:

Configuración del almacén de datos de Amazon Redshift

Para configurar un almacén de datos de Amazon Redshift en su integración zero-ETL:

Tras configurar el almacén de datos de Amazon Redshift, puede ir a Configuración de la integración con su destino para completar la configuración de la integración.

Configuración de la integración con su destino

Tras configurar los recursos de origen y destino, siga estos pasos para completar la configuración de la integración:

Utilice lo siguiente para crear la integración mediante la API o la CLI: API CreateIntegration.