View a markdown version of this page

Creación y administración de integraciones - AWS Glue
Creación de una integraciónModificación de una integraciónEliminación de una integraciónEstados de integración

Creación y administración de integraciones

Creación de una integración

En esta sección se describen los pasos generales para crear una integración. En este ejemplo, se utiliza Amazon DynamoDB como origen.

  1. En la página de inicio de la consola de AWS Glue, seleccione integraciones zero-ETL.

  2. Puede ver todas sus integraciones en la página de inicio de integraciones zero-ETL. Para crear una nueva integración, seleccione Crear una integración zero-ETL.

    Esta captura de pantalla muestra la página principal de la integración zero-ETL.

  3. Se le solicitará que seleccione un tipo de origen. Seleccione el origen y haga clic en Siguiente. Consulte las secciones de configuración del origen para ver los orígenes de integración de SaaS.

  4. En la página Configurar origen y destino, seleccione las tablas o entidades que desee replicar. En Amazon DynamoDB, asegúrese de que las políticas de PITR y RBAC estén configuradas.

  5. Especifique su destino de integración:

    • Para un destino de catálogo de datos de AWS Glue, seleccione la base de datos de AWS Glue en la que desee replicar los datos.

    • Para un destino de almacenamiento de datos de Amazon Redshift, seleccione el espacio de nombres del clúster de Redshift o el espacio de nombres del grupo de trabajo de Redshift sin servidor.

    Para obtener más información, consulte Configuración de la integración con su destino.

  6. Indique el rol de IAM de destino que creó en los requisitos previos.

  7. Si desea configurar una clave KMS de destino opcional para los datos que se almacenan en el destino, proporcione una clave KMS habilitada. Del mismo modo, si desea configurar una conexión de red de destino, seleccione una conexión de AWS Glue.

  8. El botón Fijar destino configura algunos de los pasos de la sección de requisitos previos de esta documentación. Es decir, 1) proporcionará una política RBAC para el catálogo y 2) si no se proporciona un URI de Amazon S3, generará uno para usted; de lo contrario, utilizará el URI proporcionado.

  9. En la sección Configuración de salida de la página Configurar origen y destino, seleccione la opción para quitar del anidamiento el esquema que desee para sus datos en el destino. Si desea utilizar las claves de partición del cliente para sus datos, seleccione Especificar claves de partición personalizadas y proporcione hasta 10 claves. De lo contrario, simplemente puede usar las claves de partición asignadas a la tabla de DynamoDB que se está replicando.

  10. En la sección Seguridad y cifrado de datos, puede proporcionar una clave KMS que se utilizará en el proceso intermedio de replicación de los datos en el destino. De lo contrario, se utilizará una clave KMS administrada por AWS. Introduzca un nombre para la integración zero-ETL en los detalles de la integración.

  11. Revise y asegúrese de que todos los detalles proporcionados sean correctos. Haga clic en Crear e iniciar la integración una vez que se haya confirmado todo.

  12. En la página de inicio Sin ETL, puede seleccionar la integración que haya creado para ver los detalles de esta. El campo “Estado” indica el estado de la integración.

Modificación de una integración

Puede modificar una integración existente.

  1. Seleccione Editar en la esquina superior derecha de la página de detalles de la integración.

  2. En la página Editar origen y destino, puede cambiar el rol de IAM de destino y la conexión de red de destino. El resto de campos no se pueden editar tras la creación de la integración. Haga clic en Next (Siguiente).

  3. También puede editar el nombre y la descripción de la integración en la página Editar integración y configuración. Haga clic en Next (Siguiente).

  4. Revise las modificaciones y, una vez confirmadas, haga clic en Actualizar integración.

Eliminación de una integración

La eliminación es un estado terminal de una integración. Una vez que se elimina, la integración no se puede reactivar. Al eliminar una integración, se borran todos los metadatos internos y cualquier dato intermedio almacenado.

Durante este proceso, se finaliza cualquier tarea en ejecución que consista en escribir datos en una tabla de destino. AWS Glue no eliminará ni limpiará la base de datos de AWS Glue de destino (en el catálogo de datos) ni los datos asociados en el bucket de Amazon S3 de su cuenta. Si es necesario, debe eliminarlos de forma explícita.

Para eliminar una integración:

  1. En la página de detalles de la integración, haga clic en Eliminar.

  2. Introduzca “Eliminar” y haga clic en Eliminar. Nota: Esta es una acción irreversible.

  3. En la página de detalles de la integración, el estado muestra el mensaje “Eliminando”. Una vez que se elimine realmente la integración, dejará de aparecer en la página de inicio de la integración zero-ETL.

Estados de integración

La integración pasa por varios estados desde su creación hasta su eliminación:

  • CREATING: es el primer estado en el que se inicia la creación de la integración. En este estado, AWS Glue se encarga de las inicializaciones. Este estado debería pasar rápidamente al estado CREADO, a menos que falten algunas configuraciones.

  • ACTIVE: una vez que la integración alcance este estado, AWS Glue iniciará la transferencia de datos (carga completa inicial). A menos que haya problemas con los permisos, una vez completada la carga completa inicial, se recopilarán los datos de los cambios periódicos.

  • MODIFYING: una vez que modifique la integración, esta pasará al estado de modificación. Una vez aplicada la modificación, la integración pasa a ACTIVE si la integración se ha hecho correctamente después de la modificación o a NEEDS_ATTENTION o FAILED si se ha producido algún problema.

  • NEEDS_ATTENTION: la integración pasará a este estado si se produce un error del usuario o del sistema. Los errores de usuario incluyen la falta de permisos, la falta de recursos de origen o destino y los errores de datos no admitidos. Los errores del sistema incluyen los errores internos del sistema. Para ambos tipos de error, la característica zero-ETL de AWS Glue volverá a intentar sincronizar los datos durante 7 días antes de marcar la integración como FALLIDA. Si soluciona el problema antes, la integración volverá al estado ACTIVA y empezará a transferir datos.

  • SYNCING: la integración pasará a este estado si la característica zero-ETL de AWS Glue detecta algún cambio en el tipo de datos en relación con el esquema entrante de las columnas de la tabla o tablas. En esos casos, la característica zero-ETL de AWS Glue solicitará un nuevo conjunto de instantáneas para todas esas tablas. Durante este tiempo, la integración estará en estado SINCRONIZANDO y, finalmente, pasará al estado ACTIVA una vez que las instantáneas recién solicitadas estén disponibles para su ingesta.

  • FAILED: se trata de un estado no recuperable. Una vez que la integración pasa a este estado, no pude recuperarse. La única forma de volver a iniciar la transferencia de datos del origen al destino es eliminar y volver a crear la integración. Si la característica zero-ETL de AWS Glue identifica que el error del usuario o del sistema no se ha corregido durante un periodo de 7 días y se han agotado todos los intentos, la característica zero-ETL de AWS Glue marcará la integración como FALLIDA.

  • DELETING: cuando se invoca la API de eliminación de la integración, AWS Glue primero se mueve la integración al estado ELIMINANDO. Una vez que se hayan borrado todos los metadatos y se hayan finalizado los procesamientos internos, AWS Glue pasará la integración al estado ELIMINADA.

  • DELETED: este es el estado terminal de la integración. La integración no se puede mover de este estado a ningún otro estado. Si se requiere la transferencia de datos del mismo origen al destino, debe volver a crear la integración.