Conversión de paquetes de SSIS a AWS Glue Studio con AWS Schema Conversion Tool - AWS Schema Conversion Tool
Requisitos previosAgregación de paquetes de SSIS a su proyecto de AWS SCTConversión de paquetes de SSISCreación de trabajos de AWS Glue StudioCreación de un informe de evaluación de la conversión de SSISComponentes de SSIS admitidos

Conversión de paquetes de SSIS a AWS Glue Studio con AWS Schema Conversion Tool

Obtenga información sobre cómo convertir paquetes de Microsoft SQL Server Integration Services (SSIS) a AWS SCT mediante AWS Glue Studio.

Un paquete de SSIS incluye los componentes necesarios, como el administrador de conexiones, las tareas, el flujo de control, el flujo de datos, los parámetros, los controladores de eventos y las variables, para ejecutar una tarea específica de extracción, transformación y carga (ETL). AWS SCT convierte los paquetes de SSIS a un formato compatible con AWS Glue Studio. Tras migrar la base de datos de origen a la Nube de AWS, puede ejecutar estos trabajos de AWS Glue Studio convertidos para realizar tareas de ETL.

Para convertir paquetes de Microsoft SSIS a AWS Glue Studio, utilice la versión 1.0.661 de AWS SCT o una versión posterior.

Requisitos previos

En esta sección, se explican los requisitos previos para la conversión de paquetes de SSIS a AWS Glue. Estas tareas incluyen la creación de los recursos de AWS necesarios en su cuenta.

Puede usar AWS Identity and Access Management (IAM) para definir políticas y roles que AWS Glue Studio utiliza para acceder a recursos. Para obtener más información, consulte Permisos de IAM para el usuario de AWS Glue Studio.

Una vez que AWS SCT haya convertido los scripts de origen a AWS Glue Studio, cárguelos en un bucket de Amazon S3. Cree este bucket de Amazon S3 y selecciónelo en la configuración del perfil de servicios de AWS. Para obtener más información sobre la creación de un bucket de Amazon S3, consulte Crear su primer bucket de S3 en la Guía del usuario de Amazon Simple Storage Service.

Para asegurarse de que AWS Glue Studio puede conectarse a su almacén de datos, cree un conector personalizado y una conexión. Además, almacene las credenciales de la base de datos en AWS Secrets Manager.

Para crear un conector personalizado

  1. Descargue el controlador JDBC para su almacén de datos. Para obtener más información sobre los controladores JDBC que utiliza AWS SCT, consulte. Instalación de controladores JDBC para AWS Schema Conversion Tool

  2. Cargue este archivo de controlador en el bucket de Amazon S3. Para obtener más información, consulte Cargar un objeto en su bucket en la Guía del usuario de Amazon Simple Storage Service.

  3. Inicie sesión en la Consola de administración de AWS y abra la consola de AWS Glue Studio en https://console.aws.amazon.com/gluestudio/.

  4. Elija Conectores y, a continuación, elija Crear conector personalizado.

  5. En URL de S3 del conector, elija Browse S3 y elija el archivo del controlador JDBC que cargó en su bucket de Amazon S3.

  6. Escriba un nombre descriptivo para el conector. Por ejemplo, escriba SQLServer.

  7. En Tipo de conector, elija JDBC.

  8. En Nombre de clase, introduzca el nombre de la clase principal del controlador JDBC. En Servidor de SQL, introduzca com.microsoft.sqlserver.jdbc.SQLServerDriver.

  9. En Base de URL de JDBC, introduzca la URL base de JDBC. La sintaxis de la URL base de JDBC depende del motor de la base de datos de origen. Para el formato SQL, utilice el siguiente formato: jdbc:sqlserver://$<host>:$<port>;databaseName=$<dbname>;user=$<username>;password=$<password>.

    Sustituya <host>, <port>, <dbname>, <username> y <password> por sus valores.

  10. En Delimitador de parámetros de URL, introduzca el punto y coma (;).

  11. Elija Crear conector.

Para almacenar credenciales de la base de datos en AWS Secrets Manager

  1. Inicie sesión en la Consola de administración de AWS y abra la consola de AWS Secrets Manager en https://console.aws.amazon.com/secretsmanager/.

  2. Elija Almacenar un secreto nuevo.

  3. En la página Elegir tipo de secreto, haga lo siguiente:

    1. En Tipo de secreto, elija Otro tipo de secreto.

    2. En Pares clave/valor, escriba las claves siguientes: host, port, dbname, username y password.

      A continuación, introduzca los valores de estas claves.

  4. En la página Configurar secreto, introduzca un nombre de secreto descriptivo. Por ejemplo, escriba . SQL_Server_secret.

  5. Elija Siguiente. En la página Configurar rotación, seleccione Siguiente.

  6. En la página Revisar, revise los detalles del secreto y, a continuación, elija Almacenar.

Para crear una conexión para su conector

  1. Inicie sesión en la Consola de administración de AWS y abra la consola de AWS Glue Studio en https://console.aws.amazon.com/gluestudio/.

  2. Elija el conector para el que desea crear una conexión y, a continuación, elija Crear conexión.

  3. En la página Crear conexión, introduzca un nombre descriptivo para la conexión. Por ejemplo, escriba . SQL-Server-connection.

  4. En Secreto de AWS, elija el secreto que creó en AWS Secrets Manager.

  5. Configure Opciones de red y, a continuación, seleccione Crear conexión.

Ahora puede crear un trabajo de AWS Glue Studio con un conector personalizado. Para obtener más información, consulte Creación de trabajos de AWS Glue Studio.

Agregación de paquetes de SSIS a su proyecto de AWS SCT

Puede agregar varios paquetes de SSIS a un único proyecto de AWS SCT.

Para Agregar paquetes de SSIS al proyecto de AWS SCT

  1. Cree un proyecto nuevo con AWS SCT o abra un proyecto existente. Para obtener más información, consulte Inicio y administración de proyectos en AWS SCT.

  2. Elija Agregar origen en el menú y, a continuación, elija SQL Server Integration Services.

  3. En Nombre de conexión, escriba un nombre para los paquetes de SSIS. AWS SCT muestra este nombre en el árbol del panel izquierdo.

  4. En carpeta de paquetes de SSIS, introduzca la ruta a la carpeta con los paquetes de SSIS de origen.

  5. Elija Agregar destino en el menú y, a continuación, seleccione AWS Glue Studio.

    Para conectarse a AWS Glue Studio, AWS SCT usa su perfil de AWS. Para obtener más información, consulte Administración de perfiles en AWS Schema Conversion Tool.

  6. Cree una regla de asignación que incluya su paquete de SSIS de origen y su destino de AWS Glue Studio. Para obtener más información, consulte Asignación de tipos de datos en AWS Schema Conversion Tool.

  7. Cree conexiones de AWS Glue Studio en la consola de AWS Glue Studio. Para obtener más información, consulte Creación de conexiones para conectores.

  8. Seleccione Administradores de conexiones en la vista de árbol de la izquierda, abra el menú contextual (clic secundario) y, a continuación, elija Configurar conexiones.

    AWS SCT muestra la ventana Configurar conexiones.

  9. Para cada conexión de SSIS de origen, elija una conexión de AWS Glue Studio.

Conversión de paquetes de SSIS a AWS Glue Studio con AWS SCT

A continuación, descubra cómo convertir los paquetes de SSIS a AWS Glue Studio mediante AWS SCT.

Para convertir un paquete de SSIS a AWS Glue Studio

  1. Agregue su paquete de SSIS a su proyecto de AWS SCT. Para obtener más información, consulte Agregación de paquetes de SSIS a su proyecto de AWS SCT.

  2. En el panel izquierdo, expanda los nodos ETL y SSIS.

  3. Seleccione Paquetes, abra el menú contextual (clic secundario) y, a continuación, elija Convertir paquete.

    AWS SCT convierte los paquetes de SSIS seleccionados a archivos JSON. Estos objetos JSON representan un nodo en gráficos acíclicos dirigidos (DAG). Busque los archivos convertidos en el nodo DAG de paquete del árbol de la derecha.

  4. Elija DAG de paquete, abra el menú contextual (clic secundario) y, a continuación, seleccione Guardar en Amazon S3.

    Ahora puede usar estos scripts para crear trabajos en AWS Glue Studio.

Creación de trabajos de AWS Glue Studio usando el código convertido

Después de convertir los paquetes de SSIS de origen, puede usar los archivos JSON convertidos para crear trabajos de AWS Glue Studio.

Para crear un trabajo de AWS Glue Studio

  1. Elija DAG de paquete en el árbol derecho, abra el menú contextual (clic secundario) y, a continuación, elija Configurar trabajo de AWS Glue Studio.

  2. (Opcional) Aplique el paquete de extensión que emula las funciones del SSIS en AWS Glue Studio.

  3. Se abre la ventana Configurar trabajo de AWS Glue Studio.

    Rellene la sección Propiedades básicas del trabajo:

    • Nombre: introduzca el nombre de su trabajo de AWS Glue Studio.

    • Nombre del archivo de script: introduzca el nombre del script de su trabajo.

    • Parámetros del trabajo: añada parámetros e introduzca sus valores.

    Elija Siguiente.

  4. Rellene la sección Propiedades avanzadas del trabajo:

    • Rol de IAM: elija el rol de IAM que se utiliza para dar una autorización a AWS Glue Studio y obtener acceso a los almacenes de datos.

    • Ruta de S3 del archivo de script: introduzca la ruta de Amazon S3 al script convertido.

    • Directorio temporal: introduzca la ruta de Amazon S3 a un directorio temporal para obtener resultados intermedios. AWS Glue Studio utiliza este directorio para leer o escribir en Amazon Redshift.

    • AWS SCT genera automáticamente la ruta para las bibliotecas de Python. Puede revisar esta ruta en Ruta de la biblioteca de Python generada. No puede editar esta ruta generada automáticamente. Para utilizar bibliotecas de Python adicionales, introduzca la ruta en Ruta de la biblioteca de Python del usuario.

    • Ruta de la biblioteca de Python del usuario: introduzca las rutas para bibliotecas de Python del usuario opcionales. Separe las rutas de Amazon S3 con comas.

    • Ruta de archivos .jar dependientes: introduzca la ruta para los archivos *.jar dependientes. Separe las rutas de Amazon S3 con comas.

    • Ruta de archivos de referencia: introduzca las rutas de los archivos adicionales, como los archivos de configuración, que requiera el script. Separe las rutas de Amazon S3 con comas.

    • Tipo de trabajador: elija G.1X o G.2X.

      Al elegir G.1X, cada trabajador se asigna a 1 DPU (4 vCPU, 16 GB de memoria y disco de 64 GB).

      Al elegir G.2X, cada trabajador se asigna a 2 DPU (8 vCPU, 32 GB de memoria y disco de 128 GB).

    • Número de trabajadores solicitado: introduzca el número de trabajadores que se asigna cuando se ejecuta el trabajo.

    • Concurrencia máxima: introduzca el número máximo de ejecuciones concurrentes que están permitidas para este trabajo. El valor predeterminado es 1. AWS Glue devuelve un error cuando se llega a este umbral.

    • Tiempo de espera del trabajo (minutos): introduzca el valor del tiempo de espera en su trabajo de ETL como protección contra los trabajos fuera de control. El valor predeterminado es 2 880 minutos (48 horas) para los trabajos por lotes. Cuando el trabajo supera este límite, el estado de ejecución de trabajo cambia a TIMEOUT.

    • Umbral de notificación de retraso (minutos): introduzca el límite en minutos antes de que AWS SCT envíe una notificación de retraso.

    • Número de reintentos: introduzca el número de veces (de 0 a 10) que AWS Glue debe reiniciar automáticamente el trabajo en caso de que se produzca un error. Los trabajos que alcanzan el límite de tiempo de espera no se reinician. El valor predeterminado es 0.

    Seleccione Finalizar.

    AWS SCT configura los trabajos de AWS Glue Studio seleccionados.

  5. Busque los trabajos configurados en los trabajos de ETL en el árbol derecho. Elija el trabajo configurado, abra el menú contextual (clic secundario) y elija Crear trabajo de AWS Glue Studio.

  6. Elija Aplicar estado y asegúrese de que el valor Estado de su trabajo sea Éxito.

  7. Abra la consola de AWS Glue Studio, seleccione Actualizar y elija su trabajo. A continuación, elija Ejecutar.

Creación de un informe de evaluación para un paquete de SSIS con AWS SCT

El informe de evaluación de la migración de ETL proporciona información sobre cómo convertir sus paquetes de SSIS a un formato compatible con AWS Glue Studio. El informe de evaluación incluye elementos de acción para los componentes de sus paquetes de SSIS. Estos elementos de acción muestran los componentes que AWS SCT no se puede convertir automáticamente.

Para crear un informe de evaluación de la migración de ETL

  1. En el panel izquierdo, expanda el nodo SSIS en ETL.

  2. Seleccione Paquetes, abra el menú contextual (clic secundario) y, a continuación, elija Crear informe.

  3. Consulte la pestaña Resumen. Aquí, AWS SCT muestra la información del resumen ejecutivo del informe de evaluación de la migración de ETL. Incluye los resultados de conversión de todos los componentes de sus paquetes de SSIS.

  4. (Opcional) Guarde una copia local del informe de evaluación de la migración de ETL como archivo PDF o como un archivo de valores separados por comas (CSV):

    • Seleccione Guardar en PDF en la parte superior derecha para guardar el informe de evaluación de la migración de ETL como un archivo PDF.

      El archivo PDF contiene el resumen ejecutivo, los elementos de acción y las recomendaciones para la conversión de scripts.

    • Seleccione Guardar en CSV en la parte superior derecha para guardar el informe de evaluación de la migración de ETL como un archivo CSV.

      AWS SCT crea tres archivos CSV. Estos archivos contienen elementos de acción, acciones recomendadas y una estimación de la complejidad del esfuerzo manual necesario para convertir los scripts.

  5. Haga clic en la pestaña Elementos de acción. Esta pestaña contiene una lista de elementos que requieren una conversión manual a AWS Glue Studio. Si selecciona un elemento de acción de la lista, AWS SCT resalta el elemento de su paquete de SSIS de origen al que se aplica el elemento de acción.

Componentes de SSIS que AWS SCT puede convertir a AWS Glue Studio

Puede utilizar AWS SCT para convertir los componentes y los parámetros del flujo de datos del SSIS a AWS Glue Studio.

Entre los componentes de flujo de datos que se admiten se incluyen los siguientes:

  • Destino de ADO NET

  • Origen de ADO NET

  • Agregado

  • Mapa de caracteres

  • División condicional

  • Columna de copia

  • Conversión de datos

  • Columna derivada

  • Buscar

  • Merge

  • Merge Join

  • Multidifusión

  • Destino de ODBC

  • Origen de ODBC

  • Destino de OLEDB

  • Origen de OLEDB

  • Recuento de filas

  • Ordenar

  • Destino de SQL Server

  • Union All

AWS SCT puede convertir más componentes de SSIS a AWS Glue. Para obtener más información, consulte Componentes de SSIS que AWS SCT puede convertir a AWS Glue.