Como converter pacotes do SSIS em AWS Glue Studio com o AWS Schema Conversion Tool - AWS Schema Conversion Tool
Pré-requisitosComo adicionar pacotes SSIS ao seu projeto da AWS SCTComo converter pacotes SSISCriação de tarefas do AWS Glue StudioComo criar um relatório de avaliação de conversão do SSISComponentes do SSIS compatíveis

Como converter pacotes do SSIS em AWS Glue Studio com o AWS Schema Conversion Tool

Você pode usar a AWS SCT para converter pacotes do Microsoft SQL Server Integration Services (SSIS) em AWS Glue Studio.

Um pacote SSIS inclui os componentes necessários, como gerenciador de conexões, tarefas, fluxo de controle, fluxo de dados, parâmetros, manipuladores de eventos e variáveis, para executar uma tarefa específica de extração, transformação e carregamento (ETL). A AWS SCT converte pacotes SSIS em um formato compatível com o AWS Glue Studio. Depois de migrar seu banco de dados de origem para a Nuvem Nuvem AWS, é possível executar essas tarefas AWS Glue Studio convertidas para realizar tarefas de ETL.

Para converter pacotes Microsoft SSIS em AWS Glue Studio, use a versão 1.0.642 ou superior da AWS SCT.

Pré-requisitos

Nesta seção, veja quais são as tarefas de pré-requisito para a conversão de pacotes SSIS em AWS Glue. Essas tarefas incluem a criação dos recursos necessários da AWS na sua conta.

Você pode usar o AWS Identity and Access Management (IAM) para definir as políticas e os perfis necessários para acessar os recursos usados pelo AWS Glue Studio. Para obter mais informações, consulte Permissões do IAM para o usuário do AWS Glue Studio.

Depois da AWS SCT converter seus scripts de origem em AWS Glue Studio, faça o upload deles para um bucket do Amazon S3. Certifique-se de criar esse bucket do Amazon S3 e selecioná-lo nas configurações do perfil de serviço da AWS. Para obter mais informações sobre como criar um bucket do Amazon S3, consulte Crie seu primeiro bucket do S3 no Guia do usuário do Amazon Simple Storage Service.

Para garantir que o AWS Glue Studio possa se conectar ao seu armazenamento de dados, crie um conector personalizado e uma conexão. Também é necessário armazenar as credenciais do banco de dados no AWS Secrets Manager.

Para criar um conector personalizado

  1. Faça download do driver JDBC para seu armazenamento de dados. Para obter mais informações sobre os drivers JDBC que a AWS SCT usa, consulte Instalação de drivers JDBC para o AWS Schema Conversion Tool.

  2. Faça o upload desse arquivo com drivers no seu bucket do Amazon S3. Para obter mais informações, consulte Adicionar um objeto a um bucket no Guia do Usuário do Amazon Simple Storage Service.

  3. Faça login no Console de gerenciamento da AWS e abra o console do AWS Glue Studio em https://console.aws.amazon.com/gluestudio/.

  4. Escolha Conectores e, em seguida, escolha Criar conector personalizado.

  5. Em URL do Connector S3, selecione Explorar S3 e escolha o arquivo do driver JDBC que você carregou no seu bucket do Amazon S3.

  6. Insira um nome que descreva seu conector. Por exemplo, digite SQLServer.

  7. Em Tipo de conector, escolha JDBC.

  8. Em Nome da classe, insira o nome da classe principal do seu driver JDBC. Para SQL Server, insira com.microsoft.sqlserver.jdbc.SQLServerDriver.

  9. Para URL base do JDBC, insira o URL base do JDBC. A sintaxe desse URL depende do mecanismo de banco de dados de origem. Para servidor SQL, use o formato a seguir: jdbc:sqlserver://$<host>:$<port>;databaseName=$<dbname>;user=$<username>;password=$<password>.

    Substitua <host>, <port>, <dbname>, <username> e <password> pelos seus valores.

  10. Para delimitador de parâmetros de URL, insira o ponto e vírgula (;).

  11. Escolha Criar conector.

Para armazenar as credenciais do banco de dados no AWS Secrets Manager

  1. Faça login no Console de gerenciamento da AWS e abra o console do AWS Secrets Manager em https://console.aws.amazon.com/secretsmanager/.

  2. Selecione Armazenar um novo segredo.

  3. Na página Selecionar tipo de segredo, faça o seguinte:

    1. Em Tipo de segredo, escolha Outro tipo de segredo.

    2. Para Pares de chave/valor, insira as seguintes chaves: host, port, dbname, username e password.

      Em seguida, insira seus valores para essas chaves.

  4. Na página Configurar segredo, insira um Nome de segredo descritivo. Por exemplo, digite SQL_Server_secret.

  5. Selecione Próximo. Depois, na página Configurar alternância escolha Próximo.

  6. Na página Revisar, revise os detalhes do segredo e escolha Armazenar.

Como criar uma conexão para um conector

  1. Faça login no Console de gerenciamento da AWS e abra o console do AWS Glue Studio em https://console.aws.amazon.com/gluestudio/.

  2. Escolha o conector que receberá a conexão e selecione Criar conexão.

  3. Na página Criar conexão, insira um nome descritivo para ela. Por exemplo, digite SQL-Server-connection.

  4. Em Segredo da AWS, escolha o segredo que você criou em AWS Secrets Manager.

  5. Configure Opções de rede e escolha Criar conexão.

Agora, é possível criar uma tarefa do AWS Glue Studio com um conector personalizado. Para obter mais informações, consulte Criação de tarefas do AWS Glue Studio.

Como adicionar pacotes SSIS ao seu projeto da AWS SCT

Você pode adicionar vários pacotes SSIS a um único projeto AWS SCT.

Para adicionar pacotes SSIS ao seu projeto da AWS SCT

  1. Crie um novo projeto com o AWS SCT ou abra um projeto existente. Para obter mais informações, consulte Como iniciar e gerenciar projetos no AWS SCT.

  2. Escolha Adicionar origem no menu e, em seguida, escolha SQL Server Integration Services.

  3. Em Nome da conexão, insira um nome para os pacotes SSIS. A AWS SCT exibe esse nome na árvore do painel esquerdo.

  4. Para a Pasta de pacotes SSIS, insira o caminho para a pasta com os pacotes SSIS de origem.

  5. Escolha Adicionar destino no menu e, em seguida, escolha AWS Glue Studio.

    Para se conectar ao AWS Glue Studio, a AWS SCT usa o seu perfil da AWS. Para obter mais informações, consulte Gerenciando perfis no AWS Schema Conversion Tool.

  6. Crie uma regra de mapeamento que inclua seu pacote SSIS de origem e seu destino do AWS Glue Studio. Para obter mais informações, consulte Mapear tipo de dados no AWS Schema Conversion Tool.

  7. Crie conexões do AWS Glue Studio no console do AWS Glue Studio. Para obter mais informações, consulte Como criar conexões para conectores.

  8. Escolha Gerenciadores de conexão na árvore à esquerda, abra o menu de contexto (clique com o botão direito do mouse) e depois selecione Configurar conexões.

    A AWS SCT exibe a janela Configurar conexões.

  9. Para cada conexão SSIS de origem, escolha uma conexão do AWS Glue Studio.

Como converter pacotes SSIS em AWS Glue Studio com a AWS SCT

A seguir, descubra como converter pacotes SSIS em AWS Glue Studio usando a AWS SCT.

Para converter um pacote SSIS em AWS Glue Studio

  1. Adicione seu pacote SSIS ao projeto da AWS SCT. Para obter mais informações, consulte Como adicionar pacotes SSIS ao seu projeto da AWS SCT.

  2. No painel esquerdo, expanda os nós ETL e SSIS.

  3. Escolha Pacotes, abra o menu de contexto (clique com o botão direito do mouse) do pacote e escolha Converter pacote.

    A AWS SCT converte seus pacotes SSIS selecionados em arquivos JSON. Eles representam um nó em um gráfico acíclico dirigido (DAG). Encontre seus arquivos convertidos no nó Pacotes DAGs na árvore à direita.

  4. Escolha Pacotes DAGs, abra o menu de contexto (clique com o botão direito do mouse) e escolha Salvar no Amazon S3.

    Agora você pode usar esses scripts para criar tarefas no AWS Glue Studio.

Criação de tarefas do AWS Glue Studio usando o código convertido

Depois de converter seus pacotes SSIS de origem, você pode usar os arquivos JSON convertidos para criar tarefas do AWS Glue Studio.

Para criar uma tarefa no AWS Glue Studio

  1. Escolha Pacotes DAGs na árvore à direita, abra o menu de contexto (clique com o botão direito do mouse) e escolha Configurar tarefa do AWS Glue Studio.

  2. (Opcional) Aplique o pacote de extensão que emula as funções do SSIS no AWS Glue Studio.

  3. A janela Configurar tarefa do AWS Glue Studio é aberta.

    Preencha a seção Propriedades básicas da tarefa:

    • Nome: Insira o nome da tarefa do AWS Glue Studio.

    • Nome do arquivo de script: Insira o nome do script da tarefa.

    • Parâmetros da tarefa: Adicione parâmetros e insira seus valores.

    Selecione Próximo.

  4. Preencha a seção Propriedades avançadas da tarefa:

    • Perfil do IAM: Especifique o perfil do IAM usado para a autorização do AWS Glue Studio e para acessar armazenamentos de dados.

    • Caminho do arquivo de script do S3: Insira o caminho do Amazon S3 para seu script convertido.

    • Diretórios temporários: Insira o caminho do Amazon S3 para um diretório temporário para obter resultados intermediários. O AWS Glue Studio usa esse diretório para ler ou gravar no Amazon Redshift.

    • A AWS SCT gera automaticamente o caminho para as bibliotecas Python. Você pode revisar esse caminho em Caminho gerado da biblioteca Python. Não é possível editar esse caminho gerado automaticamente. Para usar bibliotecas Python adicionais, insira o caminho em Caminho da biblioteca Python do usuário.

    • Caminho da biblioteca Python: Insira os caminho de outras bibliotecas Python do usuário. Separe os caminhos do Amazon S3 com vírgulas.

    • Caminho de .jars dependentes: Insira os caminhos dos arquivos *.jar dependentes. Separe os caminhos do Amazon S3 com vírgulas.

    • Caminho dos arquivos referenciados: Insira os caminhos para arquivos adicionais que são exigidos pelo seu script (por exemplo, arquivos de configuração). Separe os caminhos do Amazon S3 com vírgulas.

    • Tipo de operador: Escolha G.1X ou G.2X.

      Quando você escolhe G.1X, cada operador é mapeado para 1 DPU (4 vCPU, 16 GB de memória e disco de 64 GB).

      Quando você escolhe G.2X, cada operador é mapeado para 2 DPU (8 vCPU, 32 GB de memória e disco de 128 GB).

    • Número de operadores solicitado: Insira o número de operadores alocados quando a tarefa é executada.

    • Simultaneidade máxima: Insira o número máximo de execuções simultâneas permitidas para a tarefa. O padrão é 1. O AWS Glue retorna um erro quando este limite é atingido.

    • Limite de tempo da tarefa (minutos): Insira o tempo limite da sua tarefa de ETL, como uma proteção contra tarefas descontroladas. O padrão é 2.880 minutos (48 horas) para tarefas em lotes. Se a tarefa exceder esse limite, seu estado da execução é alterado para TIMEOUT.

    • Limite de notificação de atraso (minutos): Insira o limite em minutos antes da AWS SCT enviar uma notificação de atraso.

    • Número de novas tentativas: Insira o número de vezes (0 a 10) que o AWS Glue deve reiniciar automaticamente a tarefa se ela falhar. As tarefas que atingem o limite de tempo não são reiniciadas. O padrão é 0.

    Escolha Terminar.

    A AWS SCT configura as tarefas do AWS Glue Studio selecionadas.

  5. Encontre suas tarefas configuradas em Tarefas de ETL na árvore à direita. Escolha a tarefa, configurada, abra o menu de contexto (clique com o botão direito do mouse) e escolha Criar tarefa do AWS Glue Studio.

  6. Escolha Aplicar status e certifique-se de que o valor do Status da tarefa seja Êxito.

  7. Abra o console do AWS Glue Studio, escolha Atualizar e selecione a tarefa. Em seguida, escolha Executar.

Como criar um relatório de avaliação para um pacote SSIS com a AWS SCT

O Relatório de avaliação da migração de ETL fornece informações sobre como converter seus pacotes SSIS em um formato compatível com o AWS Glue Studio. O relatório de avaliação inclui itens de ação para os componentes de seus pacotes SSIS. Esses itens de ação mostram quais componentes da AWS SCT não podem ser convertidos automaticamente.

Para criar um relatório de avaliação de migração de ETL

  1. Expanda o nó SSIS embaixo de ETL, no painel esquerdo.

  2. Escolha Pacotes, abra o menu de contexto (clique com o botão direito do mouse) e escolha Criar relatório.

  3. Visualize a guia Resumo. Aqui, a AWS SCT exibe as informações do resumo executivo do relatório de avaliação da migração de ETL. Ele inclui resultados de conversão para todos os componentes de seus pacotes SSIS.

  4. (Opcional) Salve uma cópia local do relatório de avaliação de migração ETL como um arquivo PDF ou um arquivo de valores separados por vírgula (CSV):

    • Selecione Salvar em PDF no canto superior direito para salvar o relatório como um arquivo PDF.

      O arquivo PDF contém o resumo executivo, os itens de ação e as recomendações para a conversão de scripts.

    • Selecione Salvar em PDF no canto superior direito para salvar o relatório como um arquivo CSV.

      A AWS SCT cria três arquivos CSV. Eles contêm itens de ação, ações recomendadas e uma complexidade estimada do esforço manual necessário para converter os scripts.

  5. Selecione a guia Itens de ação. Essa guia contém uma lista de itens que exigem conversão manual para AWS Glue Studio. Se você selecionar um item de ação na lista, a AWS SCT destacará o item do seu pacote SSIS de origem ao qual o item de ação se aplica.

Componentes do SSIS que a AWS SCT pode converter em AWS Glue Studio

Você pode usar a AWS SCT para converter componentes e parâmetros do fluxo de dados SSIS em AWS Glue Studio.

Os componentes de fluxo de dados compatíveis incluem os seguintes:

  • Destino ADO NET

  • Origem ADO NET

  • Agregar

  • Mapa de caracteres

  • Divisão condicional

  • Coluna Copiar

  • Conversão de dados

  • Coluna derivada

  • Busca

  • Mesclar

  • Junção de mesclagem

  • Multicast

  • Destino ODBC

  • Fonte ODBC

  • Destino do OLEDB

  • Fonte OLEDB

  • Número de linhas

  • Classificar

  • Destino do SQL Server

  • Union All

A AWS SCT pode converter mais componentes SSIS em AWS Glue. Para obter mais informações, consulte Componentes do SSIS que a AWS SCT pode converter em AWS Glue.