Conexões da API REST - AWS Glue
Como criar um tipo de conexão REST no AWS Glue

Conexões da API REST

Os conectores do AWS Glue abrangem uma ampla variedade de fontes de dados, tanto da AWS quanto externas. No entanto, pode haver sistemas exclusivos ou plataformas emergentes para os quais os conectores nativos do AWS Glue não ofereçam suporte. O conector REST do AWS Glue tem um mecanismo para configurar um conector personalizado para qualquer fonte de dados que tenha uma API baseada em REST, permitindo o mesmo funcionamento dos conectores do AWS Glue com suporte nativo. Esse recurso minimiza a necessidade de criar bibliotecas personalizadas ou scripts de ETL para acessar essas fontes de dados.

Para habilitar o conector da API REST, o AWS Glue introduziu um novo recurso da AWS: o Tipo de conexão. As operações a seguir podem ser usadas para gerenciar a conectividade com as fontes de dados baseadas na API REST:

  • RegisterConnectionType: registra um tipo de conexão no AWS Glue com base na configuração fornecida. Para a estrutura da solicitação, consulte RegisterConnectionType.

  • DeleteConnectionType: exclui uma configuração do Tipo de conexão no AWS Glue. Consulte DeleteConnectionType.

  • DescribeConnectionType: fornece detalhes completos das opções válidas para um determinado tipo de conexão no AWS Glue. Consulte DescribeConnectionType.

  • ListConnectionTypes: fornece uma lista de tipos de conexão com detalhes de alto nível do que é aceito para cada tipo de conexão do AWS Glue. Consulte ListConnectionTypes.

Como criar um tipo de conexão REST no AWS Glue

Para criar um tipo de conexão REST, use a AWS CLI, o SDK da AWS ou a API da AWS para invocar a API RegisterConnectionType. Os detalhes da configuração são fornecidos com base na API REST à qual será realizada a conexão.

nota

As conexões REST não podem ser criadas usando o console do AWS Glue

Pré-requisito

Antes de tentar configurar o conector da API REST do AWS Glue, familiarize-se com o funcionamento interno da API REST. Para isso, consulte a documentação da API REST para a fonte de dados e uma ferramenta para inspecionar a estrutura de solicitação/resposta.

As propriedades da API REST a seguir devem ser identificadas:

  • O mecanismo de autenticação usado para as chamadas feitas para o endpoint REST. AWS Glue Os conectores da API REST oferecem suporte para: autenticação básica, OAuth2 - ClientCredentials, OAuth2 - Código de autorização, OAuth2 - JWT e autenticação personalizada.

  • Entidades (objetos de dados) que você pode transferir por meio do endpoint REST e metadados relacionados (como nomes de campos e tipos de dados).

  • A estrutura de solicitação e resposta HTTP. Essa estrutura inclui o método HTTP, o URL do endpoint, os cabeçalhos, os parâmetros da consulta, o formato do corpo da solicitação e da carga útil da resposta.

  • O esquema de paginação. AWS Glue Os conectores da API REST oferecem suporte para dois esquemas de paginação: cursor-based e offset-based.

RegisterConnectionType

Registra uma ConnectionType no AWS Glue com base na configuração fornecida. O recurso ConnectionType é um novo recurso do AWS Glue que armazena detalhes sobre como as solicitações e respostas são interpretadas pela fonte de dados. Atualmente, apenas o protocolo REST é compatível. Ele encapsula detalhes sobre a fonte da API REST, como:

  • Propriedades da conexão: define o BaseUrl para conexão à API REST e quaisquer parâmetros de solicitação adicionais necessários para receber informações durante CreateConnection do AWS Glue.

  • Configuração de autenticação: define como as solicitações para a API REST são autenticadas. Essa configuração é usada ao criar uma conexão do AWS Glue para o Tipo de conexão.

  • Configuração REST: define a configuração de solicitação e resposta HTTP para ler dados da fonte da API REST. As propriedades a seguir precisam ser configuradas no nível Global ou de Entidade:

    • Método de solicitação: define o método REST HTTP.

    • Configuração da resposta: define como a resposta da API deve ser interpretada (incluindo registros ou locais de erro no corpo).

    • Configuração de paginação: define a estratégia que a API REST usa para paginar os registros resultantes e como as propriedades de paginação devem ser enviadas/recuperadas.

    • Configuração do endpoint de validação: define o endpoint a ser chamado para validar uma conexão do AWS Glue.

    • Configurações de entidades: define as entidades REST que o conector suporta e seus esquemas.

Sintaxe da solicitação do RegisterConnectionType

Consulte RegisterConnectionType

Após o registro do tipo de conexão da API REST, ela estará pronta para ser usada para criar conexões com a fonte de dados configurada. Consulte Conexão às APIs REST para obter instruções detalhadas.