# Conector do Amazon Athena para o PostgreSQL O conector PostgreSQL do Amazon Athena permite que o Athena acesse seus bancos de dados PostgreSQL. Esse conector pode ser registrado como um catálogo federado no Glue Data Catalog. Ele é compatível com controles de acesso a dados definidos no Lake Formation nos níveis de catálogo, banco de dados, tabela, coluna, linha e tag. Esse conector usa o Glue Connections para centralizar as propriedades de configuração no Glue. ## Pré-requisitos + Implante o conector na sua Conta da AWS usando o console do Athena ou o AWS Serverless Application Repository. Para ter mais informações, consulte [Criar uma conexão de fonte de dados](connect-to-a-data-source.md) ou [Usar o AWS Serverless Application Repository para implantar um conector de fonte de dados](connect-data-source-serverless-app-repo.md). ## Limitações + Não há suporte para operações de gravação de DDL. + Em uma configuração de multiplexador, o prefixo e o bucket de derramamento são compartilhados em todas as instâncias do banco de dados. + Quaisquer limites relevantes do Lambda. Para obter mais informações, consulte [Cotas do Lambda](https://docs.aws.amazon.com/lambda/latest/dg/gettingstarted-limits.html) no *Guia do desenvolvedor do AWS Lambda*. + Assim como o PostgreSQL, o Athena trata os espaços à direita nos tipos `CHAR` do PostgreSQL como semanticamente insignificantes para fins de comprimento e comparação. Observe que isso se aplica somente aos tipos `CHAR`, mas não aos `VARCHAR`. O Athena ignora os espaços à direita no tipo `CHAR`, mas os trata como significativos para no `VARCHAR`. + Quando você usa o tipo de dados de cadeia de caracteres [citext](https://www.postgresql.org/docs/current/citext.html) que não diferencia maiúsculas de minúsculas, o PostgreSQL usa uma comparação de dados sem distinção entre maiúsculas e minúsculas que é diferente do Athena. Essa diferença cria uma discrepância de dados durante as operações SQL`JOIN`. Para contornar esse problema, use o recurso de consultas de passagem do conector do PostgreSQL. Para ter mais informações, veja a seção [Consultas de passagem](#connectors-postgres-passthrough-queries) posteriormente neste documento. ## Termos Os termos a seguir estão relacionados ao conector PostgreSQL. + **Instância do banco de dados**: qualquer instância de um banco de dados implantado on-premises, no Amazon EC2 ou no Amazon RDS. + **Manipulador**: um manipulador Lambda que acessa sua instância de banco de dados. Um manipulador pode ser para metadados ou para registros de dados. + **Manipulador de metadados**: um manipulador Lambda que recupera metadados da sua instância de banco de dados. + **Manipulador de registros**: um manipulador Lambda que recupera registros de dados da sua instância de banco de dados. + **Manipulador composto**: um manipulador Lambda que recupera tanto metadados quanto registros de dados da sua instância de banco de dados. + **Propriedade ou parâmetro**: uma propriedade do banco de dados usada pelos manipuladores para extrair informações do banco de dados. Você configura essas propriedades como variáveis de ambiente do Lambda. + **String de conexão**: uma string de texto usada para estabelecer uma conexão com uma instância de banco de dados. + **Catálogo**: um catálogo não AWS Glue registrado no Athena que é um prefixo obrigatório para a propriedade `connection_string`. + **Manipulador de multiplexação**: um manipulador Lambda que pode aceitar e usar várias conexões de banco de dados. ## Parâmetros Use os parâmetros nesta seção para configurar o conector do PostgreSQL. **nota** Os conectores de fonte de dados do Athena criados a partir de 3 de dezembro de 2024 usam conexões do AWS Glue. ### Conexões do Glue (recomendação) Recomendamos que você configure um conector do PostgreSQL usando um objeto de conexão do Glue. Para fazer isso, defina a variável de ambiente `glue_connection` da função do Lambda para o conector do PostgreSQL com o nome da conexão do Glue que deseja usar. Use o comando apresentado a seguir para obter o esquema de um objeto de conexão do Glue. Esse esquema contém todos os parâmetros que você pode usar para controlar a conexão. ``` aws glue describe-connection-type --connection-type POSTGRESQL ``` **Propriedades do ambiente do Lambda** **glue\$1connection**: especifica o nome da conexão do Glue associada ao conector federado. **nota** Todos os conectores que usam conexões do Glue devem usar o AWS Secrets Manager para armazenar credenciais. O conector do PostgreSQL criado usando conexões do Glue não é compatível com o uso de um manipulador de multiplexação. O conector do PostgreSQL criado usando conexões do Glue é compatível apenas com o `ConnectionSchemaVersion` 2. ### Conexões legadas Os nomes dos parâmetros e suas definições listados abaixo referem-se a conectores de fonte de dados do Athena criados sem uma conexão do Glue associada. Os parâmetros apresentados abaixo devem ser usados somente quando você [implantar manualmente](connect-data-source-serverless-app-repo.md) uma versão anterior de um conector de fonte de dados do Athena ou quando a propriedade de ambiente `glue_connection` não for especificada. #### String de conexão Use uma string de conexão JDBC no seguinte formato para se conectar a uma instância de banco de dados. ``` postgres://${jdbc_connection_string} ``` #### Uso de um manipulador de multiplexação É possível usar um multiplexador para se conectar a várias instâncias de banco de dados com uma única função do Lambda. As solicitações são encaminhadas por nome do catálogo. Use as seguintes classes no Lambda. **** | Manipulador | Classe | | --- | --- | | Manipulador composto | PostGreSqlMuxCompositeHandler | | Manipulador de metadados | PostGreSqlMuxMetadataHandler | | Manipulador de registros | PostGreSqlMuxRecordHandler | ##### Parâmetros do manipulador de multiplexação **** | Parameter | Descrição | | --- | --- | | \$1catalog\$1connection\$1string | Obrigatório. Uma string de conexão de instância de banco de dados. Prefixe a variável de ambiente com o nome do catálogo usado no Athena. Por exemplo, se o catálogo registrado no Athena for mypostgrescatalog, então o nome da variável de ambiente será mypostgrescatalog\$1connection\$1string. | | default | Obrigatório. A string de conexão padrão. Essa string é usada quando o catálogo for lambda:\$1\$1AWS\$1LAMBDA\$1FUNCTION\$1NAME\$1. | As propriedades de exemplo a seguir são para uma função do Lambda MUX do PostgreSQL que ofereça suporte a duas instâncias de banco de dados: `postgres1` (o padrão) e `postgres2`. **** | Propriedade | Valor | | --- | --- | | default | postgres://jdbc:postgresql://postgres1.host:5432/default?\$1\$1Test/RDS/PostGres1\$1 | | postgres\$1catalog1\$1connection\$1string | postgres://jdbc:postgresql://postgres1.host:5432/default?\$1\$1Test/RDS/PostGres1\$1 | | postgres\$1catalog2\$1connection\$1string | postgres://jdbc:postgresql://postgres2.host:5432/default?user=sample&password=sample | ##### Fornecimento de credenciais Para fornecer um nome de usuário e uma senha para seu banco de dados na string de conexão JDBC, é possível usar as propriedades da string de conexão ou o AWS Secrets Manager. + **String de conexão**: um nome de usuário e uma senha podem ser especificados como propriedades na string de conexão do JDBC. **Importante** Como prática recomendada de segurança, não use credenciais com codificação rígida em suas variáveis de ambiente ou strings de conexão. Para obter informações sobre como mover seus segredos codificados para o AWS Secrets Manager, consulte [Mover segredos codificados para o AWS Secrets Manager](https://docs.aws.amazon.com/secretsmanager/latest/userguide/hardcoded.html) no *Guia do usuário do AWS Secrets Manager*. + **AWS Secrets Manager**: para usar o recurso Athena Federated Query com o AWS Secrets Manager, a VPC conectada à sua função do Lambda deve ter [acesso à Internet](https://aws.amazon.com/premiumsupport/knowledge-center/internet-access-lambda-function/) ou um [endpoint da VPC](https://docs.aws.amazon.com/secretsmanager/latest/userguide/vpc-endpoint-overview.html) para se conectar ao Secrets Manager. É possível colocar o nome de um segredo no AWS Secrets Manager na sua string de conexão JDBC. O conector substitui o nome secreto pelos valores de `username` e `password` do Secrets Manager. Para instâncias de banco de dados do Amazon RDS, esse suporte é totalmente integrado. Se você usa o Amazon RDS, é altamente recomendável usar o AWS Secrets Manager e rotação de credenciais. Se seu banco de dados não usar o Amazon RDS, armazene as credenciais em JSON no seguinte formato: ``` {"username": "${username}", "password": "${password}"} ``` **Exemplo de string de conexão com nome secreto** A string a seguir tem o nome secreto `${Test/RDS/PostGres1}`. ``` postgres://jdbc:postgresql://postgres1.host:5432/default?...&${Test/RDS/PostGres1}&... ``` O conector usa o nome secreto para recuperar segredos e fornecer o nome de usuário e a senha, como no exemplo a seguir. ``` postgres://jdbc:postgresql://postgres1.host:5432/default?...&user=sample2&password=sample2&... ``` Atualmente, o conector PostgreSQL reconhece as propriedades `user` e `password` do JDBC. ##### Habilitação do SSL Para oferecer suporte a SSL em sua conexão PostgreSQL, acrescente o seguinte à string de conexão: ``` &sslmode=verify-ca&sslfactory=org.postgresql.ssl.DefaultJavaSSLFactory ``` **Exemplo** O exemplo de string de conexão a seguir não usa SSL. ``` postgres://jdbc:postgresql://example-asdf-aurora-postgres-endpoint:5432/asdf?user=someuser&password=somepassword ``` Para habilitar o SSL, modifique a string da forma mostrada a seguir. ``` postgres://jdbc:postgresql://example-asdf-aurora-postgres-endpoint:5432/asdf?user=someuser&password=somepassword&sslmode=verify-ca&sslfactory=org.postgresql.ssl.DefaultJavaSSLFactory ``` #### Uso de um único manipulador de conexão É possível usar os seguintes metadados de conexão única e manipuladores de registros para se conectar a uma única instância do PostgreSQL. **** | Tipo de manipulador | Classe | | --- | --- | | Manipulador composto | PostGreSqlCompositeHandler | | Manipulador de metadados | PostGreSqlMetadataHandler | | Manipulador de registros | PostGreSqlRecordHandler | ##### Parâmetros do manipulador de conexão única **** | Parameter | Descrição | | --- | --- | | default | Obrigatório. A string de conexão padrão. | Os manipuladores de conexão únicos oferecem suporte a uma instância de banco de dados e devem fornecer um parâmetro de string de conexão `default`. Todas as outras strings de conexão são ignoradas. O exemplo de propriedade a seguir é para uma única instância do PostgreSQL com suporte em uma função do Lambda. **** | Propriedade | Valor | | --- | --- | | default | postgres://jdbc:postgresql://postgres1.host:5432/default?secret=\$1\$1Test/RDS/PostgreSQL1\$1 | #### Parâmetros de derramamento O SDK do Lambda pode derramar dados no Amazon S3. Todas as instâncias do banco de dados acessadas pela mesma função do Lambda derramam no mesmo local. **** | Parameter | Descrição | | --- | --- | | spill\$1bucket | Obrigatório. Nome do bucket de derramamento. | | spill\$1prefix | Obrigatório. Prefixo de chave do bucket de derramamento. | | spill\$1put\$1request\$1headers | (Opcional) Um mapa codificado em JSON de cabeçalhos e valores de solicitações para a solicitação putObject do Amazon S3 usada para o derramamento (por exemplo, \$1"x-amz-server-side-encryption" : "AES256"\$1). Para outros cabeçalhos possíveis, consulte [PutObject](https://docs.aws.amazon.com/AmazonS3/latest/API/API_PutObject.html) na Referência da API do Amazon Simple Storage Service. | ## Suporte ao tipo de dados A tabela a seguir mostra os correspondentes tipos de dados do JDBC, do PostgreSQL e do Arrow. **** | JDBC | PostGreSQL | Arrow | | --- | --- | --- | | Booleano | Booleano | Bit | | Inteiro | N/D | Tiny | | Short | smallint | Smallint | | Inteiro | integer | Int | | Longo | bigint | Bigint | | flutuação | float4 | Float4 | | Duplo | float8 | Float8 | | Data | date | Data/Dia | | Timestamp | timestamp | Date Milli | | String | texto | Varchar | | Bytes | bytes | Varbinary | | BigDecimal | numeric(p,s) | Decimal | | ARRAY | N/D (ver nota) | Lista | **nota** Há suporte para o tipo `ARRAY` no conector PostgreSQL com as seguintes restrições: não há suporte para matrizes multidimensionais (`[][]` ou matrizes aninhadas). Colunas com tipos de dados `ARRAY` sem suporte serão convertidas em uma matriz de elementos de string (`array`). ## Partições e divisões As partições são usadas para determinar como gerar divisões para o conector. O Athena constrói uma coluna sintética do tipo `varchar` que representa o esquema de particionamento da tabela para ajudar o conector a gerar divisões. O conector não modifica a definição real da tabela. ## desempenho O PostgreSQL oferece suporte a partições nativas. O conector do Athena para o PostgreSQL pode recuperar dados dessas partições em paralelo. Se você quiser consultar conjuntos de dados muito grandes com distribuição uniforme de partições, o particionamento nativo é altamente recomendado. O conector do Athena para o PostgreSQL executa a passagem direta de predicados para diminuir os dados examinados pela consulta. Cláusulas `LIMIT`, predicados simples e expressões complexas são passados diretamente ao conector para reduzir a quantidade de dados examinados e o runtime de execução da consulta. Porém, selecionar um subconjunto de colunas resulta, algumas vezes, em um runtime mais longo. ### Cláusulas LIMIT Uma instrução `LIMIT N` reduz os dados examinados pela consulta. Com a passagem direta de `LIMIT N`, o conector só retorna `N` linhas para o Athena. ### Predicados Um predicado é uma expressão na cláusula `WHERE` de uma consulta SQL, que avalia para um valor booleano e filtra as linhas com base em várias condições. O conector do Athena para o PostgreSQL pode combinar essas expressões e passá-las diretamente ao PostgreSQL para melhorar a funcionalidade e reduzir a quantidade de dados examinados. Os seguintes operadores do conector do Athena para o PostgreSQL são compatíveis com a passagem direta de predicados: + **Booleanos:** E, OU, NÃO + **Igualdade: **EQUAL, NOT\$1EQUAL, LESS\$1THAN, LESS\$1THAN\$1OR\$1EQUAL, GREATER\$1THAN, GREATER\$1THAN\$1OR\$1EQUAL, IS\$1DISTINCT\$1FROM, NULL\$1IF, IS\$1NULL + **Aritméticos:** ADICIONAR, SUBTRAIR, MULTIPLICAR, DIVIDIR, MÓDULO, NEGAR + **Outros:**LIKE\$1PATTERN, IN ### Exemplo de passagem direta combinada Para ter recursos aprimorados de consulta, combine os tipos de passagem direta, como no seguinte exemplo: ``` SELECT * FROM my_table WHERE col_a > 10 AND ((col_a + col_b) > (col_c % col_d)) AND (col_e IN ('val1', 'val2', 'val3') OR col_f LIKE '%pattern%') LIMIT 10; ``` ## Consultas de passagem O conector PostgreSQL é compatível com [consultas de passagem](federated-query-passthrough.md). As consultas de passagem usam uma função de tabela para enviar sua consulta completa para execução na fonte de dados. Para usar consultas de passagem com o PostgreSQL, você pode empregar a seguinte sintaxe: ``` SELECT * FROM TABLE( system.query( query => 'query string' )) ``` O exemplo de consulta a seguir envia uma consulta para uma fonte de dados no PostgreSQL. A consulta seleciona todas as colunas na tabela `customer`, limitando os resultados a 10. ``` SELECT * FROM TABLE( system.query( query => 'SELECT * FROM customer LIMIT 10' )) ``` ## Recursos adicionais Para obter as informações mais recentes sobre a versão do driver JDBC, consulte o arquivo [pom.xml](https://github.com/awslabs/aws-athena-query-federation/blob/master/athena-postgresql/pom.xml) do conector PostgreSQL em GitHub.com. Para obter mais informações sobre esse conector, visite [o site correspondente](https://github.com/awslabs/aws-athena-query-federation/tree/master/athena-postgresql) em GitHub.com.