Consultar tabelas de metadados com serviços de analytics da AWS - Amazon Simple Storage Service
Consultar tabelas de metadados com o Amazon AthenaConsultar tabelas de metadados com o Amazon RedshiftConsultar tabelas de metadados com o Amazon EMR

Consultar tabelas de metadados com serviços de analytics da AWS

Você pode consultar as tabelas de metadados gerenciadas pelo S3 usando os serviços de analytics da AWS, como Amazon Athena, Amazon Redshift e Amazon EMR.

Antes de executar consultas, primeiro é necessário integrar os buckets de tabela do S3 gerenciados pela AWS em sua região e Conta da AWS aos serviços de analytics da AWS.

Consultar tabelas de metadados com o Amazon Athena

Depois de integrar os buckets de tabela do S3 gerenciados pela AWS aos serviços de analytics da AWS, você pode começar a consultar as tabelas de metadados no Athena. Em suas consultas, faça o seguinte:

  • Especifique o catálogo como s3tablescatalog/aws-s3 e o banco de dados como b_general_purpose_bucket_name (que normalmente é o namespace para as tabelas de metadados).

  • Coloque os nomes dos namespaces da tabela de metadados entre aspas (") ou acentos graves (`). Do contrário, a consulta pode não funcionar.

Para ter mais informações, consulte Querying Amazon S3 tables with Athena.

Também é possível executar consultas no Athena pelo console do Amazon S3.

O procedimento a seguir usa o console do Amazon S3 para acessar o editor de consultas do Athena e possibilitar que você consulte uma tabela com o Amazon Athena.

Como consultar uma tabela de metadados

  1. Faça login no AWS Management Console e abra o console do Amazon S3 em https://console.aws.amazon.com/s3/.

  2. No painel de navegação à esquerda, escolha Buckets de uso geral.

  3. Na guia Buckets de uso geral, escolha o bucket que contém a configuração de metadados para a tabela de metadados que você deseja consultar.

  4. Na página de detalhes do bucket, escolha a guia Metadados.

  5. Escolha Consultar tabela com Athena e selecione uma das consultas de amostra para tabelas de diário ou de inventário.

  6. O console do Amazon Athena é aberto e o editor de consultas do Athena aparece com uma amostra de consulta carregada para você. Modifique essa consulta conforme necessário para seu caso de uso.

    No Editor de Consultas, o campo Catálogo deve ser preenchido com s3tablescatalog/aws-s3. O campo Banco de dados deve ser preenchido com o namespace em que sua tabela está armazenada (por exemplo, b_general-purpose-bucket-name).

    nota

    Caso não veja esses valores nos campos Catálogo e Banco de dados, verifique se você integrou o bucket de tabela gerenciado pela AWS aos serviços de analytics da AWS nessa região. Para ter mais informações, consulte Integrar a funcionalidade Tabelas do Amazon S3 a serviços de analytics da AWS.

  7. Para executar a consulta, escolha Run (Executar).

    nota

    • Se você receber o erro “Insufficient permissions to execute the query. Principal does not have any privilege on specified resource” ao tentar executar uma consulta no Athena, você deverá receber as permissões necessárias do Lake Formation na tabela. Para ter mais informações, consulte Conceder permissão ao Lake Formation em uma tabela ou um banco de dados.

      Também garanta que você tenha as permissões apropriadas do AWS Identity and Access Management (IAM) para consultar tabelas de metadados. Para ter mais informações, consulte Permissões para consultar tabelas de metadados.

    • Se você receber o erro “Iceberg cannot access the requested resource” ao tentar executar a consulta, acesse o console do AWS Lake Formation e verifique se você se autoconcedeu permissões no catálogo do bucket de tabela e no banco de dados (namespace) que criou. Não especifique uma tabela ao conceder essas permissões. Para ter mais informações, consulte Conceder permissão ao Lake Formation em uma tabela ou um banco de dados.

Consultar tabelas de metadados com o Amazon Redshift

Depois de integrar os buckets de tabela do S3 gerenciados pela AWS aos serviços de analytics da , faça o seguinte:

  • Crie um link de recurso para o namespace da tabela de metadados (normalmente b_general_purpose_bucket_name).

  • Coloque os nomes dos namespaces da tabela de metadados entre aspas (") ou acentos graves (`). Do contrário, a consulta pode não funcionar.

Depois disso, você pode começar a consultar as tabelas de metadados no console do Amazon Redshift. Para ter mais informações, consulte Accessing Amazon S3 tables with Amazon Redshift.

Consultar tabelas de metadados com o Amazon EMR

Para consultar as tabelas de metadados usando o Amazon EMR, crie um cluster do Amazon EMR configurado para o Apache Iceberg e estabeleça conexão com as tabelas de metadados usando o Apache Spark. Você pode configurar isso integrando os buckets de tabela do S3 gerenciados pela AWS aos serviços de analytics da AWS ou usando o Catálogo de Tabelas do Amazon S3 de código aberto para o catálogo de cliente do Iceberg.

nota

Ao usar o Apache Spark no Amazon EMR ou em outros mecanismos de terceiros para consultar tabelas de metadados, recomendamos que você use o endpoint REST do Iceberg da funcionalidade Tabelas do Amazon S3. Sua consulta pode não ser executada com êxito se você não usar esse endpoint. Para ter mais informações, consulte Acessar tabelas usando o endpoint Iceberg REST do serviço Tabelas do Amazon S3.

Para ter mais informações, consulte Accessing Amazon S3 tables with Amazon EMR.