Acessar tabelas do Amazon S3 usando o endpoint Iceberg REST do AWS Glue

Depois que os buckets de tabela do S3 estiverem integrados ao AWS Glue Data Catalog, você poderá usar o endpoint Iceberg REST do AWS Glue para se conectar às tabelas do S3 por meio de clientes compatíveis com o Apache Iceberg, como PyIceberg ou Spark. O endpoint Iceberg REST do AWS Glue implementa a Especificação da API Catalog Open do Iceberg REST, que fornece uma interface padronizada para interagir com tabelas do Iceberg. Para acessar as tabelas do S3 usando o endpoint, você precisa configurar as permissões por meio de uma combinação de políticas do IAM e concessões do AWS Lake Formation. As seções a seguir explicam como configurar o acesso, incluindo instruções sobre como criar o perfil do IAM necessário, definir as políticas essenciais e estabelecer permissões do Lake Formation para acesso em nível de banco de dados e de tabela.

Consulte uma explicação completa sobre como usar o PyIceberg em Access data in Amazon S3 Tables using PyIceberg through the AWS Glue Iceberg REST endpoint.

Criar um perfil do IAM para o cliente

Para acessar tabelas por meio de endpoints do AWS Glue, você precisa criar um perfil do IAM com permissões para ações do AWS Glue e do Lake Formation. Este procedimento explica como criar esse perfil e configurar suas permissões.

Definir o acesso no Lake Formation

O Lake Formation oferece controles de acesso detalhado para tabelas do data lake. Quando você integrou o bucket do S3 ao AWS Glue Data Catalog, as tabelas foram automaticamente registradas como recursos no Lake Formation. Para acessar essas tabelas, você deve conceder permissões específicas do Lake Formation à sua identidade do IAM, além das permissões de política do IAM.

As etapas a seguir explicam como aplicar os controles de acesso do Lake Formation para permitir que o cliente do Iceberg se conecte às tabelas. Você deve fazer login como administrador do data lake para aplicar essas permissões.

Permitir que mecanismos externos acessem os dados da tabela

No Lake Formation, você deve habilitar o acesso total à tabela para que mecanismos externos acessem os dados. Isso permite que aplicações de terceiros obtenham credenciais temporárias do Lake Formation ao usar um perfil do IAM que tenha permissões completas na tabela solicitada.

Conceder permissões do Lake Formation nos recursos de tabela

Depois, conceda permissões do Lake Formation ao perfil do IAM que você criou para o cliente compatível com o Iceberg. Essas permissões possibilitarão que o perfil crie e gerencie tabelas no namespace. Você precisa fornecer permissões em nível de banco de dados e de tabela:

Como conceder permissões de banco de dados

Como conceder permissões de tabela

Configurar o ambiente para usar o endpoint

Depois de configurar o perfil do IAM com as permissões necessárias para o acesso à tabela, você pode usá-lo para executar clientes do Iceberg em sua máquina local configurando a AWS CLI com o perfil por meio do seguinte comando:

aws sts assume-role --role-arn "arn:aws:iam::<accountid>:role/<glue-irc-role>" --role-session-name <glue-irc-role>

Para acessar tabelas por meio do endpoint REST do AWS Glue, você precisa inicializar um catálogo em seu cliente compatível com o Iceberg. Essa inicialização requer a especificação de propriedades personalizadas, incluindo propriedades do Sigv4, o URI do endpoint e o local do warehouse. Especifique essas propriedades da seguinte forma:

O exemplo a seguir mostra como inicializar um catálogo do pyIceberg.

rest_catalog = load_catalog(
        s3tablescatalog,
**{
"type": "rest",
"warehouse": "<accountid>:s3tablescatalog/<table-bucket-name>",
"uri": "https://glue.<region>.amazonaws.com/iceberg",
"rest.sigv4-enabled": "true",
"rest.signing-name": "glue",
"rest.signing-region": region
        }
)

Consulte mais informações sobre a implementação do endpoint Iceberg REST do AWS Glue em Conectar ao Catálogo de Dados usando o endpoint Iceberg REST do AWS Glue no Guia do usuário do AWS Glue.