Como trabalhar com outros serviços do AWS - AWS Lake Formation

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Como trabalhar com outros serviços do AWS

Serviços da AWS, como o Amazon Athena, o AWS Glue, o Amazon Redshift Spectrum e o Amazon EMR, podem usar o AWS Lake Formation para acessar os dados com segurança em localizações do Amazon S3 registradas no Lake Formation. Com o Lake Formation, você pode definir e gerenciar permissões refinadas de controle de acesso (FGAC) para suas tabelas no AWS Glue Data Catalog. Cada um desses serviços do AWS é um chamador confiável para o Lake Formation, e o Lake Formation fornece acesso aos dados armazenados no Amazon S3 por meio de credenciais temporárias. Para obter mais informações, consulte Como funciona a integração de aplicações do Lake Formation.

Para aproveitar esses recursos, o Lake Formation exige que você primeiro registre a localização do Amazon S3 e atribua as permissões apropriadas à entidade principal do IAM para acessar a tabela, o banco de dados e a localização do Amazon S3. Para ter mais informações, consulte Gerenciando permissões do Lake Formation.

As tabelas a seguir listam os tipos de permissão do Lake Formation compatíveis com o Amazon Athena, o AWS Glue, o Amazon EMR e o Amazon Redshift Spectrum para acessar dados de tabelas padrão e tabelas transacionais do AWS Glue (Apache Iceberg, Apache Hudi e Linux Foundation Delta Lake) com dados armazenados no Amazon S3 e metadados de tabelas no Catálogo de Dados.

Serviços da AWS e tipos de permissão compatíveis para tabelas e visualizações padrão do AWS Glue
Serviço da AWS Permissões no nível de tabela Permissões no nível de coluna Permissões no nível de linha e célula
Athena SQL

Acesso de leitura/gravação

Acesso de leitura Acesso de leitura
Athena Spark

Não compatível

Não compatível

Não compatível

Redshift Spectrum em um cluster provisionado ou Amazon Redshift sem servidor

Acesso de leitura/gravação Acesso de leitura Acesso de leitura

Apache Spark no Amazon EMR (EC2)

Acesso de leitura/gravação Acesso de leitura Acesso de leitura
Apache Hive no Amazon EMR (EC2) Acesso de leitura/gravação Acesso de leitura Não compatível
Apache Spark no EMR Sem Servidor Acesso de leitura/gravação Acesso de leitura Acesso de leitura
Apache Hive no EMR Sem Servidor Não compatível Não compatível Não compatível
Amazon EMR no EKS Não compatível Não compatível Não compatível
ETL do AWS Glue Acesso de leitura/gravação O AWS Glue 5.0 ou posterior comporta acesso de leitura. O AWS Glue 5.0 ou posterior comporta acesso de leitura.
Considerações e limitações
  • O Athena Spark não permite consultas a tabelas do Catálogo de Dados com permissões do Lake Formation.

  • Os usuários baseados em SAML do Athena podem ler fontes de dados protegidas usando as permissões do Lake Formation ao habilitarem a federação baseada em SAML 2.0. Os usuários do SAML podem inserir dados nas tabelas do Parquet.

  • O Apache Spark no EMR Sem Servidor não permite consultas a visualizações do Catálogo de Dados.

  • O Apache Hive no EMR Sem Servidor não permite consultas a tabelas com permissões do Lake Formation.

  • O AWS Glue 5.0 ou posterior comporta controles de acesso refinados em tabelas do Iceberg e do Hive no Data Catalog com suporte do S3. Esse recurso permite configurar controles de acesso em nível de tabela, linha, coluna e célula para consultas de leitura nos trabalhos do AWS Glue para Apache Spark.

    Para obter mais informações, consulte versões do AWS Glue.

Serviços da AWS e tipos de permissão compatíveis para formatos de tabela transacional
Serviço da AWS Iceberg Hudi Delta Lake (nativo) Delta Lake (tabelas symlink)

Athena SQL

Compatível com leitura de tabelas com permissões no nível de tabela, coluna, linha e célula. Operações de gravação exigem acesso total à tabela.

Compatível com operações de leitura e criação de tabelas com permissões no nível de tabela, coluna, linha e célula. Operações de gravação não são compatíveis.

O Athena (versão 3 do mecanismo) permite leitura de tabelas nativas do Delta Lake com permissões no nível de tabela, coluna, linha e célula. Operações de gravação não são compatíveis.

O Athena (versão 3 do mecanismo) permite leitura de tabelas symlink do Delta Lake com permissões no nível de tabela, coluna, linha e célula. Operações de gravação não são compatíveis.

Redshift Spectrum em um cluster provisionado

Compatível com leitura de tabelas com permissões no nível de tabela, coluna, linha e célula. Operações de gravação não são compatíveis.

Compatível com leitura de tabelas com permissões no nível de tabela, coluna, linha e célula. Operações de gravação não são compatíveis.

Não compatível Permite leitura de tabelas do Delta Lake por meio de manifesto symlink com permissões no nível de tabela, coluna, linha e célula. Operações de gravação não são compatíveis.
Apache Spark no Amazon EMR (EC2) Compatível com leitura de tabelas com permissões no nível de tabela, coluna, linha e célula. Operações de gravação exigem acesso total à tabela. Compatível com leitura de tabelas com permissões no nível de tabela, coluna, linha e célula. Operações de gravação exigem acesso total à tabela.

Compatível com leitura de tabelas com permissões no nível de tabela, coluna, linha e célula. Operações de gravação não são compatíveis.

Compatível com leitura de tabelas com permissões no nível de tabela, coluna, linha e célula. Operações de gravação exigem acesso total à tabela.
ETL do AWS Glue O AWS Glue 5.0 ou posterior comporta leitura de tabelas com permissões em nível de tabela, coluna, linha e célula. Permite leitura/gravação em tabelas com permissões no nível de tabela. Permite leitura/gravação em tabelas com permissões no nível de tabela. Permite leitura/gravação em tabelas com permissões no nível de tabela.