As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.
Como usar AWS Lake Formation com Amazon EMR
O Amazon EMR é uma plataforma de cluster flexível gerenciada por AWS na qual você pode executar qualquer código personalizado em estruturas de big data compatíveis, como Hadoop Map-Reduce, Spark, Hive, Presto, etc. As organizações também usam o Amazon EMR para executar aplicativos de processamento de dados em lote e streaming em um cluster altamente distribuído. Ao usar o Apache Spark no Amazon EMR, você pode executar transformações de dados e código personalizado em bancos de dados e tabelas cujas permissões são gerenciadas pelo Lake Formation.
Existem três opções para implementar o Amazon EMR:
-
EMR no EC2
-
Tecnologia sem servidor do EMR
-
Amazon EMR no EKS
Para obter mais informações, consulte Integrar o Amazon EMR ao Lake Formation ou Using EMR Serverless with AWS Lake Formation for fine-grained access control
Suporte a formatos de tabelas transacionais
As versões 6.15.0 e posteriores do Amazon EMR incluem suporte para permissões de controle de acesso em nível de tabela, linha, coluna e célula do Lake Formation nos formatos Apache Hudi , Apache Iceberg e Delta Lake
Sobre limitações, consulte Considerations for Amazon EMR with Lake Formation.
| Formato da tabela | Descrição e operações permitidas | Permissões do Lake Formation aceitas no Amazon EMR |
|---|---|---|
|
Apache Hudi |
Um formato de tabela aberta usado para simplificar o processamento incremental de dados e o desenvolvimento de pipelines de dados. Para obter uma lista das operações compatíveis, consulte Apache Hudi e Lake Formation. |
O Amazon EMR oferece suporte ao controle de acesso no nível de tabela, linha, coluna e célula com o Apache Hudi. |
|
Apache Iceberg |
Um formato de tabela aberta que gerencia grandes coleções de arquivos como tabelas. Para obter uma lista das operações compatíveis, consulte Apache Iceberg e Lake Formation. |
O Amazon EMR oferece suporte ao controle de acesso no nível de tabela, linha, coluna e célula com o Apache Iceberg. |
|
Linux Foundation Delta Lake |
O Delta Lake é um projeto de código aberto que ajuda a implementar arquiteturas modernas de data lake, geralmente construídas no Amazon S3 ou no Sistema de Arquivos Distribuído do Hadoop (HDFS). Para obter uma lista das operações compatíveis, consulte Delta Lake e Lake Formation. |
O Amazon EMR permite o controle de acesso no nível de tabela, linha, coluna e célula com tabelas do Delta Lake. |
Recursos adicionais
Guia do usuário, postagens de blog e oficinas
