As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.
# Como configurar permissões para formatos de armazenamento de tabelas abertas no Lake Formation
AWS Lake Formation suporta o gerenciamento de permissões de acesso para *Open Table Formats* (OTFs), como [Apache Iceberg](https://iceberg.apache.org/), [Apache Hudi](https://hudi.incubator.apache.org/) e [Linux](https://delta.io/) Foundation Delta Lake. Neste tutorial, você aprenderá como criar Iceberg, Hudi e Delta Lake com tabelas de [manifesto](https://docs.delta.io/latest/presto-integration.html) de links simbólicos AWS Glue Data Catalog usando AWS Glue, configurar permissões refinadas usando o Lake Formation e consultar dados usando o Amazon Athena.
**nota**
AWS os serviços de análise não oferecem suporte a todos os formatos de tabela transacional. Para obter mais informações, consulte [Trabalhando com outros AWS serviços](working-with-services.md). Este tutorial aborda a criação manual de um banco de dados e de uma tabela no Catálogo de Dados usando somente trabalhos do AWS Glue .
Este tutorial inclui um AWS CloudFormation modelo para configuração rápida. É possível revisá-lo e personalizá-lo para atender às suas necessidades.
**Topics**
+ [Público-alvo](#tut-otf-roles)
+ [Pré-requisitos](#tut-otf-prereqs)
+ [Etapa 1: Provisionar os recursos](#set-up-otf-resources)
+ [Etapa 2: Configurar permissões para uma tabela do Iceberg](#set-up-iceberg-table)
+ [Etapa 3: Configurar permissões para uma tabela do Hudi](#set-up-hudi-table)
+ [Etapa 4: Configurar permissões para uma tabela do Delta Lake](#set-up-delta-table)
+ [Etapa 5: limpar AWS os recursos](#otf-tut-clean-up)
## Público-alvo
Este tutorial é destinado a administradores de IAM, administradores de data lake e analistas de negócios. A tabela a seguir lista os perfis usados neste tutorial para criar uma tabela controlada usando o Lake Formation.
| Perfil | Description |
| --- | --- |
| Administrador do IAM | Um usuário que pode criar Usuários e perfis do IAM e buckets do Amazon S3. Tem a política AdministratorAccess AWS gerenciada. |
| Administrador do data lake | Um usuário que pode acessar o catálogo de dados, criar bancos de dados e conceder permissões do Lake Formation a outros usuários. Tem menos permissões do IAM do que o administrador do IAM, mas o suficiente para administrar o data lake. |
| Analista de negócios | Um usuário que pode executar consultas no data lake. Tem permissões para executar consultas. |
## Pré-requisitos
Antes de começar este tutorial, você deve ter um Conta da AWS que possa fazer login como usuário com as permissões corretas. Para obter mais informações, consulte [Inscreva-se para um Conta da AWS](getting-started-setup.md#sign-up-for-aws) e [Criar um usuário com acesso administrativo](getting-started-setup.md#create-an-admin).
O tutorial pressupõe que você esteja familiarizado com os perfis e políticas do IAM. Para obter informações sobre o IAM, consulte o [Guia do usuário do IAM](https://docs.aws.amazon.com/IAM/latest/UserGuide/introduction.html).
Você precisa configurar os seguintes AWS recursos para concluir este tutorial:
+ Usuário administrador do data lake
+ Configurações do data lake Formation
+ Versão 3 do mecanismo Amazon Athena
**Como criar um administrador de data lake**
1. Faça login no console do Lake Formation [https://console.aws.amazon.com/lakeformation/](https://console.aws.amazon.com/lakeformation/)como usuário administrador. Neste tutorial, você criará recursos na região Leste dos EUA (Norte da Virgínia).
1. No console do Lake Formation, no painel de navegação, em **Permissões**, selecione **Perfis e tarefas administrativas**.
1. Selecione **Escolher administradores** em **Administradores de data lake**.
1. Na janela **Gerenciar administradores do data lake**, em **Usuários e perfis do IAM**, selecione Usuário **Administrador do IAM**.
1. Escolha **Salvar**.
**Como ativar as configurações do data lake**
1. Abra o console do Lake Formation em [https://console.aws.amazon.com/lakeformation/](https://console.aws.amazon.com/lakeformation/). No painel de navegação, em **catálogo de dados**, selecione **Configurações**. Desmarque o seguinte:
+ Use somente o controle de acesso do IAM para novos bancos de dados.
+ Use somente o controle de acesso do IAM para novas tabelas em novos bancos de dados.
1. Em **Configurações da versão entre contas**, selecione **Versão 3** como a versão entre contas.
1. Escolha **Salvar**.
**Como atualizar o mecanismo Amazon Athena para a versão 3**
1. Abra o console Athena em. [https://console.aws.amazon.com/athena/](https://console.aws.amazon.com/athena/home)
1. Selecione o **Grupo de trabalho** e selecione o grupo de trabalho principal.
1. Certifique-se de que o grupo de trabalho tenha pelo menos a versão 3. Se não estiver, edite o grupo de trabalho, selecione **Manual** for **Atualizar o mecanismo de consulta** e selecione a versão 3.
1. Selecione **Salvar alterações**.
## Etapa 1: Provisionar os recursos
Esta seção mostra como configurar os AWS recursos usando um CloudFormation modelo.
**Para criar seus recursos usando o CloudFormation modelo**
1. Faça login no AWS CloudFormation console em [https://console.aws.amazon.com/cloudformation](https://console.aws.amazon.com/cloudformation/) como administrador do IAM na região Leste dos EUA (Norte da Virgínia).
1. Selecione [Iniciar Pilha](https://us-east-1.console.aws.amazon.com/cloudformation/home?region=us-east-1#/stacks/new?templateURL=https://lf-public.s3.amazonaws.com/cfn/lfotfsetup.template).
1. Na página **Criar pilha**, selecione **Avançar**.
1. Digite um **Nome de pilha**.
1. Selecione **Avançar**.
1. Na página seguinte, selecione **Avançar**.
1. Analise os detalhes na página final e selecione **Eu reconheço que isso AWS CloudFormation pode criar recursos do IAM.**
1. Escolha **Criar**.
A criação da pilha pode levar até dois minutos.
Ao iniciar a pilha de Cloud Formation, os seguintes recursos são criados:
+ lf-otf-datalake-123456789012 — Bucket Amazon S3 para armazenar dados
**nota**
O ID da conta anexado ao nome do bucket do Amazon S3 é substituído pelo ID da sua conta.
+ lf-otf-tutorial-123456789012 — Bucket Amazon S3 para armazenar resultados de consultas e scripts de trabalho AWS Glue
+ lficebergdb — Banco de dados Iceberg AWS Glue
+ lfhudidb — Banco de dados Hudi AWS Glue
+ lfdeltadb — Banco de dados Delta AWS Glue
+ native-iceberg-create — AWS Glue trabalho que cria uma tabela Iceberg no Catálogo de Dados
+ native-hudi-create — AWS Glue trabalho que cria uma tabela Hudi no Catálogo de Dados
+ native-delta-create — AWS Glue trabalho que cria uma tabela Delta no catálogo de dados
+ LF-OTF-GlueServiceRole — Função do IAM para a qual você passa AWS Glue para executar os trabalhos. Essa perfil tem as políticas necessárias anexadas para acessar os recursos, como o catálogo de dados, o bucket do Amazon S3, etc.
+ LF-OTF-RegisterRole — Função do IAM para registrar a localização do Amazon S3 no Lake Formation. Esse perfil tem o `LF-Data-Lake-Storage-Policy` anexado ao perfil.
+ lf-consumer-analystuser — Usuário do IAM para consultar os dados usando o Athena
+ lf-consumer-analystuser-credentials — Senha para o usuário analista de dados armazenada em AWS Secrets Manager
Depois que as criações da pilha forem concluídas, navegue até a guia de saída e anote os valores para:
+ AthenaQueryResultLocation — Localização do Amazon S3 para saída de consulta do Athena
+ BusinessAnalystUserCredentials — Senha para o usuário analista de dados
Como recuperar o valor da senha:
1. Selecione o valor `lf-consumer-analystuser-credentials` navegando até o console do Secrets Manager.
1. Na seção **Valor secreto**, selecione **Recuperar valor secreto**.
1. Anote o valor secreto da senha.
## Etapa 2: Configurar permissões para uma tabela do Iceberg
Nesta seção, você aprenderá como criar uma tabela Iceberg no AWS Glue Data Catalog, configurar permissões de dados e consultar dados usando o Amazon Athena. AWS Lake Formation
**Como criar uma tabela no Iceberg**
Nesta etapa, você executará um AWS Glue trabalho que cria uma tabela transacional Iceberg no Catálogo de Dados.
1. Abra o AWS Glue console [https://console.aws.amazon.com/glue/](https://console.aws.amazon.com/glue/)na região Leste dos EUA (Norte da Virgínia) como usuário administrador do data lake.
1. Selecione **trabalhos** no painel de navegação esquerdo.
1. Selecione `native-iceberg-create`.
1. Em **Ações**, selecione **Editar trabalho**.
1. Em **Detalhes do trabalho**, expanda **Propriedades avançadas** e marque a caixa ao lado de **Usar AWS Glue Data Catalog como metastore do Hive** para adicionar os metadados da tabela no. AWS Glue Data Catalog Isso especifica AWS Glue Data Catalog como metastore os recursos do Catálogo de Dados usados no trabalho e permite que as permissões do Lake Formation sejam aplicadas posteriormente nos recursos do catálogo.
1. Escolha **Salvar**.
1. Escolha **Executar**. Você pode exibir o status da tarefa durante sua execução.
Para obter mais informações sobre AWS Glue trabalhos, consulte Como [trabalhar com trabalhos no AWS Glue console](https://docs.aws.amazon.com/glue/latest/dg/console-jobs.html) no *Guia do AWS Glue desenvolvedor*.
Esse trabalho cria uma tabela no Iceberg nomeada como `product` banco de dados `lficebergdb`. Verifique a tabela de produtos no console do Lake Formation.
**Como registrar o local dos dados com Lake Formation**
Em seguida, registre o caminho do Amazon S3 como o local do seu data lake.
1. Abra o console do Lake Formation [https://console.aws.amazon.com/lakeformation/](https://console.aws.amazon.com/lakeformation/)como usuário administrador do data lake.
1. No painel de navegação, em **Registrar e ingerir**, selecione **Local dos dados**.
1. No canto superior direito do console, selecione **Registrar local**.
1. Na página **Registrar local**, digite o seguinte:
+ **Caminho do Amazon S3** — selecione **Navegar** e selecione `lf-otf-datalake-123456789012`. Clique na seta direita (>) ao lado do local raiz do Amazon S3 para navegar até o local `s3/buckets/lf-otf-datalake-123456789012/transactionaldata/native-iceberg`.
+ **Perfil do IAM** — selecione `LF-OTF-RegisterRole` como perfil do IAM.
+ Selecione **Registrar local**.
Para obter mais informações sobre como registrar um local de dados no Lake Formation, consulte [Adicionar uma localização do Amazon S3 ao seu data lake](register-data-lake.md).
**Como conceder permissões do Lake Formation na tabela do Iceberg**
Nesta etapa, concederemos permissões de data lake ao usuário do analista de negócios.
1. Em **Permissões do Data Lake**, selecione **Conceder**.
1. Na tela **Conceder permissões de dados**, selecione **Usuários e perfis do IAM**.
1. Selecione `lf-consumer-analystuser` no menu suspenso.
1. Selecione **Recurso nomeado de catálogo de dados**.
1. Para o **Banco de dados**, selecione `lficebergdb`.
1. Para **Tabelas**, selecione `product`.
1. Em seguida, você pode conceder acesso baseado em colunas especificando colunas.
1. Em **Permissões de tabela**, clique em **Selecionar**.
1. Em **Permissões de dados**, selecione **Acesso baseado em colunas**, selecione **Incluir** colunas.
1. Selecione as colunas `product_name`, `price` e `category`.
1. Selecione **Conceder**.
**Para consultar a tabela do Iceberg usando o Athena**
Agora você pode começar a consultar a tabela do Iceberg que você criou usando o Athena. Se for a primeira vez que você executa consultas no Athena, você precisará configurar o local do resultado da consulta. Para obter mais informações, acesse [Especificação de um local de resultado de consulta](https://docs.aws.amazon.com/athena/latest/ug/querying.html#query-results-specify-location).
1. Saia como usuário administrador do data lake e faça login como `lf-consumer-analystuser` na região Leste dos EUA (Norte da Virgínia) usando a senha anotada anteriormente na CloudFormation saída.
1. Abra o console do Athena em [https://console.aws.amazon.com/athena/](https://console.aws.amazon.com/athena/home).
1. Selecione **Configurações** e selecione **Gerenciar**.
1. Na caixa **Localização do resultado da consulta**, insira o caminho para o bucket que você criou nas CloudFormation saídas. **Copie o valor de `AthenaQueryResultLocation` (s3://lf-otf-tutorial-123456789012/athena-results/) e escolha Salvar.**
1. Execute a consulta a seguir para exibir 10 registros armazenados na tabela do Iceberg:
```
select * from lficebergdb.product limit 10;
```
Para obter mais informações sobre como consultar tabelas do Iceberg usando o Athena, consulte [Como consultar tabelas do Iceberg](https://docs.aws.amazon.com/athena/latest/ug/querying-iceberg-table-data.html) no *Guia do usuário do Amazon Athena*.
## Etapa 3: Configurar permissões para uma tabela do Hudi
Nesta seção, você aprenderá como criar uma tabela Hudi no AWS Glue Data Catalog, configurar permissões de dados e consultar dados usando o Amazon Athena. AWS Lake Formation
**Como criar uma tabela Hudi**
Nesta etapa, você executará um AWS Glue trabalho que cria uma tabela transacional Hudi no Catálogo de Dados.
1. Faça login no AWS Glue console [https://console.aws.amazon.com/glue/](https://console.aws.amazon.com/glue/)na região Leste dos EUA (Norte da Virgínia)
como o usuário administrador do data lake.
1. Selecione **trabalhos** no painel de navegação esquerdo.
1. Selecione `native-hudi-create`.
1. Em **Ações**, selecione **Editar trabalho**.
1. Em **Detalhes do trabalho**, expanda **Propriedades avançadas** e marque a caixa ao lado de **Usar AWS Glue Data Catalog como metastore do Hive** para adicionar os metadados da tabela no. AWS Glue Data Catalog Isso especifica AWS Glue Data Catalog como metastore os recursos do Catálogo de Dados usados no trabalho e permite que as permissões do Lake Formation sejam aplicadas posteriormente nos recursos do catálogo.
1. Escolha **Salvar**.
1. Escolha **Executar**. Você pode exibir o status da tarefa durante sua execução.
Para obter mais informações sobre AWS Glue trabalhos, consulte Como [trabalhar com trabalhos no AWS Glue console](https://docs.aws.amazon.com/glue/latest/dg/console-jobs.html) no *Guia do AWS Glue desenvolvedor*.
Esse trabalho cria uma tabela do Hudi (COW) no banco de dados: lfhudidb. Verifique a tabela no console `product` do Lake Formation.
**Como registrar o local dos dados com Lake Formation**
Em seguida, registre um caminho do Amazon S3 como o local raiz do data lake.
1. Faça login no console do Lake Formation [https://console.aws.amazon.com/lakeformation/](https://console.aws.amazon.com/lakeformation/)como usuário administrador do data lake.
1. No painel de navegação, em **Registrar e ingerir**, selecione **Local dos dados**.
1. No canto superior direito do console, selecione **Registrar local**.
1. Na página **Registrar local**, digite o seguinte:
+ **Caminho do Amazon S3** — selecione **Navegar** e selecione `lf-otf-datalake-123456789012`. Clique na seta direita (>) ao lado do local raiz do Amazon S3 para navegar até o local `s3/buckets/lf-otf-datalake-123456789012/transactionaldata/native-hudi`.
+ **Perfil do IAM** — selecione `LF-OTF-RegisterRole` como perfil do IAM.
+ Selecione **Registrar local**.
**Como conceder permissões de data lake na tabela do Hudi**
Nesta etapa, concederemos permissões de data lake ao usuário do analista de negócios.
1. Em **Permissões do Data Lake**, selecione **Conceder**.
1. Na tela **Conceder permissões de dados**, selecione **Usuários e perfis do IAM**.
1. `lf-consumer-analystuser` do menu suspenso.
1. Selecione **Recurso nomeado de catálogo de dados**.
1. Para o **Banco de dados**, selecione `lfhudidb`.
1. Para **Tabelas**, selecione `product`.
1. Em seguida, você pode conceder acesso baseado em colunas especificando colunas.
1. Em **Permissões de tabela**, clique em **Selecionar**.
1. Em **Permissões de dados**, selecione **Acesso baseado em colunas**, selecione **Incluir** colunas.
1. Selecione as colunas `product_name`, `price` e `category`.
1. Selecione **Conceder**.
**Como consultar a tabela do Hudi usando o Athena**
Agora comece a consultar a tabela do Hudi que você criou usando o Athena. Se for a primeira vez que você executa consultas no Athena, você precisará configurar o local do resultado da consulta. Para obter mais informações, acesse [Especificação de um local de resultado de consulta](https://docs.aws.amazon.com/athena/latest/ug/querying.html#query-results-specify-location).
1. Saia como usuário administrador do data lake e faça login como `lf-consumer-analystuser` na região Leste dos EUA (Norte da Virgínia) usando a senha anotada anteriormente na CloudFormation saída.
1. Abra o console do Athena em [https://console.aws.amazon.com/athena/](https://console.aws.amazon.com/athena/home).
1. Selecione **Configurações** e selecione **Gerenciar**.
1. Na caixa **Localização do resultado da consulta**, insira o caminho para o bucket que você criou nas CloudFormation saídas. **Copie o valor de `AthenaQueryResultLocation` (s3://lf-otf-tutorial-123456789012/athena-results/) e salve.**
1. Execute a consulta a seguir para exibir 10 registros armazenados na tabela do Hudi:
```
select * from lfhudidb.product limit 10;
```
Para obter mais informações sobre como consultar tabelas do Hudi usando o Athena, consulte [Como consultar tabelas do Hudi](https://docs.aws.amazon.com/athena/latest/ug/querying-hudi.html) no *Guia do usuário do Amazon Athena*.
## Etapa 4: Configurar permissões para uma tabela do Delta Lake
Nesta seção, você aprenderá como criar uma tabela Delta Lake com arquivo de manifesto de link simbólico no AWS Glue Data Catalog, configurar permissões de dados AWS Lake Formation e consultar dados usando o Amazon Athena.
**Como criar uma tabela do Delta Lake**
Nesta etapa, você executará um AWS Glue trabalho que cria uma tabela transacional do Delta Lake no Catálogo de Dados.
1. Faça login no AWS Glue console [https://console.aws.amazon.com/glue/](https://console.aws.amazon.com/glue/)na região Leste dos EUA (Norte da Virgínia)
como o usuário administrador do data lake.
1. Selecione **trabalhos** no painel de navegação esquerdo.
1. Selecione `native-delta-create`.
1. Em **Ações**, selecione **Editar trabalho**.
1. Em **Detalhes do trabalho**, expanda **Propriedades avançadas** e marque a caixa ao lado de **Usar AWS Glue Data Catalog como metastore do Hive** para adicionar os metadados da tabela no. AWS Glue Data Catalog Isso especifica AWS Glue Data Catalog como metastore os recursos do Catálogo de Dados usados no trabalho e permite que as permissões do Lake Formation sejam aplicadas posteriormente nos recursos do catálogo.
1. Escolha **Salvar**.
1. Selecione **Executar** em **Ações**.
Esse trabalho cria uma tabela no Delta Lake nomeada como `product` banco de dados `lfdeltadb`. Verifique a tabela no console `product` do Lake Formation.
**Como registrar o local dos dados com Lake Formation**
Em seguida, registre o caminho do Amazon S3 como o local raiz do data lake.
1. Abra o console do Lake Formation no [https://console.aws.amazon.com/lakeformation/](https://console.aws.amazon.com/lakeformation/)usuário administrador do data lake.
1. No painel de navegação, em **Registrar e ingerir**, selecione **Local dos dados**.
1. No canto superior direito do console, selecione **Registrar local**.
1. Na página **Registrar local**, digite o seguinte:
+ **Caminho do Amazon S3** — selecione **Navegar** e selecione `lf-otf-datalake-123456789012`. Clique na seta direita (>) ao lado do local raiz do Amazon S3 para navegar até o local `s3/buckets/lf-otf-datalake-123456789012/transactionaldata/native-delta`.
+ **Perfil do IAM** — selecione `LF-OTF-RegisterRole` como perfil do IAM.
+ Selecione **Registrar local**.
**Como conceder permissões de data lake na tabela do Delta Lake**
Nesta etapa, concederemos permissões de data lake ao usuário do analista de negócios.
1. Em **Permissões do Data Lake**, selecione **Conceder**.
1. Na tela **Conceder permissões de dados**, selecione **Usuários e perfis do IAM**.
1. `lf-consumer-analystuser` do menu suspenso.
1. Selecione **Recurso nomeado de catálogo de dados**.
1. Para o **Banco de dados**, selecione `lfdeltadb`.
1. Para **Tabelas**, selecione `product`.
1. Em seguida, você pode conceder acesso baseado em colunas especificando colunas.
1. Em **Permissões de tabela**, clique em **Selecionar**.
1. Em **Permissões de dados**, selecione **Acesso baseado em colunas**, selecione **Incluir** colunas.
1. Selecione as colunas `product_name`, `price` e `category`.
1. Selecione **Conceder**.
**Como consultar a tabela do Delta Lake usando o Athena**
Agora comece a consultar a tabela do Delta Lake que você criou usando o Athena. Se for a primeira vez que você executa consultas no Athena, você precisará configurar o local do resultado da consulta. Para obter mais informações, acesse [Especificação de um local de resultado de consulta](https://docs.aws.amazon.com/athena/latest/ug/querying.html#query-results-specify-location).
1. Saia como usuário administrador do data lake e faça login como `BusinessAnalystUser` na região Leste dos EUA (Norte da Virgínia) usando a senha anotada anteriormente na CloudFormation saída.
1. Abra o console do Athena em [https://console.aws.amazon.com/athena/](https://console.aws.amazon.com/athena/home).
1. Selecione **Configurações** e selecione **Gerenciar**.
1. Na caixa **Localização do resultado da consulta**, insira o caminho para o bucket que você criou nas CloudFormation saídas. **Copie o valor de `AthenaQueryResultLocation` (s3://lf-otf-tutorial-123456789012/athena-results/) e salve.**
1. Execute a consulta a seguir para exibir 10 registros armazenados na tabela do Delta Lake:
```
select * from lfdeltadb.product limit 10;
```
Para obter mais informações sobre como consultar tabelas do Delta Lake usando o Athena, consulte [Como consultar tabelas do Delta Lake](https://docs.aws.amazon.com/athena/latest/ug/delta-lake-tables.html) no *Guia do usuário do Amazon Athena*.
## Etapa 5: limpar AWS os recursos
**Como limpar recursos**
Para evitar cobranças indesejadas Conta da AWS, exclua AWS os recursos que você usou neste tutorial.
1. Faça login no CloudFormation console em [https://console.aws.amazon.com/cloudformation](https://console.aws.amazon.com/cloudformation/) como administrador do IAM.
1. [Exclua a pilha do Cloud Formation](https://docs.aws.amazon.com/AWSCloudFormation/latest/UserGuide/cfn-console-delete-stack.html). As tabelas que você criou são excluídas automaticamente com a pilha.