Integração do Amazon DataZone com o modo híbrido do AWS Lake Formation
O Amazon DataZone é integrado ao modo híbrido do AWS Lake Formation. Essa integração permite que você publique e compartilhe facilmente suas tabelas do AWS Glue por meio do Amazon DataZone, sem a necessidade de registrá-las primeiro no AWS Lake Formation. O modo híbrido permite que você comece a gerenciar as permissões em suas tabelas do AWS Glue por meio do AWS Lake Formation e, ao mesmo tempo, continue mantendo todas as permissões existentes do IAM nessas tabelas.
Para começar, você pode habilitar a configuração de Registro de localização de dados no esquema DefaultDataLake no console de gerenciamento do Amazon DataZone.
Habilitar a integração com o modo híbrido do AWS Lake Formation
-
Navegue até o console do Amazon DataZone em https://console.aws.amazon.com/datazone
e faça login com as credenciais da sua conta. -
Escolha Visualizar domínios e escolha o domínio no qual você deseja habilitar a integração com o modo híbrido do AWS Lake Formation.
-
Na página de detalhes do domínio, navegue até a guia Esquemas.
-
Na lista de Esquemas, escolha o esquema DefaultDataLake.
-
Verifique se o esquema do DefaultDataLake está ativado. Se não estiver ativado, siga as etapas em Habilitar esquemas integrados na conta da AWS que possui o domínio Amazon DataZone para habilitá-lo em sua conta da AWS.
-
Na página de detalhes do DefaultDataLake, abra a guia Provisionamento e escolha o botão Editar no canto superior direito da página.
-
Em Registro de localização de dados, marque a caixa para habilitar o registro de localização de dados.
-
Para o perfil de gerenciamento de localização de dados, você pode criar um novo perfil do IAM ou selecionar um perfil existente do IAM. O Amazon DataZone usa esse perfil para gerenciar o acesso de leitura/gravação aos bucket(s) do Amazon S3 escolhidos para Data Lake usando o modo de acesso híbrido do AWS Lake Formation. Para obter mais informações, consulte AmazonDataZoneS3Manage-<region>-<domainId>.
-
Opcionalmente, você pode optar por excluir determinados locais do Amazon S3 se não quiser que o Amazon DataZone os registre automaticamente no modo híbrido. Para fazer isso, conclua as etapas a seguir:
-
Escolha o botão de alternância para excluir locais específicos do Amazon S3.
-
Forneça o URI do bucket do Amazon S3 que você deseja excluir.
-
Para adicionar mais buckets, escolha Adicionar localização do S3.
nota
O Amazon DataZone só permite a exclusão de uma localização raiz do S3. Qualquer localização do S3 dentro do caminho de uma localização raiz do S3 será automaticamente excluída do registro.
-
Escolha Salvar alterações.
-
Depois de habilitar a configuração de registro de localização de dados em sua conta da AWS, quando um consumidor de dados se inscrever em uma tabela do AWS Glue gerenciada por meio de permissões do IAM, o Amazon DataZone primeiro registrará as localizações dessa tabela no Amazon S3 no modo híbrido e, em seguida, concederá acesso ao consumidor de dados gerenciando as permissões na tabela por meio do AWS Lake Formation. Isso garante que as permissões do IAM na tabela continuem existindo com as permissões recém-concedidas do AWS Lake Formation, sem interromper os fluxos de trabalho existentes.
Como lidar com locais criptografados do Amazon S3 ao habilitar a integração do modo híbrido do AWS Lake Formation no Amazon DataZone
Se você estiver usando uma localização do Amazon S3 criptografada com uma chave gerenciada pelo cliente ou com uma chave do KMS gerenciada pela AWS, o perfil AmazonDataZoneS3Manage deverá ter permissão para criptografar e descriptografar dados com a chave do KMS, ou a política de chave do perfil deverá conceder permissões sobre a chave do perfil.
Se sua localização no Amazon S3 estiver criptografada com uma chave gerenciada pela AWS, adicione a seguinte política em linha ao perfil AmazonDataZoneDataLocationManagement:
Se sua localização do Amazon S3 estiver criptografada com uma chave gerenciada pelo cliente, faça o seguinte:
-
Abra o console do AWS KMS em https://console.aws.amazon.com/kms
e faça login como um usuário administrativo do AWS Identity and Access Management (AWS IAM) ou como um usuário que pode modificar a política de chave da chave do KMS usada para criptografar o local. -
No painel de navegação, selecione Chaves gerenciadas pelo cliente e selecione o nome da chave do KMS desejada.
-
Na página de detalhes da chave KMS, escolha a guia Política de chaves e, em seguida, faça o seguinte para adicionar sua função personalizada ou a função vinculada ao serviço Lake Formation como usuário da chave KMS:
-
Se a visualização padrão estiver sendo exibida (com as seções Administradores de chaves, Exclusão de chaves, Usuários de chaves e Outras contas da AWS), na seção Usuários de chaves, adicione ao perfil AmazonDataZoneDataLocationManagement.
-
Se a política de chave (JSON) estiver sendo exibida, edite a política para adicionar ao perfil AmazonDataZoneDataLocationManagement ao objeto “Permitir o uso da chave”, conforme mostrado no exemplo a seguir
... { "Sid": "Allow use of the key", "Effect": "Allow", "Principal": { "AWS": [ "arn:aws:iam::111122223333:role/service-role/AmazonDataZoneDataLocationManage-<region>-<domain-id>" ] }, "Action": [ "kms:Encrypt", "kms:Decrypt", "kms:ReEncrypt*", "kms:GenerateDataKey*", "kms:DescribeKey" ], "Resource": "*" }, ...
-
nota
Se a chave do KMS ou a localização do Amazon S3 não estiverem na mesma conta da AWS do catálogo de dados, siga as instruções em Registro de uma localização criptografada do Amazon S3 entre contas da AWS.
