View a markdown version of this page

Trazendo seus dados para o AWS Glue Data Catalog - AWS Lake Formation

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Trazendo seus dados para o AWS Glue Data Catalog

Você pode criar catálogos federados no AWS Glue Data Catalog (Catálogo de dados) e unificar dados entre os data lakes do Amazon S3 e os armazéns de dados do Amazon Redshift. Você também pode integrar dados de seus bancos de dados operacionais Amazon DynamoDB, como fontes de dados de terceiros, como PostgreSQL BigQuery, Google, MySQL, entre outros. O Catálogo de Dados oferece um repositório centralizado de metadados que facilita o gerenciamento e a descoberta de dados em sistemas diferentes.

O Data Catalog se integra a mais de trinta fontes de dados externas por meio de conectores federados. Com essa integração, você pode consultar dados dessas fontes externas sem precisar criar pipelines de dados para ingerir os dados primeiro. AWS

Depois de catalogar os dados externos, você pode usar AWS Lake Formation para gerenciar centralmente as permissões de acesso aos dados no Catálogo de Dados. Os administradores do data lake podem conceder permissões de acesso refinadas a outras entidades principais do IAM (usuários ou perfis) na mesma conta ou em várias contas usando controle de acesso baseado em tag (tags LF) e métodos de recursos nomeados.

Ao usar tags LF, os administradores de dados podem organizar logicamente os recursos com base em atributos como domínio e nível de sensibilidade, simplificando o gerenciamento de permissões e garantindo controles de acesso consistentes em serviços de análise e aprendizado de máquina, incluindo Athena, Amazon EMR ou Redshift Spectrum. AWS Glue

O Data Catalog fornece os seguintes métodos para gerenciar dados e permissões em conjuntos de dados e metastores externos:

  • Integre buckets de tabela do Amazon S3 com o catálogo de dados — Você pode publicar e catalogar tabelas do Amazon S3 como objetos do catálogo de dados e registrar o catálogo como um local de dados do Lake Formation a partir do console do Lake Formation ou usando operações de API. AWS Glue

  • Traga dados dos armazéns de dados do Amazon Redshift para o AWS Glue Data Catalog — Registre um namespace existente do Amazon Redshift ou um cluster com o Catálogo de Dados e crie um catálogo federado de vários níveis no Catálogo de Dados.

    Você pode acessar seus dados usando qualquer mecanismo de consulta compatível com a especificação OpenAPI do catálogo REST do Apache Iceberg, como Amazon EMR Sem Servidor e Amazon Athena.

  • Federe Iceberg REST catálogos remotos ao catálogo de dados — Federe Iceberg REST catálogos remotos ao catálogo de dados e acesse com segurança tabelas remotas armazenadas Iceberg no Amazon S3 usando mecanismos de análise. AWS

  • Integre-se ao Catálogo de Dados a partir de fontes de dados externas — Conecte o Catálogo de Dados a fontes de dados externas usando AWS Glue conexões e crie catálogos federados para gerenciar centralmente as permissões de acesso em conjuntos de dados usando o Lake Formation. Não é necessária nenhuma migração de metadados para o Data Catalog.

  • Criar catálogos para gerenciar Tabelas do Amazon Redshift no Data Catalog: você pode não ter um cluster produtor do Amazon Redshift ou uma unidade de compartilhamento de dados do Amazon Redshift disponível atualmente, mas deseja criar e gerenciar Tabelas do Amazon Redshift usando o Data Catalog. É possível começar criando um catálogo gerenciado do AWS Glue usando a operação de API glue:CreateCatalog ou o console do AWS Lake Formation definindo o tipo de catálogo como Managed e Catalog source como Redshift.

  • Publicar unidades de compartilhamento de dados do Amazon Redshift com o Data Catalog: publique unidades de compartilhamento de dados do Amazon Redshift no Data Catalog e use o Lake Formation para gerenciar centralmente o acesso aos dados das unidades de compartilhamento de dados e restringir o acesso do usuário.

    É possível consultar dados usando o Amazon Redshift Spectrum.

  • Conectar o Data Catalog a metastores Hive externos: conecte o Data Catalog a metastores externos para gerenciar permissões de acesso em conjuntos de dados no Amazon S3 usando o Lake Formation. Não é necessária nenhuma migração de metadados para o Data Catalog.

  • Integre o Lake Formation com o AWS Data Exchange — O Lake Formation oferece suporte ao licenciamento de acesso aos seus dados por meio AWS Data Exchange de. Se você quiser licenciar seus dados do Lake Formation, consulte O que é o AWS Data Exchange no Guia do usuário do AWS Data Exchange .

Tópicos