Federação de catálogos para catálogos remotos do Iceberg - AWS Lake Formation

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Federação de catálogos para catálogos remotos do Iceberg

A federação de catálogos AWS Glue fornece acesso direto e seguro às tabelas Iceberg, armazenadas no Amazon S3 e catalogadas em catálogos remotos, usando mecanismos de análise. AWS A federação de catálogos sincroniza metadados entre catálogos de dados e catálogos remotos quando você acessa tabelas remotas. Ele é suportado por uma grande variedade de mecanismos de análise, incluindo Amazon Redshift, Amazon EMR, Amazon Athena, mecanismos de terceiros AWS Glue, como o Apache Spark e muito mais.

A federação de catálogos usa AWS Glue Data Catalog para se comunicar com sistemas de catálogos remotos para descobrir tabelas e com o Lake Formation para autorizar o acesso aos dados da tabela no Amazon S3. Quando você consulta uma tabela federada, o Data Catalog descobre as informações mais recentes da tabela no catálogo remoto no momento da consulta, obtendo a localização da tabela no Amazon S3, o esquema atual e as informações de partição. Seu mecanismo de análise (Amazon Athena, Amazon Redshift, Amazon EMR) então usa essas informações para acessar os arquivos de dados do Iceberg diretamente do Amazon S3. O Lake Formation gerencia o acesso às tabelas vendendo credenciais com escopo definido para os dados da tabela armazenados no Amazon S3, permitindo que os mecanismos apliquem permissões refinadas às tabelas federadas.

Características da Federação de Catálogos

Governado usando Lake Formation

Os catálogos federados do Iceberg no Catálogo de Dados são recursos registrados do Lake Formation, permitindo que você conceda permissões refinadas em nível de linha, coluna e célula às tabelas do Iceberg em catálogos federados do Iceberg usando subsídios do Lake Formation. Os catálogos federados do Iceberg e os objetos associados podem ser compartilhados com segurança entre contas. AWS Os catálogos Federated Iceberg também funcionam com o controle de acesso baseado em Lake Formation Tag, permitindo que você escale a governança usando tags.

Configurações de rede

A federação de catálogos oferece suporte a conexões diretas com fontes de catálogos remotas usando conectividade HTTPS padrão. Ele também oferece suporte à conectividade por meio da Amazon VPC quando você deseja manter o isolamento e a conectividade da rede usando o suporte de proxy quando quiser comunicação segura por meio dos firewalls da organização.