View a markdown version of this page

Katalogverbund für entfernte Iceberg-Kataloge - AWS Lake Formation

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Katalogverbund für entfernte Iceberg-Kataloge

Catalog Federation in AWS Glue bietet mithilfe AWS von Analyse-Engines direkten und sicheren Zugriff auf Iceberg-Tabellen, die in Amazon S3 gespeichert und in Remote-Katalogen katalogisiert sind. Der Katalogverbund synchronisiert Metadaten zwischen Data Catalog- und Remote-Katalogen, wenn Sie auf Remote-Tabellen zugreifen. Es wird von einer Vielzahl von Analyse-Engines unterstützt, darunter Amazon Redshift, Amazon EMR, Amazon Athena AWS Glue, Engines von Drittanbietern wie Apache Spark und mehr.

Der Katalogverbund kommuniziert mit Remote-Katalogsystemen, um Tabellen zu erkennen, und Lake Formation, um den Zugriff auf Tabellendaten in Amazon S3 zu autorisieren. AWS Glue Data Catalog Wenn Sie eine Verbundtabelle abfragen, ermittelt Data Catalog zum Zeitpunkt der Abfrage die neuesten Tabelleninformationen im Remote-Katalog und ruft den Amazon S3 S3-Speicherort, das aktuelle Schema und die Partitionsinformationen der Tabelle ab. Ihre Analyse-Engine (Amazon Athena, Amazon Redshift, Amazon EMR) verwendet diese Informationen dann, um direkt von Amazon S3 aus auf Iceberg-Datendateien zuzugreifen. Lake Formation verwaltet den Zugriff auf Tabelle (n), indem es bereichsbezogene Anmeldeinformationen für die in Amazon S3 gespeicherten Tabellendaten verkauft, sodass die Engines detaillierte Berechtigungen auf verbundene Tabellen anwenden können.

Funktionen von Catalog Federation

Regiert mit Lake Formation

Bei föderierten Iceberg-Katalogen in Data Catalog handelt es sich um in Lake Formation registrierte Ressourcen, mit denen Sie mithilfe von Lake Formation Formation-Zuschüssen detaillierte Berechtigungen auf Zeilen-, Spalten- und Zellenebene für Iceberg-Tabellen in föderierten Iceberg-Katalogen gewähren können. Föderierte Iceberg-Kataloge und zugehörige Objekte können sicher zwischen Konten gemeinsam genutzt werden. AWS Federated Iceberg-Kataloge funktionieren auch mit der auf Lake Formation Tags basierenden Zugriffskontrolle, sodass Sie die Steuerung mithilfe von Tags skalieren können.

Netzwerkkonfigurationen

Der Katalogverbund unterstützt direkte Verbindungen zu Remote-Katalogquellen mithilfe von Standard-HTTPS-Konnektivität. Es unterstützt auch Konnektivität über Amazon VPC, wenn Sie die Netzwerkisolierung aufrechterhalten möchten, und Konnektivität mithilfe von Proxyunterstützung, wenn Sie eine sichere Kommunikation über Organisations-Firewalls wünschen.

Einschränkungen

  • Größenbeschränkung für Iceberg-Tabellenmetadaten — AWS Glue Data Catalog unterstützt Iceberg-Tabellen mit einer maximalen Metadatengröße von 20 MB. AWS Glue Data Catalog lehnt Anfragen an Tabellen mit Metadaten ab, die diese Grenze überschreiten. Um AWS Glue Data Catalog Tabellen mit einer Metadatengröße von mehr als 20 MB zu finden, aktivieren Sie bitte die Komprimierung und die Aufbewahrung von Snapshots für Tabellen. Weitere Informationen finden Sie unter Optimieren von Iceberg-Tabellen im AWS Glue Entwicklerhandbuch.