Bringen Sie Ihre Daten in die AWS Glue Data Catalog - AWS Lake Formation

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Bringen Sie Ihre Daten in die AWS Glue Data Catalog

Sie können Verbundkataloge im AWS Glue Data Catalog (Datenkatalog) erstellen und Daten über Amazon S3-Data Lakes und Amazon Redshift Redshift-Data Warehouses hinweg vereinheitlichen. Sie können auch Daten aus Ihren Betriebsdatenbanken und Datenquellen von Drittanbietern wie PostgreSQL, Google BigQuery, MySQL usw. integrieren. Amazon DynamoDB Der Datenkatalog bietet ein zentrales Metadaten-Repository, das die Verwaltung und Erkennung von Daten in unterschiedlichen Systemen erleichtert.

Der Datenkatalog lässt sich über föderierte Konnektoren in über 30 externe Datenquellen integrieren. Mit dieser Integration können Sie Daten aus diesen externen Quellen abfragen, ohne Daten-Pipelines erstellen zu müssen, in die die Daten zuerst aufgenommen werden. AWS

Nachdem Sie die externen Daten katalogisiert haben, können Sie sie verwenden, AWS Lake Formation um die Datenzugriffsberechtigungen im Datenkatalog zentral zu verwalten. Data Lake-Administratoren können anderen IAM-Prinzipalen (Benutzern oder Rollen) innerhalb desselben Kontos oder kontenübergreifend detaillierte Zugriffsberechtigungen gewähren. IAM-Prinzipale können die Daten dann mithilfe verschiedener AWS Dienste wie Athena, Amazon EMR oder Redshift Spectrum abfragen.

Der Datenkatalog bietet die folgenden Methoden zur Verwaltung von Daten und Berechtigungen für externe Datensätze und externe Metastores:

  • Bringen Sie Daten aus Amazon Redshift Redshift-Data Warehouses in den AWS Glue Data Catalog — Registrieren Sie einen vorhandenen Amazon Redshift Redshift-Namespace oder einen Cluster mit dem Datenkatalog und erstellen Sie einen mehrstufigen Verbundkatalog im Datenkatalog.

    Sie können mit jeder beliebigen Abfrage-Engine, die mit der OpenAPI-Spezifikation des Apache Iceberg REST-Katalogs kompatibel ist, wie Amazon EMR Serverless und Amazon Athena, auf Ihre Daten zugreifen.

  • Aus externen Datenquellen mit dem Datenkatalog verbinden — Verbinden Sie den Datenkatalog mithilfe von AWS Glue Verbindungen mit externen Datenquellen und erstellen Sie Verbundkataloge, um Zugriffsberechtigungen für Datensätze mithilfe von Lake Formation zentral zu verwalten. Eine Migration von Metadaten in den Datenkatalog ist nicht erforderlich.

  • Integrieren Sie Amazon S3 S3-Tabellen-Buckets in Data Catalog (Vorversion) — Sie können Amazon S3 S3-Tabellen als Datenkatalogobjekte veröffentlichen und katalogisieren und den Katalog über die Lake Formation Formation-Konsole oder mithilfe von AWS Glue API-Operationen als Lake Formation Formation-Datenspeicherort registrieren.

  • Kataloge erstellen, um Amazon Redshift Redshift-Tabellen im Datenkatalog zu verwalten — Möglicherweise haben Sie derzeit weder einen Amazon Redshift Redshift-Producer-Cluster noch einen Amazon Redshift Redshift-Datashare verfügbar, möchten aber Amazon Redshift Redshift-Tabellen mithilfe von Data Catalog erstellen und verwalten. Sie können damit beginnen, einen AWS Glue verwalteten Katalog mithilfe der glue:CreateCatalog API-Operation oder der AWS Lake Formation Konsole zu erstellen, indem Sie den Katalogtyp auf Managed und Catalog source als Redshift festlegen.

  • Veröffentlichen von Amazon Redshift Redshift-Datenfreigaben mit Data Catalog — Veröffentlichen Sie Amazon Redshift Redshift-Datenfreigaben in Data Catalog und verwenden Sie Lake Formation, um den Datenzugriff auf Datashares zentral zu verwalten und den Benutzerzugriff einzuschränken.

    Sie können Ihre Daten mit Amazon Redshift Spectrum abfragen.

  • Datenkatalog Connect externen Hive-Metastores verbinden — Verbinden Sie den Datenkatalog mit externen Metastores, um Zugriffsberechtigungen für Datensätze in Amazon S3 mithilfe von Lake Formation zu verwalten. Eine Migration von Metadaten in den Datenkatalog ist nicht erforderlich.

  • Integrieren Sie Lake Formation mit AWS Data Exchange — Lake Formation unterstützt die Lizenzierung des Zugriffs auf Ihre Daten über AWS Data Exchange. Informationen zur Lizenzierung Ihrer Lake Formation Formation-Daten finden Sie unter Was ist AWS Data Exchange im AWS Data Exchange Benutzerhandbuch enthalten.

Themen