Manuelles Definieren von Metadaten
Der AWS Glue-Datenkatalog ist ein zentrales Repository, das Metadaten zu den Datenquellen und Datensätzen speichert. Ein Crawler kann Metadaten für unterstützte Datenquellen zwar automatisch crawlen und mit Daten füllen, es gibt aber bestimmte Szenarien, in denen Sie Metadaten möglicherweise manuell im Datenkatalog definieren müssen:
Nicht unterstützte Datenformate – Wenn Sie Datenquellen haben, die vom Crawler nicht unterstützt werden, müssen Sie die Metadaten für diese Datenquellen manuell im Datenkatalog definieren.
Anforderungen an benutzerdefinierte Metadaten – Der AWS-Glue-Crawler leitet Metadaten auf der Grundlage vordefinierter Regeln und Konventionen ab. Wenn Sie spezifische Metadatenanforderungen haben, die nicht von den von AWS-Glue-Crawler abgeleiteten Metadaten abgedeckt werden, können Sie die Metadaten manuell definieren, um Ihren Anforderungen gerecht zu werden.
Daten-Governance und Standardisierung – In einigen Fällen möchten Sie aus Gründen der Daten-Governance, der Einhaltung von Vorschriften oder aus Sicherheitsgründen möglicherweise mehr Kontrolle über die Metadatendefinitionen haben. Durch manuelles Definieren von Metadaten können Sie sicherstellen, dass die Metadaten den Standards und Richtlinien Ihres Unternehmens entsprechen.
-
Platzhalter für die zukünftige Datenerfassung – Wenn Sie Datenquellen haben, die nicht sofort verfügbar oder zugänglich sind, können Sie leere Schematabellen als Platzhalter erstellen. Sobald die Datenquellen verfügbar sind, können Sie die Tabellen mit den tatsächlichen Daten füllen und dabei die vordefinierte Struktur beibehalten.
Um Metadaten manuell zu definieren, können Sie die AWS Glue-Konsole, die Lake-Formation-Konsole, die AWS Glue-API oder die AWS Command Line Interface (AWS CLI) verwenden. Sie können Datenbanken, Tabellen und Partitionen erstellen und Metadateneigenschaften wie beispielsweise Spaltennamen, Datentypen, Beschreibungen und andere Attribute angeben.
