Popolare il catalogo dati di AWS Glue
È possibile popolare il AWS Glue Data Catalog utilizzando i seguenti metodi:
-
Crawler di AWS Glue: un Crawler di AWS Glue può scoprire e catalogare automaticamente origini di dati come database, data lake e dati in streaming. I crawler sono il metodo più comune e consigliato per popolare il catalogo dati in quanto possono scoprire e dedurre automaticamente i metadati per un'ampia varietà di origini dati.
-
Aggiungere manualmente i metadati: è possibile definire manualmente database, tabelle e dettagli di connessione e aggiungerli al catalogo dati utilizzando la console AWS Glue, la console Lake Formation, AWS CLI o le API AWS Glue. L'inserimento manuale è utile quando si desidera catalogare origini dati che non possono essere sottoposte a crawling.
-
Integrazione con altri servizi AWS: è possibile popolare il catalogo dati con metadati di servizi come AWS Lake Formation e Amazon Athena. Questi servizi possono scoprire e registrare origini dati nel catalogo dati.
-
Popolamento da un repository di metadati esistente: se si dispone di un archivio di metadati esistente come Apache Hive Metastore, è possibile utilizzare AWS Glue per importare tali metadati nel catalogo dati. Per ulteriori informazioni, consulta l'argomento relativo alla migrazione tra metastore Hive e AWS Glue Data Catalog
su GitHub.