Accesso al Catalogo dati
Puoi utilizzare il AWS Glue Data Catalog (Catalogo dati) per individuare e comprendere i tuoi dati. Il Catalogo dati offre un modo coerente per mantenere le definizioni degli schemi, i tipi di dati, le posizioni e altri metadati. Puoi accedere al Catalogo dati utilizzando i seguenti metodi:
Console AWS Glue: puoi accedere e gestire il Catalogo dati tramite la console AWS Glue, un'interfaccia utente basata sul web. La console consente di sfogliare e cercare database, tabelle e i relativi metadati associati, nonché creare, aggiornare ed eliminare definizioni di metadati.
Crawler di AWS Glue: i crawler sono programmi che scansionano automaticamente le origini dati e compilano il Catalogo dati con metadati. Puoi creare ed eseguire i crawler per individuare e catalogare dati da varie origini come Amazon S3, Amazon RDS, Amazon DynamoDB, Amazon CloudWatch e database relazionali conformi a JDBC come MySQL e PostgreSQL, oltre a diverse origini esterne ad AWS come Snowflake e Google BigQuery.
API AWS Glue: puoi accedere al Catalogo dati in modo programmatico utilizzando le API AWS Glue. Queste API consentono di interagire con il Catalogo dati in modo programmatico, abilitando l'automazione e l'integrazione con altre applicazioni e servizi.
-
AWS Command Line Interface (AWS CLI): puoi utilizzare l'AWS CLI per accedere e gestire il Catalogo dati dalla riga di comando. L'interfaccia a riga di comando (CLI) fornisce comandi per la creazione, l'aggiornamento e l'eliminazione delle definizioni dei metadati, nonché per l'esecuzione di query e il recupero delle informazioni sui metadati.
-
Integrazione con altri servizi AWS: il Catalogo dati si integra con vari altri servizi AWS, consentendo di accedere e utilizzare i metadati archiviati al suo interno. Ad esempio, puoi utilizzare Amazon Athena per eseguire query sulle origini dati utilizzando i metadati nel Catalogo dati e usare AWS Lake Formation per gestire l'accesso e la governance dei dati per le risorse del Catalogo dati.
Argomenti
Connessione al Catalogo dati usando l'endpoint AWS Glue Iceberg Rest
Connessione al Catalogo dati usando l'endpoint dell'estensione di AWS Glue Iceberg REST
Connessione al Catalogo dati da un'applicazione Spark standalone
Considerazioni e limitazioni sull'utilizzo delle API REST del catalogo di AWS Glue Iceberg