API Cataloghi
L'API Cataloghi descrive le API per la creazione, l'eliminazione, l'individuazione, l'aggiornamento e l'inserimento dei cataloghi.
Tipi di dati
Struttura del catalogo
L'oggetto del catalogo rappresenta un raggruppamento logico di database nel Catalogo dati AWS Glue o in un'origine federata. Ora puoi creare un catalogo federato Redshift o un catalogo contenente collegamenti a risorse ai database Redshift in un altro account o regione.
Campi
-
CatalogId: stringa ID catalogo, non inferiore a 1 o superiore a 255 byte di lunghezza, corrispondente a Single-line string pattern.L'ID del catalogo. Per concedere l'accesso al catalogo predefinito, questo campo non deve essere fornito.
-
Name: obbligatorio: stringa UTF-8, non inferiore a 1 o superiore a 64 byte di lunghezza, corrispondente a Custom string pattern #25.Il nome del catalogo. Non può essere uguale all'ID account.
-
ResourceArn: stringa UTF-8.Il nome della risorsa Amazon (ARN) assegnato alla risorsa del catalogo.
-
Description: stringa di descrizione, non superiore a 2048 byte di lunghezza, corrispondente a URI address multi-line string pattern.Stringa di descrizione, non superiore a 2.048 byte di lunghezza, corrispondente al modello di stringa su più righe dell'indirizzo URI. Una descrizione del catalogo.
-
Parameters: una matrice della mappa di coppie chiave-valore.Ogni chiave è una stringa chiave, non inferiore a 1 o superiore a 255 byte di lunghezza, corrispondente a Single-line string pattern.
Ogni valore è una stringa UTF-8, lunga non più di 512000 byte.
Un array della mappa di coppie chiave-valore che definiscono parametri e proprietà del catalogo.
-
CreateTime: timestamp.L'ora in cui è stato creato il catalogo.
-
UpdateTime: timestamp.L'ora dell'ultimo aggiornamento del catalogo.
-
TargetRedshiftCatalog: un oggetto TargetRedshiftCatalog.Un oggetto
TargetRedshiftCatalogche descrive un catalogo di destinazione per il collegamento del database. -
FederatedCatalog: un oggetto FederatedCatalog.Un oggetto
FederatedCatalogche punta a un'entità esterna al Catalogo dati AWS Glue. -
CatalogProperties: un oggetto CatalogPropertiesOutput.Un oggetto
CatalogPropertiesche specifica le proprietà di accesso al data lake e altre proprietà personalizzate. -
CreateTableDefaultPermissions: una matrice di oggetti PrincipalPermissions.Un array di oggetti
PrincipalPermissions. Crea un set di autorizzazioni predefinite sulle tabelle per i principali. Utilizzato da AWS Lake Formation. Non utilizzato nel corso delle normali operazioni di AWS Glue. -
CreateDatabaseDefaultPermissions: una matrice di oggetti PrincipalPermissions.Un array di oggetti
PrincipalPermissions. Crea un set di autorizzazioni predefinite sui database per i principali. Utilizzato da AWS Lake Formation. Non utilizzato nel corso delle normali operazioni di AWS Glue. -
AllowFullTableExternalDataAccess: stringa UTF-8 (valori validi:True|False).Consente ai motori di terze parti di accedere ai dati nelle posizioni Amazon S3 registrate con Lake Formation.
Struttura CatalogInput
Una struttura che descrive le proprietà del catalogo.
Campi
-
Description: stringa di descrizione, non superiore a 2048 byte di lunghezza, corrispondente a URI address multi-line string pattern.Stringa di descrizione, non superiore a 2.048 byte di lunghezza, corrispondente al modello di stringa su più righe dell'indirizzo URI. Una descrizione del catalogo.
-
FederatedCatalog: un oggetto FederatedCatalog.Oggetto
FederatedCatalog. Una strutturaFederatedCatalogche fa riferimento a un'entità esterna al Catalogo dati AWS Glue, ad esempio un database Redshift. -
Parameters: una matrice della mappa di coppie chiave-valore.Ogni chiave è una stringa chiave, non inferiore a 1 o superiore a 255 byte di lunghezza, corrispondente a Single-line string pattern.
Ogni valore è una stringa UTF-8, lunga non più di 512000 byte.
Un array della mappa di coppie chiave-valore che definiscono i parametri e le proprietà del catalogo.
-
TargetRedshiftCatalog: un oggetto TargetRedshiftCatalog.Un oggetto
TargetRedshiftCatalogche descrive un catalogo di destinazione per il collegamento delle risorse. -
CatalogProperties: un oggetto CatalogProperties.Un oggetto
CatalogPropertiesche specifica le proprietà di accesso al data lake e altre proprietà personalizzate. -
CreateTableDefaultPermissions: una matrice di oggetti PrincipalPermissions.Un array di oggetti
PrincipalPermissions. Crea un set di autorizzazioni predefinite sulle tabelle per i principali. Utilizzato da AWS Lake Formation. In genere dovrebbe essere impostato in modo esplicito come elenco vuoto. -
CreateDatabaseDefaultPermissions: una matrice di oggetti PrincipalPermissions.Un array di oggetti
PrincipalPermissions. Crea un set di autorizzazioni predefinite sui database per i principali. Utilizzato da AWS Lake Formation. In genere dovrebbe essere impostato in modo esplicito come elenco vuoto. -
AllowFullTableExternalDataAccess: stringa UTF-8 (valori validi:True|False).Consente ai motori di terze parti di accedere ai dati nelle posizioni Amazon S3 registrate con Lake Formation.
Struttura TargetRedshiftCatalogCatalog
Una struttura che descrive un catalogo di destinazione per il collegamento delle risorse.
Campi
-
CatalogArn: obbligatorio: stringa UTF-8.Il nome della risorsa Amazon (ARN) della risorsa del catalogo.
Struttura CatalogProperties
Una struttura che specifica le proprietà di accesso al data lake e altre proprietà personalizzate.
Campi
-
DataLakeAccessProperties: un oggetto DataLakeAccessProperties.Un oggetto
DataLakeAccessPropertiesche specifica le proprietà per configurare l'accesso al data lake per la risorsa del catalogo nel Catalogo dati AWS Glue. -
IcebergOptimizationProperties: un oggetto IcebergOptimizationProperties.Una struttura che specifica le proprietà di ottimizzazione della tabella Iceberg per il catalogo. Ciò include la configurazione per le operazioni di compattazione, conservazione ed eliminazione dei file orfani che possono essere applicate alle tabelle Iceberg in questo catalogo.
-
CustomProperties: una matrice della mappa di coppie chiave-valore.Ogni chiave è una stringa chiave, non inferiore a 1 o superiore a 255 byte di lunghezza, corrispondente a Single-line string pattern.
Ogni valore è una stringa UTF-8, lunga non più di 512000 byte.
Proprietà chiave-valore aggiuntive per il catalogo, come le ottimizzazioni delle statistiche delle colonne.
Struttura CatalogPropertiesOutput
Attributi di proprietà che includono le proprietà di configurazione per la risorsa del catalogo.
Campi
-
DataLakeAccessProperties: un oggetto DataLakeAccessPropertiesOutput.Un oggetto
DataLakeAccessPropertiescon proprietà di input per configurare l'accesso al data lake per la risorsa del catalogo nel Catalogo dati AWS Glue. -
IcebergOptimizationProperties: un oggetto IcebergOptimizationPropertiesOutput.Un oggetto
IcebergOptimizationPropertiesOutputche specifica le impostazioni di ottimizzazione delle tabelle Iceberg per il catalogo, incluse le configurazioni per le operazioni di compattazione, conservazione ed eliminazione dei file orfani. -
CustomProperties: una matrice della mappa di coppie chiave-valore.Ogni chiave è una stringa chiave, non inferiore a 1 o superiore a 255 byte di lunghezza, corrispondente a Single-line string pattern.
Ogni valore è una stringa UTF-8, lunga non più di 512000 byte.
Proprietà chiave-valore aggiuntive per il catalogo, come le ottimizzazioni delle statistiche delle colonne.
Struttura DataLakeAccessProperties
Proprietà di input per configurare l'accesso al data lake per la risorsa del catalogo nel Catalogo dati AWS Glue.
Campi
-
DataLakeAccess: booleano.Attiva o disattiva l'accesso al data lake per le applicazioni Apache Spark che accedono ai database Amazon Redshift nel Catalogo dati da qualsiasi motore non Redshift, come Amazon Athena, Amazon EMR o ETL di AWS Glue.
-
DataTransferRole: stringa UTF-8, corrispondente a Custom string pattern #51.Un ruolo che verrà assunto da AWS Glue per il trasferimento dei dati da/verso il bucket di staging durante una query.
-
KmsKey: stringa UTF-8.Una chiave di crittografia utilizzata per il bucket di staging che verrà creato insieme al catalogo.
-
CatalogType: stringa UTF-8, non inferiore a 1 o superiore a 255 byte di lunghezza, corrispondente a Single-line string pattern.Specifica un tipo di catalogo federato per la risorsa del catalogo nativa. Il tipo attualmente supportato è
aws:redshift.
Struttura IcebergOptimizationProperties
Una struttura che specifica le proprietà di ottimizzazione delle tabelle Iceberg per il catalogo, incluse le configurazioni per le operazioni di compattazione, conservazione ed eliminazione dei file orfani.
Campi
-
RoleArn: stringa UTF-8, corrispondente a Custom string pattern #51.Il nome della risorsa Amazon (ARN) del ruolo IAM che deve essere assunto per eseguire le operazioni di ottimizzazione delle tabelle Iceberg.
-
Compaction: una matrice della mappa di coppie chiave-valore.Ogni chiave è una stringa chiave, non inferiore a 1 o superiore a 255 byte di lunghezza, corrispondente a Single-line string pattern.
Ogni valore è una stringa UTF-8, lunga non più di 512000 byte.
Una mappa di coppie chiave-valore che specificano i parametri di configurazione per le operazioni di compattazione delle tabelle Iceberg, le quali ottimizzano il layout dei file di dati per migliorare le prestazioni delle query.
-
Retention: una matrice della mappa di coppie chiave-valore.Ogni chiave è una stringa chiave, non inferiore a 1 o superiore a 255 byte di lunghezza, corrispondente a Single-line string pattern.
Ogni valore è una stringa UTF-8, lunga non più di 512000 byte.
Una mappa di coppie chiave-valore che specificano i parametri di configurazione per le operazioni di conservazione delle tabelle Iceberg, le quali gestiscono il ciclo di vita degli snapshot delle tabelle per controllare i costi di archiviazione.
-
OrphanFileDeletion: una matrice della mappa di coppie chiave-valore.Ogni chiave è una stringa chiave, non inferiore a 1 o superiore a 255 byte di lunghezza, corrispondente a Single-line string pattern.
Ogni valore è una stringa UTF-8, lunga non più di 512000 byte.
Una mappa di coppie chiave-valore che specificano i parametri di configurazione per le operazioni di eliminazione dei file orfani di Iceberg, i quali identificano e rimuovono i file a cui non fanno più riferimento i metadati della tabella.
Struttura DataLakeAccessPropertiesOutput
Le proprietà di output della configurazione di accesso al data lake per la risorsa di catalogo nel Catalogo dati AWS Glue.
Campi
-
DataLakeAccess: booleano.Attiva o disattiva l'accesso al data lake per le applicazioni Apache Spark che accedono ai database Amazon Redshift nel Catalogo Dati.
-
DataTransferRole: stringa UTF-8, corrispondente a Custom string pattern #51.Un ruolo che verrà assunto da AWS Glue per il trasferimento dei dati da/verso il bucket di staging durante una query.
-
KmsKey: stringa UTF-8.Una chiave di crittografia utilizzata per il bucket di staging che verrà creato insieme al catalogo.
-
ManagedWorkgroupName: stringa UTF-8, non inferiore a 1 o superiore a 255 byte di lunghezza, corrispondente a Single-line string pattern.Il nome del calcolo gestito di Redshift serverless creato per la risorsa del catalogo.
-
ManagedWorkgroupStatus: stringa UTF-8, non inferiore a 1 o superiore a 255 byte di lunghezza, corrispondente a Single-line string pattern.Lo stato del calcolo gestito di Redshift serverless.
-
RedshiftDatabaseName: stringa UTF-8, non inferiore a 1 o superiore a 255 byte di lunghezza, corrispondente a Single-line string pattern.Il nome predefinito della risorsa del database Redshift nel calcolo gestito.
-
StatusMessage: stringa UTF-8, non inferiore a 1 o superiore a 255 byte di lunghezza, corrispondente a Single-line string pattern.Un messaggio che fornisce informazioni più dettagliate sullo stato del gruppo di lavoro gestito.
-
CatalogType: stringa UTF-8, non inferiore a 1 o superiore a 255 byte di lunghezza, corrispondente a Single-line string pattern.Specifica un tipo di catalogo federato per la risorsa del catalogo nativa. Il tipo attualmente supportato è
aws:redshift.
Struttura IcebergOptimizationPropertiesOutput
Una struttura che contiene le proprietà di output della configurazione di ottimizzazione della tabella Iceberg per la risorsa di catalogo nel Catalogo dati AWS Glue.
Campi
-
RoleArn: stringa UTF-8, corrispondente a Custom string pattern #51.Il nome della risorsa Amazon (ARN) del ruolo IAM utilizzato per eseguire le operazioni di ottimizzazione delle tabelle Iceberg.
-
Compaction: una matrice della mappa di coppie chiave-valore.Ogni chiave è una stringa chiave, non inferiore a 1 o superiore a 255 byte di lunghezza, corrispondente a Single-line string pattern.
Ogni valore è una stringa UTF-8, lunga non più di 512000 byte.
Una mappa di coppie chiave-valore che specificano i parametri di configurazione per le operazioni di compattazione delle tabelle Iceberg, le quali ottimizzano il layout dei file di dati per migliorare le prestazioni delle query.
-
Retention: una matrice della mappa di coppie chiave-valore.Ogni chiave è una stringa chiave, non inferiore a 1 o superiore a 255 byte di lunghezza, corrispondente a Single-line string pattern.
Ogni valore è una stringa UTF-8, lunga non più di 512000 byte.
Una mappa di coppie chiave-valore che specificano i parametri di configurazione per le operazioni di conservazione delle tabelle Iceberg, le quali gestiscono il ciclo di vita degli snapshot delle tabelle per controllare i costi di archiviazione.
-
OrphanFileDeletion: una matrice della mappa di coppie chiave-valore.Ogni chiave è una stringa chiave, non inferiore a 1 o superiore a 255 byte di lunghezza, corrispondente a Single-line string pattern.
Ogni valore è una stringa UTF-8, lunga non più di 512000 byte.
Una mappa di coppie chiave-valore che specificano i parametri di configurazione per le operazioni di eliminazione dei file orfani di Iceberg, i quali identificano e rimuovono i file a cui non fanno più riferimento i metadati della tabella.
-
LastUpdatedTime: timestamp.Il timestamp relativo al momento dell'ultimo aggiornamento delle proprietà di Iceberg.
Struttura FederatedCatalog
Un catalogo che punta a un'entità esterna al Catalogo dati AWS Glue.
Campi
-
Identifier: stringa UTF-8, non inferiore a 1 o superiore a 512 byte di lunghezza, corrispondente a Single-line string pattern.Un identificatore univoco per il catalogo federato.
-
ConnectionName: stringa UTF-8, non inferiore a 1 o superiore a 255 byte di lunghezza, corrispondente a Single-line string pattern.Il nome della connessione a un'origine dati esterna, ad esempio un catalogo federato di Redshift.
-
ConnectionType: stringa UTF-8, non inferiore a 1 o superiore a 255 byte di lunghezza, corrispondente a Single-line string pattern.Il tipo di connessione utilizzato per accedere al catalogo federato, che specifica il protocollo o il metodo per la connessione all'origine dati esterna.
Operazioni
Operazione CreateCatalog (Python: create_catalog)
Crea un nuovo catalogo nel Catalogo dati AWS Glue.
Richiesta
-
Name: obbligatorio: stringa UTF-8, non inferiore a 1 o superiore a 64 byte di lunghezza, corrispondente a Custom string pattern #25.Nome del catalogo da creare.
-
CatalogInput: obbligatorio: un oggetto CatalogInput.Un oggetto
CatalogInputche definisce i metadati per il catalogo. -
Tags: una matrice di mappe con coppie chiave-valore, non superiore alle 50 coppie.Ogni chiave è una stringa UTF-8, non inferiore a 1 o superiore a 128 byte di lunghezza.
Ogni valore è una stringa UTF-8, lunga non più di 256 byte.
Una matrice di mappe con coppie chiave-valore, non superiore alle 50 coppie. Ogni chiave è una stringa UTF-8, non inferiore a 1 o superiore a 128 byte di lunghezza. Ogni valore è una stringa UTF-8, lunga non più di 256 byte. I tag assegnati al catalogo.
Risposta
Nessun parametro di risposta.
Errori
InvalidInputExceptionAlreadyExistsExceptionResourceNumberLimitExceededExceptionInternalServiceExceptionOperationTimeoutExceptionGlueEncryptionExceptionConcurrentModificationExceptionAccessDeniedExceptionEntityNotFoundExceptionFederatedResourceAlreadyExistsExceptionFederationSourceException
Operazione UpdateCatalog (Python: update_catalog)
Aggiorna le proprietà di un catalogo esistente nel Catalogo dati AWS Glue.
Richiesta
-
CatalogId- Obbligatorio:: stringa ID catalogo, non inferiore a 1 o superiore a 255 byte di lunghezza, corrispondente a Single-line string patternL'ID del catalogo.
-
CatalogInput: obbligatorio: un oggetto CatalogInput.Un oggetto
CatalogInputche specifica le nuove proprietà di un catalogo esistente.
Risposta
Nessun parametro di risposta.
Errori
EntityNotFoundExceptionInvalidInputExceptionInternalServiceExceptionOperationTimeoutExceptionGlueEncryptionExceptionConcurrentModificationExceptionAccessDeniedExceptionFederationSourceException
Operazione DeleteCatalog (Python: delete_catalog)
Rimuove il catalogo specificato dal Catalogo dati AWS Glue.
Una volta completata questa operazione, non potrai più accedere ai database (e a tutte le versioni e le partizioni delle tabelle che potrebbero appartenere alle tabelle stesse) e alle funzioni definite dall'utente del catalogo eliminato. AWS Glue elimina tempestivamente queste risorse “orfane” in modo asincrono, a discrezione del servizio.
Per garantire l'eliminazione immediata di tutte le risorse correlate, prima di chiamare l'operazione DeleteCatalog, utilizza DeleteTableVersion (o BatchDeleteTableVersion), DeletePartition (o BatchDeletePartition), DeleteTable (o BatchDeleteTable), DeleteUserDefinedFunction e DeleteDatabase per eliminare eventuali risorse che appartengono al catalogo.
Richiesta
-
CatalogId- Obbligatorio:: stringa ID catalogo, non inferiore a 1 o superiore a 255 byte di lunghezza, corrispondente a Single-line string patternL'ID del catalogo.
Risposta
Nessun parametro di risposta.
Errori
EntityNotFoundExceptionInvalidInputExceptionInternalServiceExceptionOperationTimeoutExceptionGlueEncryptionExceptionConcurrentModificationExceptionAccessDeniedExceptionFederationSourceException
Operazione GetCatalog (Python: get_catalog)
Il nome del catalogo da recuperare. Deve essere tutto in minuscolo.
Richiesta
-
CatalogId- Obbligatorio:: stringa ID catalogo, non inferiore a 1 o superiore a 255 byte di lunghezza, corrispondente a Single-line string patternL'ID del catalogo padre in cui si trova il catalogo. Se non viene fornito, per impostazione predefinita viene utilizzato il numero dell'account AWS.
Risposta
-
Catalog: un oggetto Catalogo.Oggetto
Catalog. La definizione del catalogo specificato nel Catalogo dati AWS Glue.
Errori
InvalidInputExceptionEntityNotFoundExceptionInternalServiceExceptionOperationTimeoutExceptionGlueEncryptionExceptionAccessDeniedExceptionEntityNotFoundExceptionFederationSourceExceptionFederationSourceRetryableException
Operazione GetCatalogs (Python: get_catalogs)
Recupera tutti i cataloghi definiti nel Catalogo dati AWS Glue. Per un caso d'uso di un catalogo federato di Redshift, questa operazione restituisce l'elenco dei cataloghi mappati ai database Redshift nel catalogo del namespace Redshift.
Richiesta
-
ParentCatalogId: stringa ID catalogo, non inferiore a 1 o superiore a 255 byte di lunghezza, corrispondente a Single-line string pattern.L'ID del catalogo padre in cui si trova il catalogo. Se non viene fornito, per impostazione predefinita viene utilizzato il numero dell'account AWS.
-
NextToken: stringa UTF-8.Un token di continuazione, se si tratta di una chiamata di continuazione.
-
MaxResults: numero (intero), non inferiore a 1 o superiore a 1000.Il numero massimo di cataloghi da restituire in una risposta.
-
Recursive: booleano.Se elencare tutti i cataloghi nella gerarchia dei cataloghi, a partire da
ParentCatalogId. L'impostazione predefinita èfalse. Quandotrue, tutti gli oggetti del catalogo nella gerarchiaParentCatalogIDvengono enumerati nella risposta. -
IncludeRoot: booleano.Se elencare il catalogo predefinito nell'account e nella regione nella risposta. L'impostazione predefinita è
false. QuandotrueeParentCatalogId = NULL | AWS Account ID, tutti i cataloghi e il catalogo predefinito vengono enumerati nella risposta.Quando
ParentCatalogIdè diverso da nullo e questo attributo viene passato comefalseotrue, viene generato unInvalidInputException.
Risposta
-
CatalogList: obbligatorio: una matrice di oggetti Catalogo.Un array di oggetti
Catalog. Un elenco di oggettiCatalogdal catalogo padre specificato. -
NextToken: stringa UTF-8.Un token di continuazione per impaginare l'elenco restituito di token, restituiti se il segmento corrente dell'elenco non è l'ultimo.
Errori
InvalidInputExceptionInternalServiceExceptionOperationTimeoutExceptionGlueEncryptionExceptionAccessDeniedExceptionEntityNotFoundExceptionFederationSourceExceptionFederationSourceRetryableException