Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.
API endpoint di sviluppo
L'API Development endpoints descrive l' AWS Glue API relativa ai test utilizzando una soluzione personalizzata DevEndpoint.
Tipi di dati
DevEndpoint struttura
Un endpoint di sviluppo in cui uno sviluppatore può eseguire in remoto il debug, la trasformazione e il caricamento degli script ETL.
Campi
-
EndpointName: stringa UTF-8.Nome della
DevEndpoint. -
RoleArn: stringa UTF-8, corrispondente a AWS IAM ARN string pattern.Amazon Resource Name (ARN) del ruolo IAM utilizzato in questo
DevEndpoint. -
SecurityGroupIds: una matrice di stringhe UTF-8.Un elenco degli identificatori dei gruppi di sicurezza utilizzati in questo
DevEndpoint. -
SubnetId: stringa UTF-8.La sottorete ID per questo
DevEndpoint. -
YarnEndpointAddress: stringa UTF-8.L'indirizzo dell'endpoint YARN utilizzato da questo
DevEndpoint. -
PrivateAddress: stringa UTF-8.Un indirizzo IP privato per accedere
DevEndpointall'interno di un VPC se in uno di essi viene creatoDevEndpointIl campoPrivateAddressè presente solo quando viene creatoDevEndpointall'interno del VPC. -
ZeppelinRemoteSparkInterpreterPort: numero (intero).La porta Apache Zeppelin per l'interprete Apache Spark remoto.
-
PublicAddress: stringa UTF-8.L'indirizzo IP pubblico utilizzato da questo
DevEndpoint. Il campoPublicAddressè presente solo quando si crea unDevEndpointnon VPC. -
Status: stringa UTF-8.Lo stato corrente di questo
DevEndpoint. -
WorkerType: stringa UTF-8 (valori validi:Standard=""|G.1X=""|G.2X=""|G.025X=""|G.4X=""|G.8X=""|Z.2X="").Il tipo di worker predefinito allocato all'endpoint di sviluppo. Accetta un valore Standard, G.1X o G.2X.
-
Per il tipo di worker
Standard, ciascun worker fornisce 4 vCPU, 16 GB di memoria, disco da 50 GB e 2 esecutori. -
Per il tipo di worker
G.1X, ciascun worker si mappa a 1 DPU (4 vCPU, 16 GB di memoria, disco da 64 GB) e fornisce 1 esecutore. Consigliamo questo tipo di lavoratore per lavori che richiedono molta memoria. -
Per il tipo di worker
G.2X, ciascun worker si mappa a 2 DPU (8 vCPU, 32 GB di memoria, disco da 128 GB) e fornisce 1 esecutore. Consigliamo questo tipo di lavoratore per lavori che richiedono molta memoria.
Problema noto: quando viene creato un endpoint di sviluppo con la configurazione
G.2XWorkerType, i driver Spark per l'endpoint di sviluppo verranno eseguiti su 4 vCPU, 16 GB di memoria e un disco da 64 GB. -
-
GlueVersion: stringa UTF-8, non inferiore a 1 o superiore a 255 byte di lunghezza, corrispondente a Custom string pattern #48.La versione Glue determina le versioni di Apache Spark e Python supportate. AWS Glue La versione Python indica la versione supportata per l'esecuzione di script ETL su endpoint di sviluppo.
Per ulteriori informazioni sulle AWS Glue versioni disponibili e sulle versioni corrispondenti di Spark e Python, consulta la versione Glue nella guida per sviluppatori.
Endpoint di sviluppo creati senza specificare una versione di Glue predefinita su Glue 0.9.
È possibile specificare una versione del supporto Python per gli endpoint di sviluppo utilizzando il
Argumentsparametro in o.CreateDevEndpointUpdateDevEndpointAPIs Se non vengono forniti argomenti, per impostazione predefinita viene utilizzata la versione Python 2. -
NumberOfWorkers: numero (intero).Il numero di worker di un
workerTypedefinito allocati all'endpoint di sviluppo.Il numero massimo di worker che è possibile definire è 299
G.1Xe 149 perG.2X. -
NumberOfNodes: numero (intero).Il numero di unità di elaborazione AWS Glue dati (DPUs) assegnate a questo.
DevEndpoint -
AvailabilityZone: stringa UTF-8.La zona di AWS disponibilità in cui si
DevEndpointtrova. -
VpcId: stringa UTF-8.L'ID del Virtual Private Cloud (VPC) utilizzato da questo
DevEndpoint. -
ExtraPythonLibsS3Path: stringa UTF-8.Percorsi a una o più librerie Python in un bucket Amazon S3 che devono essere caricati nel
DevEndpoint. I valori multipli devono essere percorsi completi separati dalla virgola.Nota
Con un
DevEndpointè possibile utilizzare solo librerie Python pure. Le librerie che si basano sulle estensioni C, come la libreria di analisi dati Python pandas, non sono ancora supportate. -
ExtraJarsS3Path: stringa UTF-8.Percorsi a uno o più file
.jarJava in un bucket S3 che devono essere caricati nelDevEndpoint.Nota
Puoi usare Java/Scala librerie pure solo con a
DevEndpoint. -
FailureReason: stringa UTF-8.Il motivo di un errore corrente in questo
DevEndpoint. -
LastUpdateStatus: stringa UTF-8.Lo stato dell'ultimo aggiornamento.
-
CreatedTimestamp: timestamp.Il momento in cui è DevEndpoint stato creato.
-
LastModifiedTimestamp: timestamp.Il momento dell'ultima modifica di questo
DevEndpoint. -
PublicKey: stringa UTF-8.La chiave pubblica che deve essere utilizzata da questo
DevEndpointper l'autenticazione. Questo attributo viene fornito per la compatibilità con le versioni precedenti, in quanto l'attributo consigliato da usare è quello delle chiavi pubbliche. -
PublicKeys: una matrice di stringhe UTF-8, non più di 5 stringhe.Elenco di chiavi pubbliche che devono essere utilizzate da
DevEndpointsper l'autenticazione. L'uso di questo attributo è preferibile rispetto a una singola chiave pubblica, perché le chiavi pubbliche permettono di avere una chiave privata diversa per ogni client.Nota
Se è già stato creato un endpoint con una chiave pubblica, è necessario rimuovere tale chiave per poter impostare un elenco di chiavi pubbliche. Chiama l'operazione API
UpdateDevEndpointcon il contenuto della chiave pubblica nell'attributodeletePublicKeyse l'elenco delle nuove chiavi nell'attributoaddPublicKeys. -
SecurityConfiguration: stringa UTF-8, non inferiore a 1 o superiore a 255 byte di lunghezza, corrispondente a Single-line string pattern.Nome della struttura
SecurityConfigurationda utilizzare con questoDevEndpoint. -
Arguments– Una matrice di mappe con coppie chiave-valore, non superiore alle 100 coppie.Ogni chiave è una stringa UTF-8.
Ogni valore è una stringa UTF-8.
Mappa di argomenti usati per configurare
DevEndpoint.Argomenti validi sono:
-
"--enable-glue-datacatalog": ""
È possibile specificare una versione del supporto Python per gli endpoint di sviluppo utilizzando il
Argumentsparametro in o.CreateDevEndpointUpdateDevEndpointAPIs Se non vengono forniti argomenti, per impostazione predefinita viene utilizzata la versione Python 2. -
DevEndpointCustomLibraries struttura
Librerie personalizzate da caricare in un endpoint di sviluppo.
Campi
-
ExtraPythonLibsS3Path: stringa UTF-8.I percorsi a una o più librerie Python in un bucket Amazon Simple Storage Service (Amazon S3) che devono essere caricati nel
DevEndpoint. I valori multipli devono essere percorsi completi separati dalla virgola.Nota
Con un
DevEndpointè possibile utilizzare solo librerie Python pure. Le librerie che si basano sulle estensioni C, come la libreria di analisi dati Python pandas, non sono ancora supportate. -
ExtraJarsS3Path: stringa UTF-8.Percorsi a uno o più file
.jarJava in un bucket S3 che devono essere caricati nelDevEndpoint.Nota
Puoi usare Java/Scala librerie pure solo con a
DevEndpoint.
Operazioni
CreateDevEndpoint azione (Python: create_dev_endpoint)
Crea un nuovo endpoint di sviluppo.
Richiesta
-
EndpointName- obbligatorio: stringa UTF-8.Il nome da assegnare al nuovo
DevEndpoint. -
RoleArn: obbligatorio: stringa UTF-8, corrispondente a AWS IAM ARN string pattern.Il ruolo IAM per il
DevEndpoint. -
SecurityGroupIds: una matrice di stringhe UTF-8.Gruppo di sicurezza IDs per i gruppi di sicurezza che verranno utilizzati dal nuovo.
DevEndpoint -
SubnetId: stringa UTF-8.La sottorete ID per il nuovo
DevEndpointda utilizzare. -
PublicKey: stringa UTF-8.La chiave pubblica che deve essere utilizzata da questo
DevEndpointper l'autenticazione. Questo attributo viene fornito per la compatibilità con le versioni precedenti, in quanto l'attributo consigliato da usare è quello delle chiavi pubbliche. -
PublicKeys: una matrice di stringhe UTF-8, non più di 5 stringhe.Elenco di chiavi pubbliche che devono essere usate dagli endpoint di sviluppo per l'autenticazione. L'uso di questo attributo è preferibile rispetto a una singola chiave pubblica, perché le chiavi pubbliche permettono di avere una chiave privata diversa per ogni client.
Nota
Se è già stato creato un endpoint con una chiave pubblica, è necessario rimuovere tale chiave per poter impostare un elenco di chiavi pubbliche. Chiama l'API
UpdateDevEndpointcon il contenuto della chiave pubblica nell'attributodeletePublicKeyse l'elenco delle nuove chiavi nell'attributoaddPublicKeys. -
NumberOfNodes: numero (intero).Il numero di unità di elaborazione AWS Glue dati (DPUs) da assegnare a questo
DevEndpoint. -
WorkerType: stringa UTF-8 (valori validi:Standard=""|G.1X=""|G.2X=""|G.025X=""|G.4X=""|G.8X=""|Z.2X="").Il tipo di worker predefinito allocato all'endpoint di sviluppo. Accetta un valore Standard, G.1X o G.2X.
-
Per il tipo di worker
Standard, ciascun worker fornisce 4 vCPU, 16 GB di memoria, disco da 50 GB e 2 esecutori. -
Per il tipo di worker
G.1X, ciascun worker si mappa a 1 DPU (4 vCPU, 16 GB di memoria, disco da 64 GB) e fornisce 1 esecutore. Consigliamo questo tipo di lavoratore per lavori che richiedono molta memoria. -
Per il tipo di worker
G.2X, ciascun worker si mappa a 2 DPU (8 vCPU, 32 GB di memoria, disco da 128 GB) e fornisce 1 esecutore. Consigliamo questo tipo di lavoratore per lavori che richiedono molta memoria.
Problema noto: quando viene creato un endpoint di sviluppo con la configurazione
G.2XWorkerType, i driver Spark per l'endpoint di sviluppo verranno eseguiti su 4 vCPU, 16 GB di memoria e un disco da 64 GB. -
-
GlueVersion: stringa UTF-8, non inferiore a 1 o superiore a 255 byte di lunghezza, corrispondente a Custom string pattern #48.La versione Glue determina le versioni di Apache Spark e Python supportate. AWS Glue La versione Python indica la versione supportata per l'esecuzione di script ETL su endpoint di sviluppo.
Per ulteriori informazioni sulle AWS Glue versioni disponibili e sulle versioni corrispondenti di Spark e Python, consulta la versione Glue nella guida per sviluppatori.
Endpoint di sviluppo creati senza specificare una versione di Glue predefinita su Glue 0.9.
È possibile specificare una versione del supporto Python per gli endpoint di sviluppo utilizzando il
Argumentsparametro in o.CreateDevEndpointUpdateDevEndpointAPIs Se non vengono forniti argomenti, per impostazione predefinita viene utilizzata la versione Python 2. -
NumberOfWorkers: numero (intero).Il numero di worker di un
workerTypedefinito allocati all'endpoint di sviluppo.Il numero massimo di worker che è possibile definire è 299
G.1Xe 149 perG.2X. -
ExtraPythonLibsS3Path: stringa UTF-8.Percorsi a una o più librerie Python in un bucket Amazon S3 che devono essere caricati nel
DevEndpoint. I valori multipli devono essere percorsi completi separati dalla virgola.Nota
Con un
DevEndpointè possibile utilizzare solo librerie Python pure. Le librerie che si basano sulle estensioni C, come la libreria di analisi dati Python pandas, non sono ancora supportate. -
ExtraJarsS3Path: stringa UTF-8.Percorsi a uno o più file
.jarJava in un bucket S3 che devono essere caricati nelDevEndpoint. -
SecurityConfiguration: stringa UTF-8, non inferiore a 1 o superiore a 255 byte di lunghezza, corrispondente a Single-line string pattern.Nome della struttura
SecurityConfigurationda utilizzare con questoDevEndpoint. -
Tags– Una matrice di mappe con coppie chiave-valore, non superiore alle 50 coppie.Ogni chiave è una stringa UTF-8, non inferiore a 1 o superiore a 128 byte di lunghezza.
Ogni valore è una stringa UTF-8, lunga non più di 256 byte.
I tag da usare con questo DevEndpoint. È possibile utilizzare i tag per limitare l'accesso a. DevEndpoint Per ulteriori informazioni sui tag in AWS Glue, consulta AWS Tags AWS Glue in nella guida per sviluppatori.
-
Arguments– Una matrice di mappe con coppie chiave-valore, non superiore alle 100 coppie.Ogni chiave è una stringa UTF-8.
Ogni valore è una stringa UTF-8.
Mappa di argomenti usati per configurare
DevEndpoint.
Risposta
-
EndpointName: stringa UTF-8.Il nome assegnato al nuovo
DevEndpoint. -
Status: stringa UTF-8.Lo stato corrente del nuovo
DevEndpoint. -
SecurityGroupIds: una matrice di stringhe UTF-8.I gruppi di sicurezza assegnati al nuovo
DevEndpoint. -
SubnetId: stringa UTF-8.L'ID di sottorete assegnato al nuovo
DevEndpoint. -
RoleArn: stringa UTF-8, corrispondente a AWS IAM ARN string pattern.L'Amazon Resource Name (ARN) del ruolo assegnato al nuovo
DevEndpoint. -
YarnEndpointAddress: stringa UTF-8.L'indirizzo dell'endpoint YARN utilizzato da questo
DevEndpoint. -
ZeppelinRemoteSparkInterpreterPort: numero (intero).La porta Apache Zeppelin per l'interprete Apache Spark remoto.
-
NumberOfNodes: numero (intero).Il numero di unità di elaborazione AWS Glue dati (DPUs) assegnate a questo DevEndpoint.
-
WorkerType: stringa UTF-8 (valori validi:Standard=""|G.1X=""|G.2X=""|G.025X=""|G.4X=""|G.8X=""|Z.2X="").Il tipo di worker predefinito allocato all'endpoint di sviluppo. Può essere un valore Standard, G.1X o G.2X.
-
GlueVersion: stringa UTF-8, non inferiore a 1 o superiore a 255 byte di lunghezza, corrispondente a Custom string pattern #48.La versione Glue determina le versioni di Apache Spark e Python supportate. AWS Glue La versione Python indica la versione supportata per l'esecuzione di script ETL su endpoint di sviluppo.
Per ulteriori informazioni sulle AWS Glue versioni disponibili e sulle versioni corrispondenti di Spark e Python, consulta la versione Glue nella guida per sviluppatori.
-
NumberOfWorkers: numero (intero).Il numero di worker di un
workerTypedefinito allocati all'endpoint di sviluppo. -
AvailabilityZone: stringa UTF-8.La zona di AWS disponibilità in cui si
DevEndpointtrova. -
VpcId: stringa UTF-8.L'ID del Virtual Private Cloud (VPC) utilizzato da questo
DevEndpoint. -
ExtraPythonLibsS3Path: stringa UTF-8.Percorsi a una o più librerie Python in un bucket S3 che verranno caricati nel
DevEndpoint. -
ExtraJarsS3Path: stringa UTF-8.Percorsi a uno o più file
.jarJava in un bucket S3 che devono essere caricati nelDevEndpoint. -
FailureReason: stringa UTF-8.Il motivo di un errore corrente in questo
DevEndpoint. -
SecurityConfiguration: stringa UTF-8, non inferiore a 1 o superiore a 255 byte di lunghezza, corrispondente a Single-line string pattern.Nome della struttura
SecurityConfigurationda utilizzare con questoDevEndpoint. -
CreatedTimestamp: timestamp.Il momento in cui questo
DevEndpointè stato creato. -
Arguments– Una matrice di mappe con coppie chiave-valore, non superiore alle 100 coppie.Ogni chiave è una stringa UTF-8.
Ogni valore è una stringa UTF-8.
Mappa di argomenti usati per configurare questo
DevEndpoint.Argomenti validi sono:
-
"--enable-glue-datacatalog": ""
È possibile specificare una versione del supporto Python per gli endpoint di sviluppo utilizzando il
Argumentsparametro in o.CreateDevEndpointUpdateDevEndpointAPIs Se non vengono forniti argomenti, per impostazione predefinita viene utilizzata la versione Python 2. -
Errori
AccessDeniedExceptionAlreadyExistsExceptionIdempotentParameterMismatchExceptionInternalServiceExceptionOperationTimeoutExceptionInvalidInputExceptionValidationExceptionResourceNumberLimitExceededException
UpdateDevEndpoint azione (Python: update_dev_endpoint)
Aggiorna un endpoint di sviluppo specificato.
Richiesta
-
EndpointName- obbligatorio: stringa UTF-8.Nome del
DevEndpointda aggiornare. -
PublicKey: stringa UTF-8.La chiave pubblica che deve essere utilizzata da
DevEndpoint. -
AddPublicKeys: una matrice di stringhe UTF-8, non più di 5 stringhe.L'elenco delle chiavi pubbliche che devono essere utilizzate da
DevEndpoint. -
DeletePublicKeys: una matrice di stringhe UTF-8, non più di 5 stringhe.Elenco di chiavi pubbliche da eliminare da
DevEndpoint. -
CustomLibraries: un oggetto DevEndpointCustomLibraries.Librerie Python o Java personalizzate da caricare nel
DevEndpoint. -
UpdateEtlLibraries: booleano.Truese l'elenco di librerie personalizzate da caricare nell'endpoint di sviluppo deve essere aggiornato, in caso contrarioFalse. -
DeleteArguments: una matrice di stringhe UTF-8.L'elenco delle chiavi di argomento da eliminare dalla mappa di argomenti utilizzati per configurare il
DevEndpoint. -
AddArguments– Una matrice di mappe con coppie chiave-valore, non superiore alle 100 coppie.Ogni chiave è una stringa UTF-8.
Ogni valore è una stringa UTF-8.
La mappa di argomenti da aggiungere alla mappa di argomenti utilizzati per configurare il
DevEndpoint.Argomenti validi sono:
-
"--enable-glue-datacatalog": ""
È possibile specificare una versione del supporto Python per gli endpoint di sviluppo utilizzando il
Argumentsparametro in o.CreateDevEndpointUpdateDevEndpointAPIs Se non vengono forniti argomenti, per impostazione predefinita viene utilizzata la versione Python 2. -
Risposta
Nessun parametro di risposta.
Errori
EntityNotFoundExceptionInternalServiceExceptionOperationTimeoutExceptionInvalidInputExceptionValidationException
DeleteDevEndpoint azione (Python: delete_dev_endpoint)
Elimina un endpoint di sviluppo specificato.
Richiesta
-
EndpointName- obbligatorio: stringa UTF-8.Nome della
DevEndpoint.
Risposta
Nessun parametro di risposta.
Errori
EntityNotFoundExceptionInternalServiceExceptionOperationTimeoutExceptionInvalidInputException
GetDevEndpoint azione (Python: get_dev_endpoint)
Recupera informazioni su un endpoint di sviluppo specificato.
Nota
Quando viene creato un endpoint di sviluppo in un virtual private cloud (VPC), AWS Glue restituisce solo un indirizzo IP privato e il campo dell'indirizzo IP pubblico non è popolato. Quando si crea un endpoint di sviluppo non VPC, AWS Glue restituisce solo un indirizzo IP pubblico.
Richiesta
-
EndpointName- obbligatorio: stringa UTF-8.Nome del
DevEndpointper cui recuperare le informazioni.
Risposta
-
DevEndpoint: un oggetto DevEndpoint.Una definizione del
DevEndpoint.
Errori
EntityNotFoundExceptionInternalServiceExceptionOperationTimeoutExceptionInvalidInputException
GetDevEndpoints azione (Python: get_dev_endpoints)
Recupera tutti gli endpoint di sviluppo in questo account. AWS
Nota
Quando viene creato un endpoint di sviluppo in un virtual private cloud (VPC), AWS Glue restituisce solo un indirizzo IP pubblico e il campo dell'indirizzo IP pubblico non è popolato. Quando si crea un endpoint di sviluppo non VPC, AWS Glue restituisce solo un indirizzo IP pubblico.
Richiesta
-
MaxResults: numero (intero), non inferiore a 1 o superiore a 1.000.La dimensione massima di informazioni da restituire.
-
NextToken: stringa UTF-8.Un token di continuazione, se si tratta di una chiamata di continuazione.
Risposta
-
DevEndpoints: una matrice di oggetti DevEndpoint.Un elenco di definizioni di
DevEndpoint. -
NextToken: stringa UTF-8.Un token di continuazione, se non sono ancora state restituite tutte le definizioni di
DevEndpoint.
Errori
EntityNotFoundExceptionInternalServiceExceptionOperationTimeoutExceptionInvalidInputException
BatchGetDevEndpoints azione (Python: batch_get_dev_endpoints)
Restituisce un elenco di metadati di risorse per un elenco di nomi di endpoint di sviluppo. Dopo aver chiamato l'operazione ListDevEndpoints, puoi chiamare questa operazione per accedere ai dati a cui sono state concesse le autorizzazioni. Questa operazione supporta tutte le autorizzazioni IAM, tra cui le condizioni di autorizzazione che utilizzano i tag.
Richiesta
-
customerAccountId: stringa UTF-8.AWS L'ID dell'account.
-
DevEndpointNames. Obbligatorio: una serie di stringhe UTF-8, non inferiore a 1 o superiore a 25 stringhe.L'elenco dei nomi di
DevEndpointche potrebbero essere i nomi restituiti dall'operazioneListDevEndpoint.
Risposta
-
DevEndpoints: una matrice di oggetti DevEndpoint.Un elenco di definizioni di
DevEndpoint. -
DevEndpointsNotFound– Una serie di stringhe UTF-8, non inferiore a 1 o superiore a 25 stringhe.Un elenco di
DevEndpointsnon trovati.
Errori
AccessDeniedExceptionInternalServiceExceptionOperationTimeoutExceptionInvalidInputException
ListDevEndpoints azione (Python: list_dev_endpoints)
Recupera i nomi di tutte le risorse DevEndpoint in questo account AWS oppure le risorse con il tag specificato. Questa operazione consente di vedere quali risorse sono disponibili nel proprio account e i relativi nomi.
L'operazione accetta il campo facoltativo Tags che si può utilizzare come filtro per la risposta in modo che le risorse con tag possano essere recuperate come gruppo. Se si sceglie di utilizzare il filtro dei tag, potranno essere recuperate solo le risorse con tag.
Richiesta
-
NextToken: stringa UTF-8.Token di continuazione, se si tratta di una richiesta di continuazione.
-
MaxResults: numero (intero), non inferiore a 1 o superiore a 1.000.La dimensione massima di un elenco da restituire.
-
Tags: una matrice di mappe con coppie chiave-valore, non superiore alle 50 coppie.Ogni chiave è una stringa UTF-8, non inferiore a 1 o superiore a 128 byte di lunghezza.
Ogni valore è una stringa UTF-8, lunga non più di 256 byte.
Specifica che vengono restituite solo le risorse con tag.
Risposta
-
DevEndpointNames: una matrice di stringhe UTF-8.I nomi di tutti i
DevEndpointnell'account oppure iDevEndpointcon i tag specificati. -
NextToken: stringa UTF-8.Token di continuazione, se l'elenco restituito non contiene l'ultimo parametro disponibile.
Errori
InvalidInputExceptionEntityNotFoundExceptionInternalServiceExceptionOperationTimeoutException