AWS Data Pipeline non è più disponibile per i nuovi clienti. I clienti esistenti di AWS Data Pipeline possono continuare a utilizzare il servizio normalmente. Ulteriori informazioni

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

EmrCluster

Rappresenta la configurazione di un cluster Amazon EMR. Questo oggetto viene utilizzato da EmrActivity e HadoopActivity per avviare un cluster.

Pianificatori

I pianificatori forniscono un modo per specificare l'allocazione di risorse e la prioritizzazione dei processi all'interno di un cluster Hadoop. Gli amministratori o gli utenti possono scegliere un pianificatore per diverse classi di utenti e applicazioni. Un pianificatore può usare le code per allocare risorse per utenti e applicazioni. È possibile configurare tali code quando si crea il cluster. È quindi possibile configurare priorità per determinati tipi di lavoro e utenti rispetto ad altri. In questo modo si ottiene un utilizzo efficiente delle risorse del cluster, consentendo a più utenti di inviare dati al cluster. Esistono tre tipi di pianificatori disponibili:

Versioni di rilascio di Amazon EMR

Un rilascio di Amazon EMR è un insieme di applicazioni open source dell'ecosistema di big data. Ogni rilascio comprende diverse applicazioni, componenti e funzioni di Big Data che si sceglie di avere per installare e configurare Amazon EMR quando si crea un cluster. È possibile specificare la versione di rilascio con l'etichetta del rilascio. Le etichette di rilascio sono sotto forma di emr-x.x.x Ad esempio, emr-5.30.0. I cluster Amazon EMR si basano sull'etichetta di rilascio emr-4.0.0 e successivamente utilizzano la releaseLabel proprietà per specificare l'etichetta di rilascio di un oggetto. EmrCluster Le versioni precedenti utilizzano la proprietà amiVersion.

Considerazioni e limitazioni

Usa la versione più recente di Task Runner

Se si utilizza un EmrCluster oggetto autogestito con un'etichetta di rilascio, utilizzare la versione più recente di Task Runner. Per ulteriori informazioni sui Task Runner, consulta Lavorare con Task Runner. Puoi configurare i valori delle proprietà per tutte le classificazioni di configurazione di Amazon EMR. Per ulteriori informazioni, consulta Configurazione delle applicazioni nella Amazon EMR Release Guide Proprietà e riferimenti EmrConfiguration agli oggetti.

Support per IMDSv2

In precedenza, AWS Data Pipeline supportata solo IMDSv1. AWS Data Pipeline Supporta IMDSv2 Amazon EMR 5.23.1, 5.27.1 e 5.32 o versioni successive e Amazon EMR 6.2 o versioni successive. IMDSv2 utilizza un metodo orientato alla sessione per gestire meglio l'autenticazione durante il recupero delle informazioni sui metadati dalle istanze. È necessario configurare le istanze per effettuare IMDSv2 chiamate creando risorse gestite dall'utente utilizzando -2.0. TaskRunner

Amazon EMR 5.32 o versioni successive e Amazon EMR 6.x

Le serie di release di Amazon EMR 5.32 o successive e 6.x utilizzano la versione 3.x di Hadoop, che ha introdotto importanti cambiamenti nel modo in cui viene valutato il classpath di Hadoop rispetto alla versione 2.x di Hadoop. Le librerie comuni come Joda-Time sono state rimosse dal classpath.

Se EmrActivity o HadoopActivity esegue un file Jar che ha dipendenze da una libreria rimossa in Hadoop 3.x, il passaggio ha esito negativo e restituisce l'errore o. java.lang.NoClassDefFoundError java.lang.ClassNotFoundException Questo può accadere per i file Jar che sono stati eseguiti senza problemi utilizzando le versioni di release di Amazon EMR 5.x.

Per risolvere il problema, devi copiare le dipendenze dei file Jar nel classpath di Hadoop su un EmrCluster oggetto prima di avviare o il. EmrActivity HadoopActivity Forniamo uno script bash per farlo. Lo script bash è disponibile nella seguente posizione, dove si trova MyRegion la AWS regione in cui viene eseguito l'EmrClusteroggetto, ad esempio. us-west-2

s3://datapipeline-MyRegion/MyRegion/bootstrap-actions/latest/TaskRunner/copy-jars-to-hadoop-classpath.sh

Il modo di eseguire lo script dipende dal fatto che venga EmrActivity HadoopActivity eseguito su una risorsa gestita da AWS Data Pipeline o su una risorsa autogestita.

Se utilizzi una risorsa gestita da AWS Data Pipeline, aggiungi un bootstrapAction all'EmrClusteroggetto. bootstrapActionspecifica lo script e i file Jar da copiare come argomenti. È possibile aggiungere fino a 255 bootstrapAction campi per EmrCluster oggetto e aggiungere un bootstrapAction campo a un EmrCluster oggetto che dispone già di azioni bootstrap.

Per specificare questo script come azione di bootstrap, usa la seguente sintassi, dove si trova la regione in cui JarFileRegion viene salvato il file Jar e ognuna MyJarFilen è il percorso assoluto in Amazon S3 di un file Jar da copiare nel classpath Hadoop. Non specificate i file Jar che si trovano nel classpath Hadoop per impostazione predefinita.

s3://datapipeline-MyRegion/MyRegion/bootstrap-actions/latest/TaskRunner/copy-jars-to-hadoop-classpath.sh,JarFileRegion,MyJarFile1,MyJarFile2[, ...]

L'esempio seguente specifica un'azione di bootstrap che copia due file Jar in Amazon S3my-jar-file.jar: e il. emr-dynamodb-tool-4.14.0-jar-with-dependencies.jar La regione utilizzata nell'esempio è us-west-2.

{
  "id" : "MyEmrCluster",
  "type" : "EmrCluster",
  "keyPair" : "my-key-pair",
  "masterInstanceType" : "m5.xlarge",
  "coreInstanceType" : "m5.xlarge",
  "coreInstanceCount" : "2",
  "taskInstanceType" : "m5.xlarge",
  "taskInstanceCount": "2",
  "bootstrapAction" : ["s3://datapipeline-us-west-2/us-west-2/bootstrap-actions/latest/TaskRunner/copy-jars-to-hadoop-classpath.sh,us-west-2,s3://path/to/my-jar-file.jar,s3://dynamodb-dpl-us-west-2/emr-ddb-storage-handler/4.14.0/emr-dynamodb-tools-4.14.0-jar-with-dependencies.jar"]
}

È necessario salvare e attivare la pipeline affinché la modifica bootstrapAction alla nuova abbia effetto.

Se si utilizza una risorsa autogestita, è possibile scaricare lo script nell'istanza del cluster ed eseguirlo dalla riga di comando utilizzando SSH. Lo script crea una directory denominata /etc/hadoop/conf/shellprofile.d e un file denominato datapipeline-jars.sh in quella directory. I file jar forniti come argomenti della riga di comando vengono copiati in una directory denominata creata dallo script. /home/hadoop/datapipeline_jars Se il cluster è configurato in modo diverso, modifica lo script in modo appropriato dopo averlo scaricato.

La sintassi per eseguire lo script sulla riga di comando è leggermente diversa da quella bootstrapAction mostrata nell'esempio precedente. Utilizza gli spazi anziché le virgole tra gli argomenti, come illustrato nell'esempio seguente.

./copy-jars-to-hadoop-classpath.sh us-west-2 s3://path/to/my-jar-file.jar s3://dynamodb-dpl-us-west-2/emr-ddb-storage-handler/4.14.0/emr-dynamodb-tools-4.14.0-jar-with-dependencies.jar

Autorizzazioni Amazon EMR

Quando crei un ruolo IAM personalizzato, valuta attentamente le autorizzazioni minime necessarie al cluster per svolgere il suo lavoro. Assicurati di concedere l'accesso alle risorse richieste, come i file in Amazon S3 o i dati in Amazon RDS, Amazon Redshift o DynamoDB. Se si desidera impostare visibleToAllUsers su False, il ruolo deve disporre delle autorizzazioni appropriate. Si noti che DataPipelineDefaultRole non dispone di tali autorizzazioni. È necessario fornire un'unione dei DataPipelineDefaultRole ruoli DefaultDataPipelineResourceRole and come ruolo EmrCluster oggetto oppure creare un ruolo personalizzato per questo scopo.

Sintassi

Vedi anche