Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Comprendere la crittografia in transito

È possibile configurare un cluster EMR per eseguire framework open source come Apache Spark, Apache Hive e Presto. Ciascuno di questi framework open source ha una serie di processi in esecuzione sulle istanze di un cluster. EC2 Ciascuno di questi processi può ospitare endpoint di rete per le comunicazioni di rete.

Se la crittografia in transito è abilitata su un cluster EMR, diversi endpoint di rete utilizzano meccanismi di crittografia diversi. Consulta le sezioni seguenti per saperne di più sugli endpoint di rete con framework open source specifici supportati dalla crittografia in transito, sui relativi meccanismi di crittografia e sulla versione di Amazon EMR che ha aggiunto il supporto. Ogni applicazione open source può inoltre avere best practice e configurazioni di framework open source diverse che puoi modificare.

Per una copertura ottimale della crittografia in transito, consigliamo di abilitare sia la crittografia in transito che Kerberos. Se abiliti solo la crittografia in transito, la crittografia in transito sarà disponibile solo per gli endpoint di rete che supportano TLS. Kerberos è necessario perché alcuni endpoint di rete con framework open source utilizzano Simple Authentication and Security Layer (SASL) per la crittografia in transito.

Tieni presente che tutti i framework open source non supportati nelle versioni di Amazon EMR 7.x.x non sono inclusi.

Spark

Quando abiliti la crittografia in transito nelle configurazioni di sicurezza, spark.authenticate viene automaticamente impostata e utilizza la crittografia basata su AES per true le connessioni RPC.

A partire da Amazon EMR 7.3.0, se utilizzi la crittografia in transito e l'autenticazione Kerberos, non puoi utilizzare le applicazioni Spark che dipendono dal metastore Hive. Hive 3 risolve questo problema in HIVE-16340. HIVE-44114 risolve completamente questo problema quando Spark open source può essere aggiornato a Hive 3. Nel frattempo, puoi decidere di risolvere il problema. hive.metastore.use.SSL false Per ulteriori informazioni, consulta la sezione Configurazione delle applicazioni.

Per ulteriori informazioni, consulta la sicurezza di Spark nella documentazione di Apache Spark.

1 è ^{ospitato su} spark.shuffle.service.port YARN ma è utilizzato solo da Apache NodeManager Spark.

Problema noto

La spark.yarn.historyServer.address configurazione dei cluster abilitati a Intransit utilizza attualmente la porta18080, che impedisce l'accesso all'interfaccia utente dell'applicazione Spark utilizzando l'URL di tracciamento YARN. Influisce sulla versione: da EMR - 7.3.0 a EMR - 7.9.0.

Utilizza la seguente soluzione alternativa:

Configurazione di esempio:

[
                               {
                                 "Classification": "spark-defaults",
                                 "Properties": {
                                     "spark.yarn.historyServer.address": "${hadoopconf-yarn.resourcemanager.hostname}:18480"
                                 }
                               }
  
                               ]

Hadoop YARN

Secure Hadoop RPC è impostato e utilizza la crittografia in transito basata su SASL. privacy Ciò richiede che l'autenticazione Kerberos sia abilitata nella configurazione di sicurezza. Se non desideri la crittografia in transito per Hadoop RPC, configura. hadoop.rpc.protection = authentication Ti consigliamo di utilizzare la configurazione predefinita per la massima sicurezza.

Se i tuoi certificati TLS non sono in grado di soddisfare i requisiti di verifica del nome host TLS, puoi configurarli. hadoop.ssl.hostname.verifier = ALLOW_ALL Ti consigliamo di utilizzare la configurazione predefinita dihadoop.ssl.hostname.verifier = DEFAULT, che impone la verifica del nome host TLS.

Per disabilitare HTTPS per gli endpoint dell'applicazione web YARN, configura. yarn.http.policy = HTTP_ONLY In questo modo il traffico verso questi endpoint rimane non crittografato. Ti consigliamo di utilizzare la configurazione predefinita per la massima sicurezza.

Per ulteriori informazioni, consulta Hadoop in secure mode (Hadoop in modalità protetta) nella documentazione di Apache Hadoop.

1 è ^{ospitato su} mapreduce.shuffle.port YARN ma viene utilizzato solo da NodeManager Hadoop. MapReduce

² spark.shuffle.service.port è ospitato su YARN NodeManager ma viene utilizzato solo da Apache Spark.

Problema noto

La yarn.log.server.url configurazione in utilizza attualmente HTTP con la porta 19888, che impedisce l'accesso ai log delle applicazioni dall'interfaccia utente di Resource Manager. Influisce sulla versione: da EMR - 7.3.0 a EMR - 7.8.0.

Utilizza la seguente soluzione alternativa:

Hadoop HDFS

Il nodo nome Hadoop, il nodo dati e il nodo journal supportano tutti TLS per impostazione predefinita se la crittografia in transito è abilitata nei cluster EMR.

Secure Hadoop RPC è impostato e utilizza la crittografia in transito basata su SASL. privacy Ciò richiede che l'autenticazione Kerberos sia abilitata nella configurazione di sicurezza.

Ti consigliamo di non modificare le porte predefinite utilizzate per gli endpoint HTTPS.

La crittografia dei dati sul trasferimento a blocchi HDFS utilizza AES 256 e richiede che la crittografia a riposo sia abilitata nella configurazione di sicurezza.

Per ulteriori informazioni, consulta Hadoop in secure mode (Hadoop in modalità protetta) nella documentazione di Apache Hadoop.

Hadoop MapReduce

Hadoop MapReduce, Job History Server e MapReduce shuffle supportano tutti TLS per impostazione predefinita quando la crittografia in transito è abilitata nei cluster EMR.

Lo shuffle crittografato Hadoop MapReduce utilizza TLS.

Ti consigliamo di non modificare le porte predefinite per gli endpoint HTTPS.

Per ulteriori informazioni, consulta Hadoop in secure mode (Hadoop in modalità protetta) nella documentazione di Apache Hadoop.

1 è ^{ospitato su} mapreduce.shuffle.port YARN ma viene utilizzato solo da NodeManager Hadoop. MapReduce

Presto

Nelle versioni 5.6.0 e successive di Amazon EMR, la comunicazione interna tra il coordinatore Presto e i lavoratori utilizza TLS Amazon EMR configura tutte le configurazioni richieste per consentire una comunicazione interna sicura in Presto.

Se il connettore utilizza il metastore Hive come archivio di metadati, anche la comunicazione tra il comunicatore e il metastore Hive viene crittografata con TLS.

Trino

Nelle versioni 6.1.0 e successive di Amazon EMR, la comunicazione interna tra il coordinatore Presto e i lavoratori utilizza TLS Amazon EMR configura tutte le configurazioni richieste per consentire una comunicazione interna sicura in Trino.

Se il connettore utilizza il metastore Hive come archivio di metadati, anche la comunicazione tra il comunicatore e il metastore Hive viene crittografata con TLS.

Hive e Tez

Per impostazione predefinita, Hive server 2, Hive metastore server, Hive LLAP Daemon Web UI e Hive LLAP shuffle supportano tutti TLS quando la crittografia in transito è abilitata nei cluster EMR. Per ulteriori informazioni sulle configurazioni Hive, vedere Proprietà di configurazione.

L'interfaccia utente Tez ospitata sul server Tomcat è anche abilitata per HTTPS quando la crittografia in transito è abilitata nel cluster EMR. Tuttavia, HTTPS è disabilitato per il servizio di interfaccia utente web Tez AM, quindi gli utenti AM non hanno accesso al file keystore per il listener SSL di apertura. È inoltre possibile abilitare questo comportamento con le configurazioni booleane e. tez.am.tez-ui.webservice.enable.ssl tez.am.tez-ui.webservice.enable.client.auth

Flink

Gli endpoint REST Apache Flink e la comunicazione interna tra i processi flink supportano TLS per impostazione predefinita quando si abilita la crittografia in transito nei cluster EMR.

security.ssl.internal.enabledè impostato true e utilizza la crittografia in transito per la comunicazione interna tra i processi Flink. Se non desideri la crittografia in transito per le comunicazioni interne, disabilita tale configurazione. Ti consigliamo di utilizzare la configurazione predefinita per la massima sicurezza.

Amazon EMR imposta true e utilizza security.ssl.rest.enabledla crittografia in transito per gli endpoint REST. Inoltre, Amazon EMR imposta su true historyserver.web.ssl.enabledper utilizzare la comunicazione TLS con il server di cronologia Flink. Se non desideri la crittografia in transito per i punti REST, disabilita queste configurazioni. Ti consigliamo di utilizzare la configurazione predefinita per la massima sicurezza.

Amazon EMR utilizza security.ssl.algorithms. per specificare l'elenco di cifrari che utilizzano la crittografia basata su AES. Sostituisci questa configurazione per utilizzare i codici che desideri.

Per ulteriori informazioni, consulta SSL Setup nella documentazione di Flink.

HBase

Amazon EMR imposta Secure Hadoop RPC su. privacy HMaster e RegionServer utilizza la crittografia in transito basata su SASL. Ciò richiede che l'autenticazione Kerberos sia abilitata nella configurazione di sicurezza.

Amazon EMR imposta su true e utilizza TLS hbase.ssl.enabled per gli endpoint dell'interfaccia utente. Se non desideri utilizzare TLS per gli endpoint dell'interfaccia utente, disabilita questa configurazione. Ti consigliamo di utilizzare la configurazione predefinita per la massima sicurezza.

Amazon EMR imposta hbase.rest.ssl.enabled hbase.thrift.ssl.enabled e utilizza TLS per gli endpoint dei server REST e Thirft, rispettivamente. Se non desideri utilizzare TLS per questi endpoint, disabilita questa configurazione. Ti consigliamo di utilizzare la configurazione predefinita per la massima sicurezza.

A partire da EMR 7.6.0, TLS è supportato sugli endpoint. HMaster RegionServer Amazon EMR imposta hbase.server.netty.tls.enabled anche e. hbase.client.netty.tls.enabled Se non desideri utilizzare TLS per questi endpoint, disabilita questa configurazione. Ti consigliamo di utilizzare la configurazione predefinita, che fornisce la crittografia e quindi una maggiore sicurezza. Per ulteriori informazioni, consulta Transport Level Security (TLS) nella comunicazione HBase RPC nella Apache HBase Reference Guide.

Phoenix

Se hai abilitato la crittografia in transito nel tuo cluster EMR, Phoenix Query Server supporta la phoenix.queryserver.tls.enabled proprietà TLS, che è impostata su di default. true

Per ulteriori informazioni, consulta Configurazioni relative a HTTPS nella documentazione di Phoenix Query Server.

Oozie

OOZIE-3673 è disponibile su Amazon EMR se esegui Oozie su Amazon EMR 7.3.0 e versioni successive. Se devi configurare protocolli SSL o TLS personalizzati quando esegui un'azione e-mail, puoi impostare la proprietà nel file. oozie.email.smtp.ssl.protocols oozie-site.xml Per impostazione predefinita, se hai abilitato la crittografia in transito, Amazon EMR utilizza il protocollo TLS v1.3.

OOZIE-3677 e OOZIE-3674 sono disponibili anche su Amazon EMR se esegui Oozie su Amazon EMR 7.3.0 e versioni successive. Ciò consente di specificare keyStoreType trustStoreType le oozie-site.xml proprietà e le impostazioni. OOZIE-3674 aggiunge il parametro --insecure al client Oozie in modo che possa ignorare gli errori dei certificati.

Oozie applica la verifica del nome host TLS, il che significa che qualsiasi certificato utilizzato per la crittografia in transito deve soddisfare i requisiti di verifica del nome host. Se il certificato non soddisfa i criteri, il cluster potrebbe rimanere bloccato nella oozie share lib update fase in cui Amazon EMR effettua il provisioning del cluster. Ti consigliamo di aggiornare i certificati per assicurarti che siano conformi alla verifica del nome host. Tuttavia, se non riesci ad aggiornare i certificati, puoi disabilitare SSL per Oozie impostando la oozie.https.enabled proprietà su nella configurazione del cluster. false

Hue

Per impostazione predefinita, Hue supporta TLS quando la crittografia in transito è abilitata nei cluster Amazon EMR. Per ulteriori informazioni sulle configurazioni Hue, consulta Configurare Hue con HTTPS/SSL.

Livy

Per impostazione predefinita, Livy supporta TLS quando la crittografia in transito è abilitata nei cluster Amazon EMR. Per ulteriori informazioni sulle configurazioni Livy, consulta Abilitazione di HTTPS con Apache Livy.

A partire da Amazon EMR 7.3.0, se utilizzi la crittografia in transito e l'autenticazione Kerberos, non puoi utilizzare il server Livy per le applicazioni Spark che dipendono dal metastore Hive. Questo problema è stato risolto in HIVE-16340 e completamente risolto in SPARK-44114 quando l'applicazione open source Spark può essere aggiornata a Hive 3. Nel frattempo, puoi aggirare il problema se lo imposti. hive.metastore.use.SSL false Per ulteriori informazioni, consulta la sezione Configurazione delle applicazioni.

Per ulteriori informazioni, consulta Abilitazione di HTTPS con Apache Livy.

JupyterEnterpriseGateway

Per impostazione predefinita, Jupyter Enterprise Gateway supporta TLS quando la crittografia in transito è abilitata nei cluster Amazon EMR. Per ulteriori informazioni sulle configurazioni di Jupyter Enterprise Gateway, consulta Securing Enterprise Gateway Server.

JupyterHub

Per impostazione predefinita, JupyterHub supporta TLS quando la crittografia in transito è abilitata nei cluster Amazon EMR. Per ulteriori informazioni, consulta Attivazione della crittografia SSL nella documentazione. JupyterHub Non è consigliabile disabilitare la crittografia.

Zeppelin

Per impostazione predefinita, Zeppelin supporta TLS quando abiliti la crittografia in transito nel tuo cluster EMR. Per ulteriori informazioni sulle configurazioni Zeppelin, consulta Configurazione SSL nella documentazione di Zeppelin.

Zookeeper

Amazon EMR si configura serverCnxnFactory per abilitare il TLS org.apache.zookeeper.server.NettyServerCnxnFactory per il quorum di Zookeeper e la comunicazione con i clienti.

secureClientPortspecifica la porta che ascolta le connessioni TLS. Se il client non supporta le connessioni TLS a Zookeeper, i client possono connettersi alla porta non sicura 2181 specificata in. clientPort Puoi sovrascrivere o disabilitare queste due porte.

Amazon EMR imposta entrambi sslQuorum e admin.forceHttps per abilitare la comunicazione TLS true per il quorum e il server di amministrazione. Se non desideri la crittografia in transito per il quorum e il server di amministrazione, puoi disabilitare tali configurazioni. Ti consigliamo di utilizzare le configurazioni predefinite per la massima sicurezza.

Per ulteriori informazioni, consulta Crittografia, Autenticazione, Opzioni di autorizzazione nella documentazione di Zookeeper.