Información sobre el cifrado en tránsito

Puede configurar un clúster de EMR para ejecutar marcos de código abierto como Apache Spark, Apache Hive y Presto. Cada uno de estos marcos de código abierto tiene un conjunto de procesos que se ejecutan en las instancias de EC2 de un clúster. Cada uno de estos procesos puede alojar puntos de conexión de red para la comunicación de red.

Si el cifrado en tránsito está habilitado en un clúster de EMR, los diferentes puntos de conexión de la red utilizan diferentes mecanismos de cifrado. Consulte las siguientes secciones para obtener más información sobre los puntos de conexión de red específicos del marco de código abierto compatibles con el cifrado en tránsito, los mecanismos de cifrado relacionados y qué versión de Amazon EMR ha añadido esta compatibilidad. Cada aplicación de código abierto también puede tener diferentes prácticas recomendadas y configuraciones de marco de código abierto que puede cambiar.

Para obtener la máxima cobertura de cifrado en tránsito, le recomendamos que habilite tanto el cifrado en tránsito como Kerberos. Si solo habilita el cifrado en tránsito, el cifrado en tránsito solo estará disponible para los puntos de conexión de la red que admiten TLS. Kerberos es necesario porque algunos puntos de conexión de red de código abierto utilizan la capa de autenticación y seguridad simple (SASL) para el cifrado en tránsito.

Tenga en cuenta que no se incluye ningún marco de código abierto que no sea compatible con las versiones 7.x.x de Amazon EMR.

Spark

Al habilitar el cifrado en tránsito en las configuraciones de seguridad, spark.authenticate se establece automáticamente en true y utiliza el cifrado basado en AES para las conexiones RPC.

A partir de Amazon EMR 7.3.0, si utiliza el cifrado en tránsito y la autenticación Kerberos, no podrá utilizar las aplicaciones de Spark que dependan del metaalmacén de Hive. Hive 3 corrige este problema en HIVE-16340. HIVE-44114 resuelve completamente este problema cuando Spark de código abierto puede actualizarse a Hive 3. Mientras tanto, puede establecer hive.metastore.use.SSL en false para tratar de solucionar este problema. Para obtener más información, consulte Configuración de aplicaciones.

Para obtener más información, consulte Seguridad de Spark en la documentación de Apache Spark.

¹spark.shuffle.service.port está alojado en el NodeManager de YARN, pero solo lo usa Apache Spark.

Problema conocido

En los clústeres con cifrado en tránsito habilitado, la configuración de spark.yarn.historyServer.address actualmente utiliza el puerto 18080, lo que impide acceder a la interfaz de Spark mediante el enlace de seguimiento de YARN. Versiones afectadas: de EMR - 7.3.0 a EMR - 7.9.0.

Utilice la siguiente solución alternativa:

Ejemplo de configuración:

[
                               {
                                 "Classification": "spark-defaults",
                                 "Properties": {
                                     "spark.yarn.historyServer.address": "${hadoopconf-yarn.resourcemanager.hostname}:18480"
                                 }
                               }
  
                               ]

Hadoop YARN

El Secure Hadoop RPC se ha establecido en privacy y usa el cifrado en tránsito basado en SASL. Esto requiere que la autenticación de Kerberos esté habilitada en la configuración de seguridad. Si no desea el cifrado en tránsito para Hadoop RPC, configure hadoop.rpc.protection = authentication. Se recomienda usar la configuración predeterminada para garantizar la máxima seguridad.

Si sus certificados TLS no cumplen los requisitos de verificación del nombre de host de TLS, puede configurar hadoop.ssl.hostname.verifier = ALLOW_ALL. Se recomienda usar la configuración predeterminada de hadoop.ssl.hostname.verifier = DEFAULT, que exige la verificación del nombre de host de TLS.

Para deshabilitar HTTPS en los puntos de conexión de la aplicación web YARN, configure yarn.http.policy = HTTP_ONLY. Esto hace que el tráfico a estos puntos de conexión permanezca sin cifrar. Se recomienda usar la configuración predeterminada para garantizar la máxima seguridad.

Para obtener más información, consulte Hadoop in Secure Mode en la documentación de Apache Hadoop:

¹ mapreduce.shuffle.port está alojado en el NodeManager de YARN, pero solo lo usa Hadoop MapReduce.

² spark.shuffle.service.port está alojado en el NodeManager de YARN, pero solo lo usa Apache Spark.

Problema conocido

La configuración de yarn.log.server.url actualmente utiliza HTTP con el puerto 19888, lo que impide acceder a los registros de aplicaciones desde la interfaz de Resource Manager. Versiones afectadas: EMR - 7.3.0 a EMR - 7.8.0.

Utilice la siguiente solución alternativa:

HDFS de Hadoop

El nodo de nombre, el nodo de datos y el nodo de diario de Hadoop admiten TLS de forma predeterminada si el cifrado en tránsito está habilitado en los clústeres de EMR.

El Secure Hadoop RPC se ha establecido en privacy y usa el cifrado en tránsito basado en SASL. Esto requiere que la autenticación Kerberos esté habilitada en la configuración de seguridad.

Se recomienda no cambiar los puertos predeterminados que se utilizan para los puntos de conexión HTTPS.

El cifrado de datos en la transferencia de bloques de HDFS utiliza AES 256 y requiere que el cifrado en reposo esté habilitado en la configuración de seguridad.

Para obtener más información, consulte Hadoop in Secure Mode en la documentación de Apache Hadoop:

Hadoop MapReduce

Hadoop MapReduce, el servidor de historial de trabajos y el intercambio de MapReduce admiten el TLS de forma predeterminada cuando el cifrado en tránsito está habilitado en los clústeres de EMR.

El intercambio cifrado de Hadoop MapReduce usa TLS.

Se recomienda no cambiar los puertos predeterminados para los puntos de conexión HTTPS.

Para obtener más información, consulte Hadoop in Secure Mode en la documentación de Apache Hadoop:

¹ mapreduce.shuffle.port está alojado en el NodeManager de YARN, pero solo lo usa Hadoop MapReduce.

Presto

En las versiones 5.6.0 y posteriores de Amazon EMR, la comunicación interna entre el coordinador de Presto y los trabajadores utiliza TLS. Amazon EMR establece todas las configuraciones necesarias para permitir una comunicación interna segura en Presto.

Si el conector utiliza el metaalmacén de Hive como almacén de metadatos, la comunicación entre el comunicador y el metaalmacén de Hive también se cifra con TLS.

Trino

En las versiones 6.1.0 y posteriores de Amazon EMR, la comunicación interna entre el coordinador y los trabajadores de Presto utiliza TLS. Amazon EMR establece todas las configuraciones necesarias para permitir una comunicación interna segura en Trino.

Si el conector utiliza el metaalmacén de Hive como almacén de metadatos, la comunicación entre el comunicador y el metaalmacén de Hive también se cifra con TLS.

Hive y Tez

De forma predeterminada, el servidor Hive 2, el servidor de metaalmacén Hive, la IU web Hive LLAP Daemon y Hive LLAP intercambian toda la compatibilidad TLS cuando el cifrado en tránsito está habilitado en los clústeres de EMR. Para obtener más información acerca de las configuraciones de Hive, consulte Propiedades de la configuración.

La IU de Tez alojada en el servidor Tomcat también está habilitada para HTTPS cuando el cifrado en tránsito está habilitado en el clúster de EMR. Sin embargo, HTTPS está desactivado para el servicio de IU web de Tez AM, por lo que los usuarios de AM no tienen acceso al archivo del almacén de claves del agente de escucha SSL que lo abre. También puede habilitar este comportamiento con las configuraciones booleanas tez.am.tez-ui.webservice.enable.ssl y tez.am.tez-ui.webservice.enable.client.auth.

Flink

Los puntos de conexión REST de Apache Flink y la comunicación interna entre los procesos de Flink admiten TLS de forma predeterminada cuando se habilita el cifrado en tránsito en los clústeres de EMR.

security.ssl.internal.enabled está establecido en true y usa cifrado en tránsito para la comunicación interna entre los procesos de Flink. Si no desea el cifrado en tránsito para la comunicación interna, deshabilite esa configuración. Se recomienda usar la configuración predeterminada para garantizar la máxima seguridad.

Amazon EMR establece security.ssl.rest.enabled en true y utiliza el cifrado en tránsito para los puntos de conexión REST. Además, Amazon EMR también se establece historyserver.web.ssl.enabled en verdadero para utilizar la comunicación TLS con el servidor de historial de Flink. Si no desea el cifrado en tránsito para los puntos REST, deshabilite esas configuraciones. Se recomienda usar la configuración predeterminada para garantizar la máxima seguridad.

Amazon EMR utiliza security.ssl.algorithms para especificar la lista de cifrados que utilizan el cifrado basado en AES. Anule esta configuración para usar los cifrados que desee.

Para obtener más información, consulte Configuración SSL en la documentación de Flink.

HBase

Amazon EMR establece Secure Hadoop RCP en privacy. HMaster y RegionServer utilizan cifrado en tránsito basado en SASL. Esto requiere que la autenticación de Kerberos esté habilitada en la configuración de seguridad.

Amazon EMR establece hbase.ssl.enabled en verdadero y usa TLS para los puntos de conexión de la IU. Si no desea utilizar TLS para la IU de los puntos de conexión, deshabilite esta configuración. Se recomienda usar la configuración predeterminada para garantizar la máxima seguridad.

Amazon EMR establece hbase.rest.ssl.enabled y hbase.thrift.ssl.enabled y usa TLS para los puntos de conexión de los servidores REST y Thirft, respectivamente. Si no desea utilizar TLS para estos puntos de conexión, deshabilite esta configuración. Se recomienda usar la configuración predeterminada para garantizar la máxima seguridad.

A partir de EMR 7.6.0, HMaster y los puntos de conexión de RegionServer admiten TLS. Amazon EMR también establece hbase.server.netty.tls.enabled y hbase.client.netty.tls.enabled. Si no desea utilizar TLS para estos puntos de conexión, deshabilite esta configuración. Recomendamos mantener la configuración predeterminada, ya que proporciona cifrado y, por lo tanto, mayor seguridad. Para obtener más información, consulte Transport Level Security (TLS) in HBase RPC communication en la Guía de referencia Apache HBase.

Phoenix

Si habilitó el cifrado en tránsito en su clúster de EMR, Phoenix Query Server admite la propiedad TLS de phoenix.queryserver.tls.enabled, que está establecida de forma predeterminada en true.

Para obtener más información, consulte Configuraciones relacionadas con HTTPS en la documentación de Phoenix Query Server.

Oozie

OOZIE-3673 está disponible en Amazon EMR si ejecuta Oozie en Amazon EMR 7.3.0 y versiones posteriores. Si necesita configurar protocolos SSL o TLS personalizados al ejecutar una acción de correo electrónico, puede establecer la propiedad oozie.email.smtp.ssl.protocols en el archivo oozie-site.xml. De forma predeterminada, si ha activado el cifrado en tránsito, Amazon EMR utiliza el protocolo TLS v1.3.

OOZIE-3677 y OOZIE-3674 están también disponible en Amazon EMR si ejecuta Oozie en Amazon EMR 7.3.0 y versiones posteriores. Esto le permite especificar las propiedades keyStoreType y trustStoreType en oozie-site.xml. OOZIE-3674 añade el parámetro --insecure al cliente de Oozie para que pueda ignorar los errores de certificado.

Oozie exige la verificación del nombre de host mediante TLS, lo que significa que cualquier certificado que utilice para el cifrado en tránsito debe cumplir los requisitos de verificación del nombre de host. Si el certificado no cumple los criterios, el clúster podría quedarse atascado en la fase de oozie share lib update en la que Amazon EMR aprovisiona el clúster. Se recomienda actualizar los certificados para asegurarse de que cumplen con la verificación del nombre de host. Sin embargo, si no puede actualizar los certificados, puede deshabilitar el SSL para Oozie estableciendo la propiedad de oozie.https.enabled en false en la configuración del clúster.

Hue

De forma predeterminada, Hue admite TLS cuando el cifrado en tránsito está habilitado en los clústeres de Amazon EMR. Para obtener más información sobre la configuración de Hue, consulte Configure Hue with HTTPS / SSL.

Livy

De forma predeterminada, Livy admite TLS cuando el cifrado en tránsito está habilitado en los clústeres de Amazon EMR. Para obtener más información sobre la configuración de Livy, consulte Enabling HTTPS with Apache Livy.

A partir de Amazon EMR 7.3.0, si utiliza cifrado en tránsito y autenticación Kerberos, no podrá usar el servidor Livy para aplicaciones de Spark que dependen del metaalmacen de Hive. Este problema se solucionó en HIVE-16340 y se resolvió por completo en SPARK-44114 cuando la aplicación de Spark de código abierto puede actualizarse a Hive 3. Mientras tanto, puede evitar este problema si establece hive.metastore.use.SSL en false. Para obtener más información, consulte Configuración de aplicaciones.

Para obtener más información, consulte Enabling HTTPS with Apache Livy.

JupyterEnterpriseGateway

De forma predeterminada, Jupyter Enterprise Gateway admite TLS cuando el cifrado en tránsito está habilitado en los clústeres de Amazon EMR. Para obtener más información sobre la configuración de Jupyter Enterprise Gateway, consulte Securing Enterprise Gateway Server.

JupyterHub

De forma predeterminada, JupyterHub admite TLS cuando el cifrado en tránsito está habilitado en los clústeres de Amazon EMR. Para obtener más información, consulte Enabling SSL encryption en la documentación de JupyterHub. No se recomienda desactivar el cifrado.

Zeppelin

De forma predeterminada, Zeppelin admite TLS cuando habilita el cifrado en tránsito en su clúster de EMR. Para obtener más información sobre las configuraciones de Zeppelin, consulte Configuración SSL en la documentación de Zeppelin.

ZooKeeper

Amazon EMR define serverCnxnFactory en org.apache.zookeeper.server.NettyServerCnxnFactory para habilitar TLS en el quórum de Zookeeper y en la comunicación con los clientes.

secureClientPort especifica el puerto que recibe las conexiones TLS. Si el cliente no admite conexiones TLS con Zookeeper, puede conectarse al puerto inseguro 2181 definido en clientPort. Usted puede sobrescribir o desactivar estos dos puertos.

Amazon EMR también define sslQuorum y admin.forceHttps en true para habilitar TLS en la comunicación del quórum y en el servidor de administración. Si no desea cifrado en tránsito para el quórum y el servidor de administración, puede desactivar esas configuraciones. Recomendamos mantener las configuraciones predeterminadas, ya que ofrecen un mayor nivel de seguridad.

Para obtener más información, consulte Encryption, Authentication, Authorization Options en la documentación de Zookeeper.