Visualizar interfaces Web hospedadas em clusters do Amazon EMR - Amazon EMR

Visualizar interfaces Web hospedadas em clusters do Amazon EMR

Importante

É possível configurar um grupo de segurança personalizado para permitir acesso de entrada a essas interfaces da Web. Lembre-se de que qualquer porta na qual você permita o tráfego de entrada representa uma possível vulnerabilidade de segurança. Revise atentamente os grupos de segurança personalizados para minimizar vulnerabilidades. Para obter mais informações, consulte Controle do tráfego de rede com grupos de segurança para o cluster do Amazon EMR.

O Hadoop e outras aplicações que você instala no cluster do EMR publicam interfaces de usuário como sites hospedados no nó primário. Por motivos de segurança, ao usar grupos de segurança gerenciados pelo Amazon EMR, esses sites estão disponíveis somente no nó primário do servidor Web local. Por isso, é necessário se conectar ao nó primário para visualizar as interfaces Web. Para obter mais informações, consulte Como se conectar ao nó primário do cluster do Amazon EMR usando SSH. O Hadoop também publica interfaces de usuário como sites hospedados nos nós core e escravos. Esses sites também só estão disponíveis em servidores Web locais nos nós.

A tabela a seguir lista as interfaces da web que você pode visualizar nas instâncias do cluster. Essas interfaces Hadoop estão disponíveis em todos os clusters. Para as interfaces da instância principal, substitua master-public-dns-name pelo DNS público principal listado na guia Resumo do cluster no console do Amazon EMR. Para interfaces de instâncias core e de tarefas, substitua coretask-public-dns-name pelo Public DNS name (Nome público DNS) listado para a instância. Para encontrar um Nome público DNS, no console do Amazon EMR, escolha seu cluster na lista, escolha a guia Hardware, escolha o ID do grupo de instâncias que contém a instância à qual você deseja se conectar e anote o Nome público DNS listado para a instância.

Nome da interface

URI
Servidor de histórico do Flink (EMR versão 5.33 e posteriores) http://master-public-dns-name:8082/
Ganglia http://master-public-dns-name/ganglia/
NameNode do Hadoop HDFS (EMR versão anterior à 6.x) http://master-public-dns-name:50070/
NameNode do Hadoop HDFS (EMR versão anterior à 6.x) https://master-public-dns-name:50470/
NameNode do Hadoop HDFS (EMR versão 6.x) http://master-public-dns-name:9870/
NameNode do Hadoop HDFS (EMR versão 6.x) https://master-public-dns-name:9871/
DataNode do Hadoop HDFS (EMR versão anterior à 6.x) http://coretask-public-dns-name:50075/
DataNode do Hadoop HDFS (EMR versão anterior à 6.x) https://coretask-public-dns-name:50475/
DataNode do Hadoop HDFS (EMR versão 6.x) http://coretask-public-dns-name:9864/
DataNode do Hadoop HDFS (EMR versão 6.x) https://coretask-public-dns-name:9865/
HBase http://master-public-dns-name:16010/
Hue http://master-public-dns-name:8888/
JupyterHub https://master-public-dns-name:9443/
Livy http://master-public-dns-name:8998/
Spark HistoryServer http://master-public-dns-name:18080/
Tez http://master-public-dns-name:8080/tez-ui
YARN NodeManager http://coretask-public-dns-name:8042/
YARN ResourceManager http://master-public-dns-name:8088/
Zeppelin http://master-public-dns-name:8890/

Como existem várias interfaces específicas de aplicações disponíveis no nó primário, mas não disponíveis nos nós centrais e de tarefa, as instruções neste documento são específicas para o nó primário do Amazon EMR. O acesso as interfaces Web em todos os nós centrais e de tarefa pode ser feito da mesma maneira como você acessaria as interfaces Web no nó primário.

Existem várias maneiras de acessar as interfaces Web no nó primário. O método mais fácil e rápido é usar o SSH para conectar-se ao nó primário e usar o navegador baseado em texto, o Lynx, para visualizar os sites no cliente SSH. No entanto, o Lynx é um navegador baseado em texto com uma interface de usuário limitada que não pode exibir gráficos. O exemplo a seguir mostra como abrir a interface Hadoop ResourceManager usando o Lynx (URLs do Lynx também são fornecidas quando você faz login no nó primário usando o SSH). 

lynx http://ip-###-##-##-###.us-west-2.compute.internal:8088/

Existem duas opções restantes para acessar interfaces Web no nó primário que fornecem funcionalidade de navegador completa. Escolha uma das seguintes opções:

  • Opção 1 (recomendada para usuários mais técnicos): use um cliente SSH para conectar-se ao nó primário, configurar o túnel SSH com o encaminhamento de porta local e usar um navegador da Internet para abrir interfaces Web hospedadas no nó primário. Esse método permite que você configure o acesso à interface Web sem usar um proxy SOCKS.

  • Opção 2 (recomendada para novos usuários): use um cliente SSH para conectar-se ao nó primário, configure o túnel SSH com o encaminhamento de porta dinâmico e configure o navegador da Internet para usar um complemento, como o FoxyProxy para Firefox ou o SwitchyOmega para Chrome, para gerenciar as configurações do proxy SOCKS. Esse método permite filtrar URLs automaticamente com base em padrões de texto e limitar as configurações de proxy para domínios que correspondam ao formato do nome DNS do nó primário. Para obter mais informações sobre como configurar o FoxyProxy para Firefox e o Google Chrome, consulte Opção 2, parte 2: configurar definições de proxy para exibir sites hospedados no nó primário do cluster do Amazon EMR.

nota

Se você modificar a porta em que a aplicação é executada por meio da configuração do cluster, o hiperlink para a porta não será atualizado no console do Amazon EMR. Isso ocorre porque o console não tem a funcionalidade de ler a configuração server.port.

Com a versão 5.25.0 ou posterior do Amazon EMR, você pode acessar a interface do usuário do servidor de histórico do Spark a partir do console sem configurar um proxy da web por meio de uma conexão SSH. Para obter mais informações, consulte One-click access to persistent Spark history server.

Tópicos