As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá. # Como se conectar ao nó primário do cluster do Amazon EMR usando SSH O Secure Shell (SSH) é um protocolo de rede que você pode usar para criar uma conexão segura com um computador remoto. Depois de estabelecer uma conexão, o terminal no computador local se comporta como se estivesse em execução no computador remoto. Os comandos que você emitir localmente serão executados no computador remoto, e a saída do comando do computador remoto será exibida na janela do terminal. Ao usar SSH com AWS, você está se conectando a uma instância do EC2, que é um servidor virtual executado na nuvem. Ao trabalhar com o Amazon EMR, o uso mais comum do SSH é para conexão com a instância do EC2 que está atuando como o nó primário do cluster. O uso do SSH para conectar-se ao nó primário permite monitorar o cluster e interagir com ele. Você pode emitir comandos do Linux no nó primário, executar aplicações como o Hive e o Pig interativamente, pesquisar diretórios, ler arquivos de log e assim por diante. Também pode criar um túnel na sua conexão SSH para visualizar as interfaces Web hospedadas no nó primário. Para obter mais informações, consulte [Visualizar interfaces Web hospedadas em clusters do Amazon EMR](emr-web-interfaces.md). Para se conectar ao nó primário usando o SSH, você precisa do nome DNS público do nó primário. Além disso, o grupo de segurança associado ao nó primário deve ter uma regra de entrada que permite o tráfego SSH (porta TCP 22) de uma fonte que inclui o cliente onde a conexão SSH se origina. Talvez seja necessário adicionar uma regra para permitir uma conexão SSH do seu cliente. Para obter mais informações sobre como modificar regras de grupos de segurança, consulte [Controle do tráfego de rede com grupos de segurança para o cluster do Amazon EMR](emr-security-groups.md) e [Adding rules to a security group](https://docs.aws.amazon.com/AWSEC2/latest/UserGuide/using-network-security.html) no *Guia do usuário do Amazon EC2*. ## Recuperar o nome DNS público do nó primário Você pode recuperar o nome DNS público primário usando o console do Amazon EMR e a AWS CLI. ------ #### [ Console ] **Recuperar o nome DNS público do nó primário usando o novo console** 1. [Faça login no e abra Console de gerenciamento da AWS o console do Amazon EMR em https://console.aws.amazon.com /emr.](https://console.aws.amazon.com/emr) 1. Em **EMR no EC2** no painel de navegação esquerdo, escolha **Clusters** e, em seguida, selecione o cluster em que deseja recuperar o nome DNS público. 1. Observe o valor do **DNS público do nó primário** na seção **Resumo** da página de detalhes do cluster. ------ #### [ CLI ] **Para recuperar o nome DNS público do nó primário com o AWS CLI** 1. Para recuperar o identificador do cluster, digite o seguinte comando. ``` 1. aws emr list-clusters ``` A saída lista seus clusters, incluindo o cluster IDs. Observe o ID do cluster ao qual você está se conectando. ``` "Status": { "Timeline": { "ReadyDateTime": 1408040782.374, "CreationDateTime": 1408040501.213 }, "State": "WAITING", "StateChangeReason": { "Message": "Waiting after step completed" } }, "NormalizedInstanceHours": 4, "Id": "j-2AL4XXXXXX5T9", "Name": "My cluster" ``` 1. Para listar as instâncias de cluster, incluindo o nome DNS público do cluster, digite um dos comandos a seguir. *j-2AL4XXXXXX5T9*Substitua pelo ID do cluster retornado pelo comando anterior. ``` 1. aws emr list-instances --cluster-id j-2AL4XXXXXX5T9 ``` Ou: ``` aws emr describe-cluster --cluster-id j-2AL4XXXXXX5T9 ``` A saída lista as instâncias de cluster, incluindo nomes DNS e endereços IP. Observe o valor para `PublicDnsName`. ``` "Status": { "Timeline": { "ReadyDateTime": 1408040779.263, "CreationDateTime": 1408040515.535 }, "State": "RUNNING", "StateChangeReason": {} }, "Ec2InstanceId": "i-e89b45e7", "PublicDnsName": "ec2-###-##-##-###.us-west-2.compute.amazonaws.com" "PrivateDnsName": "ip-###-##-##-###.us-west-2.compute.internal", "PublicIpAddress": "##.###.###.##", "Id": "ci-12XXXXXXXXFMH", "PrivateIpAddress": "###.##.#.###" ``` Para obter mais informações, consulte os [comandos do Amazon EMR na AWS CLI](https://docs.aws.amazon.com/cli/latest/reference/emr). ------ ## Conectar-se ao nó primário usando SSH e uma chave privada do Amazon EC2 no Linux, Unix e Mac OS X Para criar uma conexão SSH autenticada com um arquivo de chave privada, você precisa especificar a chave privada do par de chaves do Amazon EC2 ao iniciar um cluster. Para obter mais informações sobre como acessar seu par de chaves, consulte [Pares de chaves do Amazon EC2](https://docs.aws.amazon.com/AWSEC2/latest/UserGuide/ec2-key-pairs.html) no *Guia do usuário do Amazon EC2*. Seu computador Linux muito provavelmente inclui um cliente SSH por padrão. Por exemplo, a OpenSSH está instalada na maioria dos sistemas operacionais Unix, Linux e MacOS X. É possível verificar se existe um cliente SSH digitando **ssh** na linha de comando. Se o computador não reconhecer o comando, instale um cliente SSH para se conectar ao nó primário. O projeto OpenSSH fornece uma implementação grátis do pacote completo de ferramentas SSH. Para obter mais informações, consulte o site do [OpenSSH](http://www.openssh.org/). As instruções a seguir demonstram como abrir uma conexão SSH com o nó primário do Amazon EMR no Linux, Unix e Mac OS X. **Para configurar as permissões do arquivo de chave privada do par de chaves** Antes de usar sua chave privada do par de chaves do Amazon EC2 para criar uma conexão SSH, você deve definir permissões no arquivo `.pem` para que apenas o proprietário da chave tenha permissão para acessar o arquivo. Isso é necessário para criar uma conexão SSH usando o terminal ou o. AWS CLI 1. Verifique se você permitiu tráfego SSH de entrada. Para instruções, consulte [Antes de se conectar ao Amazon EMR: autorize o tráfego de entrada](emr-connect-ssh-prereqs.md). 1. Localize seu arquivo `.pem`. Estas instruções pressupõem que o arquivo se chame `mykeypair.pem` e esteja armazenado no diretório inicial do usuário atual. 1. Digite o seguinte comando para definir as permissões. *\$1/mykeypair.pem*Substitua pelo caminho completo e pelo nome do arquivo de chave privada do par de chaves. Por exemplo, `C:/Users//.ssh/mykeypair.pem`. ``` 1. chmod 400 ~/mykeypair.pem ``` Se você não definir permissões no arquivo `.pem`, receberá um erro indicando que o arquivo de chave está desprotegido e que a chave será rejeitada. Para conectar, você só precisa definir permissões no arquivo de chave privada do par de chaves ao usá-lo pela primeira vez. **Conectar-se ao nó primário usando o terminal** 1. Abra uma janela do terminal. No Mac OS X, escolha **Applications > Utilities > Terminal (Aplicativos > Utilitários > Terminal)**. Em outras distribuições do Linux, o terminal está normalmente localizado em **Applications > Accessories > Terminal (Aplicativos > Acessórios > Terminal)**. 1. Para estabelecer uma conexão com o nó primário, digite o comando a seguir. *ec2-\$1\$1\$1-\$1\$1-\$1\$1-\$1\$1\$1.compute-1.amazonaws.com*Substitua pelo nome DNS público primário do seu cluster e *\$1/mykeypair.pem* substitua pelo caminho completo e pelo nome do `.pem` arquivo. Por exemplo, `C:/Users//.ssh/mykeypair.pem`. ``` 1. ssh hadoop@ec2-###-##-##-###.compute-1.amazonaws.com -i ~/mykeypair.pem ``` **Importante** Você deve usar o nome de logon `hadoop` ao se conectar ao nó primário do Amazon EMR; caso contrário, poderá ver um erro semelhante a `Server refused our key`. 1. Um aviso afirma que não foi possível verificar a autenticidade do host ao qual você está se conectando. Digite `yes` para continuar. 1. Quando você encerrar de trabalhar no nó primário, digite o seguinte comando para encerrar a conexão SSH. ``` exit ``` Caso tenha dificuldades ao usar o SSH para se conectar ao nó primário, consulte [Solução de problemas para conectar-se à sua instância](https://docs.aws.amazon.com/AWSEC2/latest/UserGuide/TroubleshootingInstancesConnecting.html). ## Conectar-se ao nó primário usando SSH no Windows Os usuários do Windows podem usar um cliente SSH, como o PuTTY para se conectarem ao nó primário. Antes de se conectar ao nó primário do Amazon EMR, você deve baixar e instalar o PuTTY e o Pu. TTYgen Você pode baixar essas ferramentas na [página de download do PuTTY](http://www.chiark.greenend.org.uk/~sgtatham/putty/). O PuTTY não oferece suporte nativamente ao formato de arquivo de chave privada com par de chaves (`.pem`) gerado pelo Amazon EC2. Você usa Pu TTYgen para converter seu arquivo de chave para o formato PuTTY necessário ()`.ppk`. É necessário converter a chave nesse formato (`.ppk`) antes de tentar se conectar ao nó primário usando o PuTTY. Para obter mais informações sobre como converter sua chave, consulte [Convertendo sua chave privada usando Pu TTYgen](https://docs.aws.amazon.com/AWSEC2/latest/UserGuide/putty.html) no Guia do usuário do *Amazon EC2*. **Conectar-se ao nó primário usando PuTTY** 1. Verifique se você permitiu tráfego SSH de entrada. Para instruções, consulte [Antes de se conectar ao Amazon EMR: autorize o tráfego de entrada](emr-connect-ssh-prereqs.md). 1. Abra o `putty.exe`. Você também pode executar o PuTTY na lista de programas do Windows. 1. Se necessário, na lista **Category (Categoria)**, escolha **Session (Sessão)**. 1. Em **Nome do host (ou endereço IP)**, digite `hadoop@`*MasterPublicDNS*. Por exemplo: `hadoop@`*ec2-\$1\$1\$1-\$1\$1-\$1\$1-\$1\$1\$1.compute-1.amazonaws.com*. 1. Na lista **Category (Categoria)**, escolha **Connection > SSH (Conexão > SSH)**, **Auth**. 1. Para **Private key file for authentication (Arquivo de chave privada para autenticação)**, escolha **Browse (Procurar)** e selecione o arquivo `.ppk` que você gerou. 1. Escolha **Abrir** e depois **Sim** para descartar o alerta de segurança do PuTTY. **Importante** Quando fizer login no nó primário, digite `hadoop` se for solicitado a especificar um nome de usuário. 1. Quando terminar de trabalhar no nó primário, você poderá encerrar a conexão SSH fechando o PuTTY. **nota** Para evitar que a conexão SSH atinja o tempo limite, é possível escolher **Connection (Conexão)** na lista **Category (Categoria)** e selecionar a opção **Enable TCP\$1keepalives (Habilitar TCP\$1keepalives)**. Se você tiver uma sessão SSH ativa no PuTTY, poderá alterar suas configurações abrindo o contexto (botão direito do mouse) para a barra de título do PuTTY e escolhendo **Alterar configurações**. Caso tenha dificuldades ao usar o SSH para se conectar ao nó primário, consulte [Solução de problemas para conectar-se à sua instância](https://docs.aws.amazon.com/AWSEC2/latest/UserGuide/TroubleshootingInstancesConnecting.html). ## Conecte-se ao nó primário usando o AWS CLI Você pode criar uma conexão SSH com o nó primário usando o AWS CLI no Windows e no Linux, Unix e Mac OS X. Independentemente da plataforma, você precisa do nome DNS público do nó primário e da chave privada do par de chaves do Amazon EC2. Se você estiver usando o AWS CLI no Linux, Unix ou Mac OS X, também deverá definir permissões no arquivo de chave privada (`.pem`ou`.ppk`), conforme mostrado em[Para configurar as permissões do arquivo de chave privada do par de chaves](#emr-keypair-file-permission-config). **Para se conectar ao nó primário usando o AWS CLI** 1. Verifique se você permitiu tráfego SSH de entrada. Para instruções, consulte [Antes de se conectar ao Amazon EMR: autorize o tráfego de entrada](emr-connect-ssh-prereqs.md). 1. Para recuperar o identificador de cluster, digite: ``` 1. aws emr list-clusters ``` A saída lista seus clusters, incluindo o cluster IDs. Observe o ID do cluster ao qual você está se conectando. ``` "Status": { "Timeline": { "ReadyDateTime": 1408040782.374, "CreationDateTime": 1408040501.213 }, "State": "WAITING", "StateChangeReason": { "Message": "Waiting after step completed" } }, "NormalizedInstanceHours": 4, "Id": "j-2AL4XXXXXX5T9", "Name": "AWS CLI cluster" ``` 1. Digite o comando a seguir para abrir uma conexão SSH com o nó primário. No exemplo a seguir, *j-2AL4XXXXXX5T9* substitua pelo ID do cluster e *\$1/mykeypair.key* substitua pelo caminho completo e pelo nome do `.pem` arquivo (para Linux, Unix e Mac OS X) ou `.ppk` arquivo (para Windows). Por exemplo, `C:\Users\\.ssh\mykeypair.pem`. ``` aws emr ssh --cluster-id j-2AL4XXXXXX5T9 --key-pair-file ~/mykeypair.key ``` 1. Quando terminar de trabalhar no nó primário, feche a AWS CLI janela. Para obter mais informações, consulte os [comandos do Amazon EMR na AWS CLI](https://docs.aws.amazon.com/cli/latest/reference/emr). Caso tenha dificuldades ao usar o SSH para se conectar ao nó primário, consulte [Solução de problemas para conectar-se à sua instância](https://docs.aws.amazon.com/AWSEC2/latest/UserGuide/TroubleshootingInstancesConnecting.html). # Portas de serviços do Amazon EMR **nota** Veja a seguir interfaces e portas de serviço para componentes do Amazon EMR. Esta não é uma lista completa de portas de serviço. Não estão listados serviços não padrão, como portas SSL e outros tipos de protocolos. **Importante** Tome cuidado ao editar as regras de grupo de segurança para portas abertas. Adicione regras que só permitam tráfego de clientes confiáveis e autenticados para os protocolos e portas que sejam necessários para executar suas workloads. [\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/pt_br/emr/latest/ManagementGuide/emr-service-ports.html) # Visualizar interfaces Web hospedadas em clusters do Amazon EMR **Importante** É possível configurar um grupo de segurança personalizado para permitir acesso de entrada a essas interfaces da Web. Lembre-se de que qualquer porta na qual você permita o tráfego de entrada representa uma possível vulnerabilidade de segurança. Revise atentamente os grupos de segurança personalizados para minimizar vulnerabilidades. Para obter mais informações, consulte [Controle do tráfego de rede com grupos de segurança para o cluster do Amazon EMR](emr-security-groups.md). O Hadoop e outras aplicações que você instala no cluster do EMR publicam interfaces de usuário como sites hospedados no nó primário. Por motivos de segurança, ao usar grupos de segurança gerenciados pelo Amazon EMR, esses sites estão disponíveis somente no nó primário do servidor Web local. Por isso, é necessário se conectar ao nó primário para visualizar as interfaces Web. Para obter mais informações, consulte [Como se conectar ao nó primário do cluster do Amazon EMR usando SSH](emr-connect-master-node-ssh.md). O Hadoop também publica interfaces de usuário como sites hospedados nos nós core e escravos. Esses sites também só estão disponíveis em servidores Web locais nos nós. A tabela a seguir lista as interfaces da web que você pode visualizar nas instâncias do cluster. Essas interfaces Hadoop estão disponíveis em todos os clusters. Para as interfaces da instância mestre, *master-public-dns-name* substitua pelo **DNS público principal** listado na guia **Resumo** do cluster no console do Amazon EMR. Para interfaces principais e de instância de tarefas, *coretask-public-dns-name* substitua pelo **nome DNS público** listado para a instância. Para encontrar um **Nome público DNS**, no console do Amazon EMR, escolha seu cluster na lista, escolha a guia **Hardware**, escolha o **ID** do grupo de instâncias que contém a instância à qual você deseja se conectar e anote o **Nome público DNS** listado para a instância. | Nome da interface | URI | | --- | --- | | Servidor de histórico do Flink (EMR versão 5.33 e posteriores) | http: //:8082/ master-public-dns-name | | Ganglia | http://master-public-dns-name/ganglia/ | | Hadoop HDFS (versão NameNode EMR anterior à 6.x) | http: //:50070/ master-public-dns-name | | Hadoop HDFS (versão NameNode EMR anterior à 6.x) | https: //:50470/ master-public-dns-name | | Hadoop HDFS ( NameNode EMR versão 6.x) | http: //:9870/ master-public-dns-name | | Hadoop HDFS ( NameNode EMR versão 6.x) | https: //:9871/ master-public-dns-name | | Hadoop HDFS (versão DataNode EMR anterior à 6.x) | http: //:50075/ coretask-public-dns-name | | Hadoop HDFS (versão DataNode EMR anterior à 6.x) | https: //:50475/ coretask-public-dns-name | | Hadoop HDFS ( DataNodeEMR versão 6.x) | http: //:9864/ coretask-public-dns-name | | Hadoop HDFS ( DataNode EMR versão 6.x) | https: //:9865/ coretask-public-dns-name | | HBase | http: //:16010/ master-public-dns-name | | Hue | http: //:8888/ master-public-dns-name | | JupyterHub | https: //:9443/ master-public-dns-name | | Livy | http: //:8998/ master-public-dns-name | | Faísca HistoryServer | http: //:18080/ master-public-dns-name | | Tez | http: //:8080/tez-ui master-public-dns-name | | FIO NodeManager | http: //:8042/ coretask-public-dns-name | | FIO ResourceManager | http: //:8088/ master-public-dns-name | | Zeppelin | http: //:8890/ master-public-dns-name | Como existem várias interfaces específicas de aplicações disponíveis no nó primário, mas não disponíveis nos nós centrais e de tarefa, as instruções neste documento são específicas para o nó primário do Amazon EMR. O acesso as interfaces Web em todos os nós centrais e de tarefa pode ser feito da mesma maneira como você acessaria as interfaces Web no nó primário. Existem várias maneiras de acessar as interfaces Web no nó primário. O método mais fácil e rápido é usar o SSH para conectar-se ao nó primário e usar o navegador baseado em texto, o Lynx, para visualizar os sites no cliente SSH. No entanto, o Lynx é um navegador baseado em texto com uma interface de usuário limitada que não pode exibir gráficos. O exemplo a seguir mostra como abrir a ResourceManager interface do Hadoop usando o Lynx (o Lynx também URLs é fornecido quando você faz login no nó primário usando SSH). ``` lynx http://ip-###-##-##-###.us-west-2.compute.internal:8088/ ``` Existem duas opções restantes para acessar interfaces Web no nó primário que fornecem funcionalidade de navegador completa. Escolha uma das seguintes opções: + Opção 1 (recomendada para usuários mais técnicos): use um cliente SSH para conectar-se ao nó primário, configurar o túnel SSH com o encaminhamento de porta local e usar um navegador da Internet para abrir interfaces Web hospedadas no nó primário. Esse método permite que você configure o acesso à interface Web sem usar um proxy SOCKS. + Opção 2 (recomendada para novos usuários): use um cliente SSH para se conectar ao nó primário, configure o tunelamento SSH com encaminhamento dinâmico de portas e configure seu navegador da Internet para usar um complemento, como o Firefox ou SwitchyOmega o Chrome, FoxyProxy para gerenciar suas configurações de proxy SOCKS. Esse método permite filtrar automaticamente URLs com base em padrões de texto e limitar as configurações de proxy a domínios que correspondam ao formato do nome DNS do nó primário. Para obter mais informações sobre como configurar FoxyProxy para o Firefox e o Google Chrome, consulte[Opção 2, parte 2: configurar definições de proxy para exibir sites hospedados no nó primário do cluster do Amazon EMR](emr-connect-master-node-proxy.md). **nota** Se você modificar a porta em que a aplicação é executada por meio da configuração do cluster, o hiperlink para a porta não será atualizado no console do Amazon EMR. Isso ocorre porque o console não tem a funcionalidade de ler a configuração `server.port`. Com a versão 5.25.0 ou posterior do Amazon EMR, você pode acessar a interface do usuário do servidor de histórico do Spark a partir do console sem configurar um proxy da web por meio de uma conexão SSH. Para obter mais informações, consulte [One-click access to persistent Spark history server](https://docs.aws.amazon.com/emr/latest/ManagementGuide/app-history-spark-UI.html). **Topics** + [Opção 1: configurar um túnel SSH ao nó primário do Amazon EMR usando o encaminhamento de portas locais](emr-ssh-tunnel-local.md) + [Opção 2, parte 1: configurar um túnel SSH para o nó primário usando o encaminhamento de portas dinâmicas](emr-ssh-tunnel.md) + [Opção 2, parte 2: configurar definições de proxy para exibir sites hospedados no nó primário do cluster do Amazon EMR](emr-connect-master-node-proxy.md) # Opção 1: configurar um túnel SSH ao nó primário do Amazon EMR usando o encaminhamento de portas locais Para se conectar ao servidor Web local no nó primário, crie um túnel SSH entre seu computador e o nó primário. Isso também é conhecido como *encaminhamento de portas*. Se não quiser usar um proxy SOCKS, você poderá configurar um túnel SSH para o nó primário usando o encaminhamento de portas locais. Com o encaminhamento de portas locais, você pode especificar portas locais que são utilizadas para encaminhar o tráfego a portas remotas específicas no servidor Web local do nó primário. A configuração de um túnel SSH usando o encaminhamento de portas locais requer o nome DNS público do nó primário e seu arquivo de chave privada do par de chaves. Para obter informações sobre como localizar o nome DNS público principal, consulte [Recuperar o nome DNS público do nó primário](emr-connect-master-node-ssh.md#emr-connect-master-dns). Para obter mais informações sobre como acessar seu par de chaves, consulte [Pares de chaves do Amazon EC2](https://docs.aws.amazon.com/AWSEC2/latest/UserGuide/ec2-key-pairs.html) no *Guia do usuário do Amazon EC2*. Para obter mais informações sobre os sites que você pode querer visualizar no nó primário, consulte [Visualizar interfaces Web hospedadas em clusters do Amazon EMR](emr-web-interfaces.md). ## Configurar um túnel SSH ao nó primário usando o encaminhamento de portas locais com OpenSSH **Para configurar um túnel SSH usando o encaminhamento de portas locais no terminal** 1. Verifique se você permitiu tráfego SSH de entrada. Para instruções, consulte [Antes de se conectar ao Amazon EMR: autorize o tráfego de entrada](emr-connect-ssh-prereqs.md). 1. Abra uma janela do terminal. No Mac OS X, escolha **Applications > Utilities > Terminal (Aplicativos > Utilitários > Terminal)**. Em outras distribuições do Linux, o terminal está normalmente localizado em **Applications > Accessories > Terminal (Aplicativos > Acessórios > Terminal)**. 1. Digite o comando a seguir para abrir um túnel SSH em sua máquina local. Este exemplo de comando acessa a interface ResourceManager da web encaminhando o tráfego na porta local 8157 (uma porta local não usada escolhida aleatoriamente) para a porta 8088 no servidor web local do nó principal.  No comando, *\$1/mykeypair.pem* substitua pelo local e pelo nome do `.pem` arquivo e *ec2-\$1\$1\$1-\$1\$1-\$1\$1-\$1\$1\$1.compute-1.amazonaws.com* substitua pelo nome DNS público principal do cluster. Para acessar uma interface da Web diferente, `8088` substitua pelo número de porta apropriado. Por exemplo, `8088` substitua `8890` pela interface do Zeppelin. ``` ssh -i ~/mykeypair.pem -N -L 8157:ec2-###-##-##-###.compute-1.amazonaws.com:8088 hadoop@ec2-###-##-##-###.compute-1.amazonaws.com ``` `-L` significa o uso do encaminhamento de portas locais, que permite especificar uma porta local usada para encaminhar dados à porta remota identificada no servidor Web local do nó principal. Após a emissão desse comando, o terminal permanece aberto e não retorna uma resposta.  1. Para abrir a interface ResourceManager da web em seu navegador, digite `http://localhost:8157/` na barra de endereço. 1. Quando terminar de trabalhar com as interfaces Web no nó primário, feche as janelas do terminal. # Opção 2, parte 1: configurar um túnel SSH para o nó primário usando o encaminhamento de portas dinâmicas Para se conectar ao servidor Web local no nó primário, crie um túnel SSH entre seu computador e o nó primário. Isso também é conhecido como *encaminhamento de portas*. Se você criar seu túnel SSH usando o encaminhamento de portas dinâmicas, todo o tráfego encaminhado para uma porta local não utilizada especificada será encaminhado ao servidor Web local no nó primário. Isso cria um proxy SOCKS. Em seguida, você pode configurar seu navegador da Internet para usar um complemento, como FoxyProxy ou SwitchyOmega para gerenciar suas configurações de proxy SOCKS. O uso de um complemento de gerenciamento de proxy permite filtrar automaticamente URLs com base em padrões de texto e limitar as configurações de proxy a domínios que correspondam ao formato do nome DNS público do nó primário. O complemento do navegador manipula automaticamente a ativação e desativação do proxy quando você alterna entre visualizar sites hospedados no nó primário e aqueles na Internet. Antes de começar, você precisa do nome DNS público do nó primário e do arquivo de chave privada do par de chaves. Para obter informações sobre como localizar o nome DNS público primário, consulte [Recuperar o nome DNS público do nó primário](emr-connect-master-node-ssh.md#emr-connect-master-dns). Para obter mais informações sobre como acessar seu par de chaves, consulte [Pares de chaves do Amazon EC2](https://docs.aws.amazon.com/AWSEC2/latest/UserGuide/ec2-key-pairs.html) no *Guia do usuário do Amazon EC2*. Para obter mais informações sobre os sites que você pode querer visualizar no nó primário, consulte [Visualizar interfaces Web hospedadas em clusters do Amazon EMR](emr-web-interfaces.md). ## Para configurar um túnel SSH usando o encaminhamento de portas dinâmicas do nó primário com o OpenSSH **Configurar um túnel SSH usando o encaminhamento de portas dinâmicas com OpenSSH** 1. Verifique se você permitiu tráfego SSH de entrada. Para instruções, consulte [Antes de se conectar ao Amazon EMR: autorize o tráfego de entrada](emr-connect-ssh-prereqs.md). 1. Abra uma janela do terminal. No Mac OS X, escolha **Applications > Utilities > Terminal (Aplicativos > Utilitários > Terminal)**. Em outras distribuições do Linux, o terminal está normalmente localizado em **Applications > Accessories > Terminal (Aplicativos > Acessórios > Terminal)**. 1. Digite o seguinte comando para abrir um túnel SSH na sua máquina local. *\$1/mykeypair.pem*Substitua pelo local e pelo nome do `.pem` arquivo, *8157* substitua por um número de porta local não utilizado e *ec2-\$1\$1\$1-\$1\$1-\$1\$1-\$1\$1\$1.compute-1.amazonaws.com* substitua pelo nome DNS público primário do seu cluster. ``` 1. ssh -i ~/mykeypair.pem -N -D 8157 hadoop@ec2-###-##-##-###.compute-1.amazonaws.com ``` Após a execução desse comando, o terminal permanece aberto e não retorna uma resposta. **nota** `-D` significa o uso do encaminhamento de portas dinâmicas, que permite especificar uma porta local usada para encaminhar dados a todas as portas remotas identificadas no servidor Web local do nó primário. O encaminhamento de portas dinâmicas cria um proxy SOCKS local que escuta na porta especificada no comando. 1. Depois que o túnel estiver ativo, configure um proxy SOCKS para o seu navegador. Para obter mais informações, consulte [Opção 2, parte 2: configurar definições de proxy para exibir sites hospedados no nó primário do cluster do Amazon EMR](emr-connect-master-node-proxy.md). 1. Quando terminar de trabalhar com as interfaces Web no nó primário, feche a janela do terminal. ## Configure um túnel SSH usando o encaminhamento dinâmico de portas com o AWS CLI Você pode criar uma conexão SSH com o nó primário usando o AWS CLI no Windows e no Linux, Unix e Mac OS X. Se você estiver usando o AWS CLI no Linux, Unix ou Mac OS X, deverá definir as permissões no `.pem` arquivo conforme mostrado em. [Para configurar as permissões do arquivo de chave privada do par de chaves](emr-connect-master-node-ssh.md#emr-keypair-file-permission-config) Se você estiver usando o AWS CLI no Windows, o PuTTY deverá aparecer na variável de ambiente path ou você poderá receber um erro como OpenSSH ou PuTTY não disponível. **Para configurar um túnel SSH usando o encaminhamento dinâmico de portas com o AWS CLI** 1. Verifique se você permitiu tráfego SSH de entrada. Para instruções, consulte [Antes de se conectar ao Amazon EMR: autorize o tráfego de entrada](emr-connect-ssh-prereqs.md). 1. Crie uma conexão SSH com o nó primário, conforme mostrado em [Conecte-se ao nó primário usando o AWS CLI](emr-connect-master-node-ssh.md#emr-connect-cli). 1. Para recuperar o identificador de cluster, digite: ``` 1. aws emr list-clusters ``` A saída lista seus clusters, incluindo o cluster IDs. Observe o ID do cluster ao qual você está se conectando. ``` "Status": { "Timeline": { "ReadyDateTime": 1408040782.374, "CreationDateTime": 1408040501.213 }, "State": "WAITING", "StateChangeReason": { "Message": "Waiting after step completed" } }, "NormalizedInstanceHours": 4, "Id": "j-2AL4XXXXXX5T9", "Name": "AWS CLI cluster" ``` 1. Digite o seguinte comando para abrir um túnel SSH para o nó primário usando o encaminhamento de portas dinâmicas. No exemplo a seguir, *j-2AL4XXXXXX5T9* substitua pelo ID do cluster e *\$1/mykeypair.key* substitua pelo local e nome do `.pem` arquivo (para Linux, Unix e Mac OS X) ou `.ppk` arquivo (para Windows). ``` aws emr socks --cluster-id j-2AL4XXXXXX5T9 --key-pair-file ~/mykeypair.key ``` **nota** O comando socks configura automaticamente o encaminhamento de portas dinâmicas na porta local 8157. Atualmente, essa configuração não pode ser modificada. 1. Depois que o túnel estiver ativo, configure um proxy SOCKS para o seu navegador. Para obter mais informações, consulte [Opção 2, parte 2: configurar definições de proxy para exibir sites hospedados no nó primário do cluster do Amazon EMR](emr-connect-master-node-proxy.md). 1. Quando terminar de trabalhar com as interfaces da Web no nó primário, feche a AWS CLI janela. Para obter mais informações sobre o uso dos comandos do Amazon EMR no AWS CLI, consulte. [https://docs.aws.amazon.com/cli/latest/reference/emr](https://docs.aws.amazon.com/cli/latest/reference/emr) ## Configurar um túnel SSH para o nó primário usando PuTTY Os usuários do Windows podem usar um cliente SSH, como o PuTTY, para criar um túnel SSH para o nó primário. Antes de se conectar ao nó primário do Amazon EMR, você deve baixar e instalar o PuTTY e o Pu. TTYgen Você pode baixar essas ferramentas na [página de download do PuTTY](http://www.chiark.greenend.org.uk/~sgtatham/putty/). O PuTTY não oferece suporte nativamente ao formato de arquivo de chave privada com par de chaves (`.pem`) gerado pelo Amazon EC2. Você usa Pu TTYgen para converter seu arquivo de chave para o formato PuTTY necessário ()`.ppk`. É necessário converter a chave nesse formato (`.ppk`) antes de tentar se conectar ao nó primário usando o PuTTY. Para obter mais informações sobre como converter sua chave, consulte [Convertendo sua chave privada usando Pu TTYgen](https://docs.aws.amazon.com/AWSEC2/latest/UserGuide/putty.html) no Guia do usuário do *Amazon EC2*. **Configurar um túnel SSH usando o encaminhamento de portas dinâmicas usando PuTTY** 1. Verifique se você permitiu tráfego SSH de entrada. Para instruções, consulte [Antes de se conectar ao Amazon EMR: autorize o tráfego de entrada](emr-connect-ssh-prereqs.md). 1. Clique duas vezes em `putty.exe` para iniciar o PuTTY. Você também pode executar o PuTTY na lista de programas do Windows. **nota** Se você já tiver uma sessão SSH ativa com o nó primário, poderá adicionar um túnel clicando com o botão direito do mouse na barra de título do PuTTY e escolhendo **Alterar configurações**. 1. Se necessário, na lista **Category (Categoria)**, escolha **Session (Sessão)**. 1. No campo **Nome do host**, digite **hadoop@***MasterPublicDNS*. Por exemplo: **hadoop@***ec2-\$1\$1\$1-\$1\$1-\$1\$1-\$1\$1\$1.compute-1.amazonaws.com*. 1. Na lista **Category (Categoria)**, expanda **Connection > SSH (Conexão > SSH)** e escolha **Auth**. 1. Para **Private key file for authentication (Arquivo de chave privada para autenticação)**, escolha **Browse (Procurar)** e selecione o arquivo `.ppk` que você gerou. **nota** O PuTTY não oferece suporte nativamente ao formato de arquivo de chave privada com par de chaves (`.pem`) gerado pelo Amazon EC2. Você usa Pu TTYgen para converter seu arquivo de chave para o formato PuTTY necessário ()`.ppk`. É necessário converter a chave nesse formato (`.ppk`) antes de tentar se conectar ao nó primário usando o PuTTY. 1. Na lista **Category (Categoria)**, expanda **Connection > SSH (Conexão > SSH)** e escolha **Tunnels (Túneis)**. 1. No campo **Porta de origem**, digite `8157` (uma porta local não utilizada) e escolha **Adicionar**. 1. Deixe o campo **Destination (Destino)** em branco. 1. Selecione as opções **Dynamic (Dinâmico)** e **Auto**. 1. Escolha **Open (Abrir)**. 1. Escolha **Yes (Sim)** para descartar o alerta de segurança do PuTTY. **Importante** Ao fazer login no nó primário, digite `hadoop` se for solicitado um nome de usuário. 1. Depois que o túnel estiver ativo, configure um proxy SOCKS para o seu navegador. Para obter mais informações, consulte [Opção 2, parte 2: configurar definições de proxy para exibir sites hospedados no nó primário do cluster do Amazon EMR](emr-connect-master-node-proxy.md). 1. Quando terminar de trabalhar com as interfaces Web no nó primário, feche a janela do PuTTY. # Opção 2, parte 2: configurar definições de proxy para exibir sites hospedados no nó primário do cluster do Amazon EMR Se você usar um túnel SSH com o encaminhamento de portas dinâmicas, deverá usar um complemento de gerenciamento de proxy SOCKS para controlar as configurações de proxy no seu navegador. O uso de uma ferramenta de gerenciamento de proxy SOCKS permite filtrar automaticamente URLs com base em padrões de texto e limitar as configurações de proxy a domínios que correspondam ao formato do nome DNS público do nó primário. O complemento do navegador manipula automaticamente a ativação e desativação do proxy quando você alterna entre visualizar sites hospedados no nó primário e aqueles na Internet. Para gerenciar suas configurações de proxy, configure seu navegador para usar um complemento como FoxyProxy ou SwitchyOmega. Para obter mais informações sobre como criar um túnel SSH, consulte [Opção 2, parte 1: configurar um túnel SSH para o nó primário usando o encaminhamento de portas dinâmicas](emr-ssh-tunnel.md). Para obter mais informações sobre as interfaces Web disponíveis, consulte [Visualizar interfaces Web hospedadas em clusters do Amazon EMR](emr-web-interfaces.md). Inclua as seguintes configurações ao definir o complemento de proxy: + Use **localhost** como endereço do host. + Use o mesmo número de porta local que você selecionou para estabelecer o túnel SSH com o nó primário em [Opção 2, parte 1: configurar um túnel SSH para o nó primário usando o encaminhamento de portas dinâmicas](emr-ssh-tunnel.md). Por exemplo, porta*8157*. Essa porta também deve corresponder ao número de porta que você usa no PuTTY ou em qualquer outro emulador de terminal usado para conexão. + Especifique o protocolo **SOCKS v5**. Com o SOCKS v5, opcionalmente, você pode configurar a autorização do usuário. + **URL Patterns (Padrões de URL)** Os seguintes padrões de URL devem ser allow-listed e estão especificados com um tipo de padrão de curinga: + Os padrões **\$1ec2\$1.\$1compute\$1.amazonaws.com\$1** e **\$110\$1.amazonaws.com\$1** para corresponder ao nome DNS público dos clusters nas regiões dos EUA. + Os padrões **\$1ec2\$1.compute\$1** e **\$110\$1.compute\$1** correspondem ao nome DNS público dos clusters de todas as outras regiões. + UM **10. **\$1 padrão para fornecer acesso aos arquivos de JobTracker log no Hadoop. Altere esse filtro se ele entrar em conflito com seu plano de acesso de rede. + Os padrões **\$1.ec2.internal\$1** e **\$1.compute.internal\$1** correspondem aos nomes DNS privados (internos) dos clusters na região `us-east-1` e em todas as outras regiões, respectivamente. ## Exemplo: Configurar FoxyProxy para o Firefox O exemplo a seguir demonstra uma configuração FoxyProxy padrão (versão 7.5.1) para o Mozilla Firefox. FoxyProxy fornece um conjunto de ferramentas de gerenciamento de proxy. Com ele, você pode usar um servidor proxy para URLs que correspondam aos padrões referentes aos domínios usados pelas instâncias do Amazon EC2 no cluster do Amazon EMR. **Para instalar e configurar FoxyProxy usando o Mozilla Firefox** 1. No Firefox, acesse [https://addons.mozilla.org/](https://addons.mozilla.org/), pesquise por FoxyProxy Padrão e siga as instruções para adicionar FoxyProxy ao Firefox. 1. Usando um editor de texto, crie um arquivo JSON chamado `foxyproxy-settings.json` com base no exemplo de configuração a seguir. ``` { "k20d21508277536715": { "active": true, "address": "localhost", "port": 8157, "username": "", "password": "", "type": 3, "proxyDNS": true, "title": "emr-socks-proxy", "color": "#0055E5", "index": 9007199254740991, "whitePatterns": [ { "title": "*ec2*.*compute*.amazonaws.com*", "active": true, "pattern": "*ec2*.*compute*.amazonaws.com*", "importedPattern": "*ec2*.*compute*.amazonaws.com*", "type": 1, "protocols": 1 }, { "title": "*ec2*.compute*", "active": true, "pattern": "*ec2*.compute*", "importedPattern": "*ec2*.compute*", "type": 1, "protocols": 1 }, { "title": "10.*", "active": true, "pattern": "10.*", "importedPattern": "http://10.*", "type": 1, "protocols": 2 }, { "title": "*10*.amazonaws.com*", "active": true, "pattern": "*10*.amazonaws.com*", "importedPattern": "*10*.amazonaws.com*", "type": 1, "protocols": 1 }, { "title": "*10*.compute*", "active": true, "pattern": "*10*.compute*", "importedPattern": "*10*.compute*", "type": 1, "protocols": 1 }, { "title": "*.compute.internal*", "active": true, "pattern": "*.compute.internal*", "importedPattern": "*.compute.internal*", "type": 1, "protocols": 1 }, { "title": "*.ec2.internal* ", "active": true, "pattern": "*.ec2.internal*", "importedPattern": "*.ec2.internal*", "type": 1, "protocols": 1 } ], "blackPatterns": [] }, "logging": { "size": 100, "active": false }, "mode": "patterns", "browserVersion": "68.12.0", "foxyProxyVersion": "7.5.1", "foxyProxyEdition": "standard" } ``` 1. Abra a página **Gerenciamento de extensões** do Firefox (acesse **about:addons** e escolha **Extensões**). 1. Escolha **FoxyProxy Padrão** e, em seguida, escolha o botão de mais opções (o botão que parece uma elipse). 1. Selecione **Opções** no menu suspenso. 1. Escolha **Importar configurações** no menu esquerdo. 1. **Na página **Configurações de importação**, escolha **Importar configurações** em **Importar configurações do FoxyProxy 6.0\$1**, navegue até o local do `foxyproxy-settings.json` arquivo que você criou, selecione o arquivo e escolha Abrir.** 1. Escolha **OK** quando solicitado para substituir as configurações atuais e salvar a nova configuração. ## Exemplo: Configurar SwitchyOmega para o Chrome O exemplo a seguir demonstra como configurar a SwitchyOmega extensão para o Google Chrome. SwitchyOmega permite configurar, gerenciar e alternar entre vários proxies. **Para instalar e configurar SwitchyOmega usando o Google Chrome** 1. Vá para [https://chrome.google.com/webstore/categoria/extensões](https://chrome.google.com/webstore/category/extensions), pesquise por **Proxy SwitchyOmega** e adicione-o ao Chrome. 1. Escolha **Novo perfil** e insira `emr-socks-proxy` como nome do perfil. 1. Escolha **Perfil PAC** e **Criar**. Os arquivos de [configuração automática de proxy (PAC)](https://developer.mozilla.org/en-US/docs/Web/HTTP/Proxy_servers_and_tunneling/Proxy_Auto-Configuration_(PAC)_file) ajudam a definir uma lista de permissões para solicitações do navegador que devem ser encaminhadas a um servidor proxy da Web. 1. No campo **Script PAC**, substitua o conteúdo pelo script a seguir, que define o que URLs deve ser encaminhado por meio do seu servidor proxy web. Se você especificou um número de porta diferente ao configurar seu túnel SSH, *8157* substitua pelo número da porta. ``` function FindProxyForURL(url, host) { if (shExpMatch(url, "*ec2*.*compute*.amazonaws.com*")) return 'SOCKS5 localhost:8157'; if (shExpMatch(url, "*ec2*.compute*")) return 'SOCKS5 localhost:8157'; if (shExpMatch(url, "http://10.*")) return 'SOCKS5 localhost:8157'; if (shExpMatch(url, "*10*.compute*")) return 'SOCKS5 localhost:8157'; if (shExpMatch(url, "*10*.amazonaws.com*")) return 'SOCKS5 localhost:8157'; if (shExpMatch(url, "*.compute.internal*")) return 'SOCKS5 localhost:8157'; if (shExpMatch(url, "*ec2.internal*")) return 'SOCKS5 localhost:8157'; return 'DIRECT'; } ``` 1. Em **Ações**, escolha **Aplicar alterações** para salvar as configurações de proxy. 1. Na barra de ferramentas do Chrome, escolha SwitchyOmega e selecione o `emr-socks-proxy` perfil. ## Acessar uma interface da Web no navegador Para abrir uma interface Web, insira o nome DNS público do seu nó primário ou central seguido pelo número da porta da interface escolhida na barra de endereço do navegador. O exemplo a seguir mostra a URL que você digitaria para se conectar ao Spark HistoryServer. ``` http://master-public-dns-name:18080/ ``` Para obter instruções sobre como recuperar o nome DNS público de um nó, consulte [Recuperar o nome DNS público do nó primário](emr-connect-master-node-ssh.md#emr-connect-master-dns). Para obter uma lista completa da interface da web URLs, consulte[Visualizar interfaces Web hospedadas em clusters do Amazon EMR](emr-web-interfaces.md).